Фамилия Костенбаум — редкий случай в русском ономастиконе, где немецкая основа сплелась с восточнославянским суффиксом. Если отбросить окончание, мы видим чистый немецкий топоним или прозвище: «Косте́н» (Kosten) — это либо вариант фамилии Костен (от имени Константин через польское Kostek), либо название места (например, деревня Костен в Саксонии или чешский город Костен), а «Баум» (Baum) — дерево. В буквальном переводе — «костенское дерево» или «дерево из Костена». Однако в русском контексте фамилия получила суффикс -ов, который делает её похожей на стандартную русскую фамилию от отчества или прозвища.

Скорее всего, фамилия возникла на стыке культур — в среде немецких колонистов, переселившихся в Российскую империю при Екатерине II, или среди обрусевших немцев, живших в Прибалтике и на Волыни. Немецкую основу Kostenbaum (где Kosten могло быть и фамилией, и указанием на происхождение) русифицировали, добавив типичное русское окончание. Встречается она в основном на юге России и Украине, в бывших немецких колониях, а также в еврейской среде Ашкенази, где Baum — частый элемент фамилий (Мандельбаум, Розенбаум), а Kosten могло быть искажением идишского «костэн» (стоить) или топонима.

Версия о чисто еврейском происхождении менее убедительна: для еврейских фамилий характерен суффикс -зон или -ман, а не славянское -ов. Скорее, Костенбаум — это немецкая фамилия, которая попала в русскую среду и получила местный грамматический обруч. Носители её могли быть ремесленниками, лесоторговцами или просто выходцами из местечка Костен. В дореволюционных метрических книгах по Одессе и Херсонской губернии такая фамилия фиксируется у лютеран и католиков, что подтверждает её немецкие корни.