Фамилия Костамаха — редкий случай, когда корень почти наверняка указывает на конкретное прозвище, но его значение неочевидно. Основа «Костамах» или «Костамаха» не встречается в древнерусских именах и не связана с крестильными именами (вроде Иван, Пётр). Скорее всего, перед нами прозвище, образованное от двух частей: «кост-» (кость) и, возможно, «мах-» (махать, размахивать). Первая версия: так могли прозвать очень худого, «костлявого» человека, а вторая часть («махать») могла быть шутливым или пренебрежительным добавлением — «тот, кто машет костями», то есть долговязый, неуклюжий. Вторая версия: в основе лежит украинское или белорусское слово «костомаха» — так в некоторых говорах называли скелет, «костяк». Тогда прозвище давали либо чрезвычайно тощему человеку, либо, в переносном смысле, упрямому, «несгибаемому» человеку.

Суффикс -аха (Костам-аха) характерен для украинской и южнорусской разговорной традиции — он часто придаёт прозвищу грубоватый, простонародный оттенок (сравните: «головаха», «рубаха»). Фамилия закрепилась без дополнительного суффикса (как Костамаха, а не Костамахин), что указывает на её украинское или белорусское происхождение: в этих регионах фамилии нередко оставляли в форме чистого прозвища, без русских окончаний -ов/-ин.

Географически фамилия встречается спорадически, без плотного гнезда. Основные точки — юг России, Украина и Беларусь. В исторических документах фамилия не зафиксирована в дворянских родословных, что говорит о крестьянском или казачьем происхождении носителей. Предки Костамаха, скорее всего, были простыми людьми, и прозвище закрепилось за ними из-за внешности или характера.

Однокоренных фамилий практически нет. Можно вспомнить разве что фамилию Костомаров (от «костомара» — скелет, «костлявый»), но это другой суффикс. Костамаха стоит особняком — это не «сын Костамаха» (как было бы с -ов), а сам Костамаха, то есть фамилия-прозвище в первозданном виде.