Фамилия Костулина — редкий случай, когда женская форма (на -а) прочно закрепилась как основная, а мужской вариант Костулин встречается реже. В этом видна одна из особенностей русской ономастики: фамилии на -ин/-ын образуются от основ на -а/-я, и здесь основа — Костул-.

Самое вероятное происхождение — от прозвища или имени Костула. В русских говорах слово «костула» имело несколько значений. В северных и сибирских диалектах так называли костяную иглу для плетения сетей или костяной гребень для чесания льна. Значит, предок мог быть рыбаком, ткачом или ремесленником, работавшим с костью. В южных и западных областях «костула» — искажённое «костыль» (палка, подпорка), и прозвище могли дать человеку, который ходил с костылём или был высоким и худым, как жердь.

Есть и вторая, менее очевидная версия: фамилия могла возникнуть из диалектного «костулить» — стучать, греметь, колотить. Тогда прозвище Костула получил шумный, суетливый человек или, наоборот, тот, кто работал молотком — кузнец, плотник. Филолог Борис Унбегаун в своём труде «Русские фамилии» не выделяет Костулиных отдельно, но относит подобные образования к группе прозвищных фамилий, где суффикс -ин указывает на принадлежность: «чей?» — Костулин, то есть сын Костулы.

Географически фамилия тяготеет к центральным и северным областям России: встречается в архивах Вологодской, Костромской и Архангельской губерний. В этих краях слово «костула» в значении «костяная игла» было в ходу до XX века. Сословно предки Костулиных, скорее всего, были государственными крестьянами или ремесленниками — в дворянских родословных книгах эта фамилия не значится.

В написании фамилии возможна путаница: иногда её записывали как Костелина (от имени Костя) или Кастулина (под влиянием латинского castus — чистый), но это ошибочные варианты. Ударение, судя по говорам, падает на второй слог: Косту́лина.