Фамилия Мачтовой — одна из тех русских фамилий, чья форма сбивает с толку при первом взгляде. Окончание -ой здесь не суффикс, а ударное флективное окончание, свойственное притяжательным прилагательным в старой русской орфографии: «Мачтовой» — это родительный падеж от «Мачтовый». В современном языке мы бы сказали «Мачтового», но в XIX веке такие формы закреплялись в документах как фамилии. Чаще всего подобное окончание встречается среди донских и украинских казаков, а также в северных говорах, где «чей?» отвечали «Мачтовой сын». Поэтому географически фамилия тяготеет к югу России и бывшим казачьим областям.

Основа фамилии — слово «мачта». В русском языке оно заимствовано из голландского (mast) или нижненемецкого, что сразу указывает на связь с мореходством и корабельным делом. Прозвище Мачтовый могли дать человеку высокому и прямому как мачта, либо мастеру, который изготавливал или устанавливал мачты на судах. Учитывая, что в центральной России мачтовое дело было редкостью, фамилия могла возникнуть в портовых городах (Архангельск, Астрахань, Таганрог) или среди плотников-судостроителей, работавших на верфях.

Есть и более прозаичная версия: в некоторых говорах «мачтой» называли длинный шест или жердь, используемый в строительстве или для сушки сена. Тогда прозвище Мачтовой получал человек, который торговал таким лесом или славился своим ростом. В пользу этой версии говорит то, что фамилия встречается не только в приморских регионах, но и в Воронежской, Курской, Тамбовской областях — там, где судоходство было речным, но мачтовый лес всё же требовался.

Словообразовательная модель проста: суффикс -ов- со значением принадлежности, присоединённый к основе «мачт-», дал прилагательное «мачтовый», которое и закрепилось как фамилия. В отличие от более частых «Мачтов» или «Мачтовых», форма «Мачтовой» сохранила архаичное окончание, что делает её ценной для историков языка — она фиксирует тот этап, когда русские фамилии ещё не унифицировались под современный стандарт.

Известных носителей с такой фамилией в открытых источниках немного, что типично для редких прозваний. Если ваши предки носили фамилию Мачтовой, стоит поискать их в метрических книгах южных губерний или в казачьих ревизских сказках — вероятность найти следы корабельного или плотницкого ремесла там высока.