Фамилия Болотняя — редкий случай, когда географическая привязка зашита прямо в основу, но форма слова заставляет задуматься. В отличие от подавляющего большинства русских фамилий, которые оканчиваются на -ов, -ин или -ский, здесь мы видим окончание -яя, типичное для прилагательных женского рода. Это сразу подсказывает, что перед нами не «сын Болотного», а скорее прозвище или характеристика, застывшая в такой форме.

Скорее всего, Болотняя — это фамилия-прозвище, образованная от прилагательного «болотный». В старину так могли назвать человека, жившего на болоте, у болота или занимавшегося промыслом, связанным с болотными угодьями: сбором клюквы, морошки, заготовкой торфа, охотой на болотную дичь. В русских говорах «болотник» — это и житель болотистой местности, и леший, живущий в болоте, но в основе фамилии, скорее, бытовой, а не мифологический смысл.

Форма на -яя может указывать на то, что фамилия изначально была прозвищем, которое не склонялось как типичная фамилия, или же она возникла в среде, где фамилии только начинали закрепляться, и её записали в документах так, как слышали: «Иван Болотняя» — то есть «Иван Болотный» в женском роде? Нет, здесь другая логика. В северных и сибирских говорах, а также в украинском языке, прозвища на -яя могли быть закреплены за конкретным человеком безотносительно к полу. Например, «Кривая» — не обязательно женщина, а человек с дефектом зрения. Так и Болотняя — мог быть мужчина, которого дразнили «Болотным», а в переписи записали через «я» из-за местных особенностей произношения или письма.

Вероятнее всего, фамилия Болотняя — это редкий вариант, сохранившийся в северных или сибирских регионах России, где фамилии на -их/-ых (типа Болотных) и на -яя (типа Болотняя) встречаются чаще, чем в центральной полосе. В современных базах она почти не встречается, что подтверждает её локальный и малочисленный характер. Если ваши предки носили эту фамилию, стоит искать их корни в районах с большим количеством болот — например, в Полесье, Западной Сибири или на Русском Севере.

Однокоренные фамилии — Болотников, Болотов, Болотный — распространены гораздо шире. Болотняя же выделяется на их фоне как более архаичная и диалектная форма, которая не прошла стандартную унификацию на -ов. Это не делает её «неправильной» — наоборот, она ценна как живое свидетельство местного словообразования.