Фамилия Колногоровы (в мужском роде — Колногоров) напрямую связана с северными землями Руси. Её основа — прозвище Колногор, которое, скорее всего, образовано от названия старинного села Колмогоры (впоследствии — Холмогоры) в Архангельской области. Так могли прозвать человека, который родом оттуда или долго там жил.

Село Колмогоры известно с XIV века. В конце XIV — начале XV века новгородцы поставили здесь деревянную крепость, а в 1613 году выстроили четырёхугольный деревянный кремль с пятью башнями. 8 декабря того же года кремль успешно выдержал осаду польско-литовского войска. В 1492 году из Колмогор в Данию ушёл морской караван с зерном — одна из первых попыток Руси торговать с Европой по морю. В XVIII веке, после дворцового переворота 1741 года, Холмогоры стали местом ссылки «Брауншвейгского семейства» — свергнутой ветви императорской фамилии.

Прозвище давали не по названию села напрямую, а по его разговорной, народной форме. Переход «Колмогоры» в «Колногор» — типичное для живой речи упрощение: выпадал звук «м» перед «г», а ударение смещалось. То же самое произошло и с официальным названием: со временем «Колмогоры» превратились в «Холмогоры», но в прозвище закрепился старый, «докнижный» вариант. Фамилия Колногоров — это память о том, что предок носителя был выходцем из одного из ключевых центров Русского Севера, торгового и административного.