Фамилия Каржова хранит память о прозвище дальнего предка. В её основе лежит слово «карж» — так в старину называли пресную лепёшку, которую пекли на углях или в золе. Того, кто выпекал такие лепёшки, односельчане и нарекали Карж. Со временем это прозвище закрепилось как семейное имя, а потомки получили фамилию Каржов.

Но есть и другая версия. В сибирских говорах «карж», «корж» или «коржак» означают иней, изморозь. Прозвище Карж могли дать человеку с седой головой или с холодным, неприветливым нравом. Какая из версий вернее — сегодня сказать трудно, но обе имеют право на существование.

Сама модель фамилии проста и типична для русского севера и востока: суффикс -ов присоединился к основе Карж, указав на принадлежность — «сын Каржа». Такие фамилии в массе своей сложились у крестьян и посадских людей в XVI–XVII веках, когда прозвища отца переходили к детям без изменений.

Фамилия редкая. Встречается она преимущественно в Сибири и на Урале, что косвенно подтверждает сибирское происхождение прозвища. В центральных областях России её почти нет. В писцовых книгах и переписных листах XVII–XVIII веков фамилия не зафиксирована, что говорит о её позднем оформлении — скорее всего, уже в XIX веке.

Так фамилия Каржова, независимо от того, от лепёшки она или от инея, остаётся живым свидетельством быта и языка тех мест, где её носили.