Фамилия Карговский — яркий пример того, как модель образования может рассказать о происхождении больше, чем сама основа. Суффикс -ский в русских фамилиях — это почти всегда маркер дворянского или шляхетского происхождения, либо указание на географическое название. В случае с Карговским наиболее вероятен второй вариант: фамилию могли получить выходцы из местечка, села или урочища с названием вроде Каргово, Каргов или Каргова. Такие топонимы встречаются в западных регионах бывшей Речи Посполитой — на территории современной Беларуси, Польши и западной Украины. Там же суффикс -ский особенно распространён среди польской шляхты и православной знати, оформлявшей фамилии по тому же образцу.

Основа Карг- допускает несколько прочтений. Самое прямое — от древнерусского или диалектного слова «карга», которое в разных говорах означало «ворона», «старуха», «сварливая женщина» или «коряга, пень». Прозвище Карга давали либо человеку с хриплым, каркающим голосом, либо ворчливому пожилому человеку. Однако применительно к фамилии на -ский стоит рассматривать не столько прозвище, сколько название места. Если село называли Каргово, то его имя могло произойти от имени или прозвища первопоселенца — некоего Карга. В этом случае Карговские — это потомки того самого Карги, который основал или владел этим поселением.

Менее вероятная, но не исключённая версия — связь с тюркским словом «карга» («ворона») или «каргы» («чёрный»). В XVI–XVII веках на русскую службу переходило немало выходцев из татарских и ногайских родов, и их потомки нередко получали фамилии по имени предка с добавлением -ский. Однако для фамилии Карговский эта гипотеза слабее: тюркская основа обычно даёт формы на -ев/-ов (Каргаев, Каргин), а не на -ский, если только речь не идёт о пожалованном дворянстве.

Встречаемость фамилии сегодня невысокая, что тоже говорит в пользу её локального, «гнездового» происхождения. Карговские, скорее всего, ведут род из одного-двух конкретных сёл или местечек, и их фамилия — это не случайное прозвище, а указание на малую родину. В ономастических справочниках (например, у Б. Унбегауна) модель «топоним + -ский» подробно описана как типичная для польско-литовской и западнорусской знати, так что Карговский органично вписывается в этот ряд.