Фамилия Желвицкий образована по продуктивной модели с суффиксом -цк-/-ск-, который в восточнославянской традиции чаще всего указывает на географическое происхождение: так называли человека по названию местности, откуда он родом или где владел землей. В основе фамилии лежит топоним Желвица или Желвицы. Такие названия встречаются в Беларуси и на западе России (например, деревня Желвицы в Псковской области). Первым носителем фамилии мог быть помещик, владевший имением Желвицы, или крестьянин, переселившийся оттуда.

Корень «желв-» в славянских языках неоднозначен. Самая прямая версия — связь со словом «желвь» (или «желвец»), которое в древнерусском и диалектах означало черепаху, а в переносном смысле — медлительного, неповоротливого человека. Однако в ономастике популярнее другая гипотеза: «желвь» могло обозначать возвышенность, холм, бугор (ср. литовское želvė — «бугор»). Если название деревни Желвицы действительно связано с рельефом, то фамилия указывает на место жительства предка на холмистой местности, а не на его прозвище.

Суффикс -ицк- (вместо более частого -ск-) характерен для фамилий, образованных от названий на -ицы, -ичи. Это типично для белорусской и западнорусской ономастики. Фамилия Желвицкий, скорее всего, сформировалась в шляхетской или мещанской среде на территории современных Беларуси, Смоленщины или Псковщины. В дворянских родословных книгах эта фамилия не фиксируется как распространенная, что говорит о её вероятном происхождении из среды однодворцев или мелкопоместной шляхты, либо о позднем закреплении у крестьян после отмены крепостного права.

В написании фамилии возможна вариантность: в старых документах встречаются формы Желвицкий и Желвитский (через «т»). Последнее могло возникнуть под влиянием польского произношения или из-за народной этимологии, сближавшей фамилию с глаголом «желвить» (говорить, болтать). Но основной и исторически верный вариант — через «ц».