Фамилия Гимжаускас — характерный пример литовской антропонимической модели, которая в русском языке закрепилась в своей исходной форме, без русификации. Литовские фамилии мужского рода в именительном падеже часто оканчиваются на -ас, -ис, -ус. Суффикс -ауск- (в литовской записи -ausk-) указывает на происхождение от географического названия или прозвища: он образует притяжательные прилагательные и, как следствие, фамилии по месту жительства или по имени предка-основателя.

Основа «Гимж-» (лит. Gimž-) скорее всего связана с литовским словом gimti — «родиться», «происходить». В таком случае Гимжаускас — это потомок того, кого прозвали Гимжа (Gimža). Прозвище могло означать «родич», «свой человек» или даже «родной», «уроженец» (в смысле «местный»). Менее вероятна, но не исключена связь с диалектным gimžti — «мять», «комкать», что могло характеризовать манеру речи или движений.

Словообразовательная модель типична для литовской знати и зажиточных крестьян: фамилии на -auskas (в русской передаче -аускас) широко распространены в Жемайтии и Аукштайтии. В Российской империи, особенно после отмены крепостного права, такие фамилии активно фиксировались в метрических книгах. Гимжаускасы, скорее всего, происходят из южной или центральной Литвы — регионов, где фамилии на -auskas встречаются чаще.

В отличие от многих литовских фамилий, которые в XIX веке русифицировали (Гимжаускас → Гимжавский или Гимжевский), эта форма сохранила оригинальное окончание. Встречаются варианты написания: Гимжаускас, Гимжяускас, а в латинской записи — Gimžauskas. В русском языке фамилия не склоняется как заимствованная, хотя по правилам литовской грамматики мужская фамилия склоняется по образцу существительных на -ас.

Социально носители фамилии относились к крестьянскому сословию или мелкой шляхте, но точных данных о сословной принадлежности без генеалогического поиска нет. Фамилия нечастотная: за пределами Литвы её можно встретить среди потомков литовских эмигрантов в США, Канаде и, реже, в России.