Фамилия Хорунже — одна из тех, что хранят память о военной службе предков. Её основа — украинское слово «хорунжий», которое в Речи Посполитой, а затем и в Российской империи обозначало знаменосца, то есть воина, нёсшего полковое знамя (хоругвь). В казачьей иерархии хорунжий был младшим офицерским чином, примерно соответствовавшим современному лейтенанту. Таким образом, первый носитель фамилии, скорее всего, либо сам был хорунжим, либо служил у такого офицера.

Сама фамилия образована не по стандартной русской модели с суффиксом -ов или -ин, а по украинской — с усечением окончания. Если бы её записали по великорусскому образцу, она звучала бы как «Хорунжев». Форма «Хорунже» — это притяжательное прилагательное в краткой форме, отвечающее на вопрос «чей?»: «Хорунже» значит «принадлежащий хорунжему». Такое окончание без суффикса характерно для украинских фамилий на -ий, -ий, которые в русском языке часто теряют последний слог: Хорунжий → Хорунже.

Географически фамилия тяготеет к южнорусским и украинским землям, особенно к бывшим казачьим областям: Запорожье, Дон, Кубань. Встречаются и варианты написания — Хорунжий, Хорунжый, но форма «Хорунже» указывает на то, что фамилия закрепилась в документах именно в украинской фонетической записи, без твёрдого окончания.

Важно не путать её с похожей фамилией «Хорунжий» — это та же основа, но оформленная по-другому: как полное прилагательное в именительном падеже. «Хорунже» — вариант более редкий, часто встречается в переписях XIX века среди казаков Черниговской и Полтавской губерний. Социальный статус предка был, скорее всего, казачьим или мещанским: дворянами хорунжие становились редко, если только не выслуживали личное дворянство через чин.