Фамилия Харьковец напрямую связана с названием города Харькова. В основе лежит прозвище Харько — так в старину сокращенно называли человека по имени Харитон. Легенда связывает основание города с казаком Харитоном, которого окружающие звали именно Харько, и это прозвище закрепилось за поселением.

Сама фамилия образована по модели, типичной для украинских и южнорусских земель. Суффикс -ец указывает на принадлежность к местности: Харьковец — это «тот, кто из Харькова», выходец из этого города или его окрестностей. Подобным образом возникли фамилии Полтавец, Киевец или Одессец. Такая словообразовательная схема была распространена в среде казачества и мещанства, где происхождение человека часто определяли по месту его рождения или службы.

Важно различать фамилию Харьковец и однокоренные Харьков или Харьковский. Форма на -ец — более древняя и народная, она закрепилась в тех регионах, где люди сами себя называли по месту жительства, а не через официальное прилагательное. Носители фамилии Харьковец, скорее всего, происходят из семей, которые когда-то переселились из Харькова или Харьковской губернии в другие места, но сохранили память о своей малой родине в родовом имени.

Встречается эта фамилия не только на востоке Украины, но и в южных областях России, на Кубани и Дону. Это объясняется историческими миграциями казачества и крестьян в XVIII–XIX веках. Прозвище Харько, давшее начало и городу, и фамилии, было очень распространенным в украинской среде, поэтому фамилия могла возникать независимо в разных семьях, не связанных кровным родством, но имеющих общего предка с этим именем.