Скорее всего, оно ведет свое начало от диалектного глагола «харлить», который в вологодских говорах означает «оттягивать неправдой чужое». Вполне возможно, что прозвище носило иронический характер и давалось с целью указать на недостатки или дурные привычки человека. Поэтому Харлимом могли называть плута, мошенника. Кроме того, в олонецких говорах употреблялся глагол «харлать», т.е. «орать, кричать». В таком случае Харлимом могли называть крикуна, скандалиста.