Фамилия Ершимов образована по простой и распространённой модели: от прозвища или нецерковного имени Ерш через притяжательный суффикс -ов. Суффикс указывает на принадлежность: Ершимов буквально означал «сын Ерша» или «из семьи Ерша». Основа здесь — название колючей рыбы, хорошо знакомой в русских реках и озёрах.

Прозвище Ерш в старину давали человеку с соответствующим характером: задиристому, неуживчивому, колкому в общении, «ершистому». В русском фольклоре и бытовой речи «ершом» называли и сварливого старика, и бойкого мальчишку. Не исключено, что прозвище могло относиться и к внешности — например, к человеку с торчащими волосами или щетинистой бородой.

Словообразовательный ряд у этой фамилии прозрачный, но не слишком частый. Однокоренные фамилии — Ершов, Ершев, Ершин — встречаются гораздо чаще. Вариант Ершимов выделяется суффиксом -им-, который встречается в русских фамилиях реже, чем -ин или -ов. Обычно он появляется в формах от основ на мягкий согласный или в диалектных вариантах: ср. Дружимов, Ворожимов. Возможно, в основе лежала местная форма имени Ерша — Ершим, с ударением на первый слог.

С географической точки зрения фамилия Ершимов не привязана к какому-то одному региону, но по данным современных телефонных справочников и баз переписи, носители встречаются в центральных областях России, в Поволжье и на Урале — то есть там, где водится ёрш и где прозвище было в ходу. В дореволюционных документах фамилия могла писаться через «ять» в окончании — Ершимовъ, что не меняло её смысла.

Сословное происхождение определить сложно: прозвище Ерш встречалось и среди крестьян, и среди посадских людей, и даже в среде служилых — в XVI–XVII веках известны, например, подьячие и стрельцы с таким именем. Поэтому Ершимовы могли быть как крестьянами, так и мещанами или купцами, в зависимости от ветви рода.