Фамилия Землеруб — редкий случай, когда прозвище, лёгшее в основу, почти не требует расшифровки. Это одна из тех «говорящих» фамилий, где основа прозрачна: «землю рубить». Только вот «рубить» здесь не значит «резать топором». В русских говорах «рубить» могло означать «долбить, копать, пробивать» — отсюда и «землеруб» как тот, кто копает землю, землекоп. Прямое указание на тяжёлый физический труд: рытьё канав, котлованов, колодцев или могил.

Словообразовательная модель проста и архаична. Суффикс -Ø (нулевой) превращает глагольное сочетание в существительное-прозвище. А вот фамилия в современном виде, скорее всего, оформилась без дополнительного суффикса — как чистая основа, без типичных -ов или -ин. Это нехарактерно для русской крестьянской традиции, где фамилии редко оставляли в виде голого прозвища. Отсюда две версии. Первая: фамилия могла быть искусственной, книжной — так иногда называли себя люди, желавшие подчеркнуть род занятий в официальных бумагах, например, при записи в рекруты или при переселении. Вторая: это поздняя русификация украинской или белорусской фамилии, где суффиксы -ук, -енко могли отпасть или не прижиться в русской среде. В украинском «землеруб» — то же самое, что и в русском, но бытование такой фамилии на юге более вероятно.

Спорный момент — не путать с фамилией Земледел («земледелец»). Землеруб не пашет и не сеет, его дело — рыть и долбить. В дореволюционной России землекопы составляли отдельную артель, часто сезонную, и прозвище «Землеруб» могло закрепиться за целой семьёй, если мужчины поколениями занимались этим промыслом. Встречается фамилия крайне редко, в основном в центральных и южных регионах бывшей Российской империи. О сословной принадлежности носителей судить трудно: землекопами были и крестьяне на отхожем промысле, и городские работные люди. Скорее всего, предок носителя фамилии был не кабинетным учёным, а человеком, чьим главным инструментом были лопата и лом.