Фамилия Шерубаев строится по простой и прозрачной модели: основа Шерубай плюс притяжательный суффикс -ев, указывающий на принадлежность («чей?» — Шерубаев). Это значит, что в основе лежит личное имя Шерубай, которое и носил родоначальник. Такие фамилии на -баев характерны для тюркских народов, особенно для казахов и башкир, где они образуются от составных имен с компонентом «бай» — в прошлом «богатый, господин, хозяин», а позже ставшим просто уважительным элементом имени.

Первая часть имени, «шеру», не столь однозначна. Самое вероятное объяснение — это искаженное или адаптированное персидское слово «шир» (лев). В казахском и татарском языках есть имена Шерубай, Ширали, Шергазы, где «шер» означает «лев». Тогда Шерубай — «лев-богач» или «богатый, как лев», имя с пожеланием силы, смелости и благополучия. Вторая гипотеза, менее убедительная, связывает «шеру» с глагольной основой, означающей «расчесывать шерсть» или «чесать», но для имени такое значение маловероятно — скорее, это случайное звуковое совпадение.

Географически фамилия Шерубаев встречается прежде всего в Казахстане и среди казахских диаспор. В России она редка и локализована в основном в Оренбургской, Астраханской областях и в Татарстане — регионах с давними тюркскими и казахскими общинами. В русских документах XIX века такие фамилии часто фиксировались у казахов, переходивших на оседлость или служивших в казачьих войсках.

Словообразовательно интересно, что фамилия сохранила старую, нестяженную форму имени Шерубай, тогда как в разговорной речи оно могло сократиться до Шербай. Если бы в основе лежало краткое Шербай, фамилия звучала бы как Шербаев. Таким образом, Шерубаев — архаичный вариант, застывший в письменной форме, что указывает на относительно раннюю фиксацию фамилии до начала массовых сокращений личных имен.