Фамилия Грубий — редкий случай, когда прозвище перешло в фамилию почти без изменений, сохранив свою исходную форму. В ней нет типичных фамильных суффиксов -ов, -ин или -ский, которые «причесывали» бы основу под стандарт. Это так называемая «чистая» фамилия, образованная напрямую от прилагательного или прозвища.

Основа здесь — «грубый». В древнерусском языке слово «грубый» имело более широкий спектр значений, чем сегодня. Оно могло означать не только «невежливый», но и «необработанный», «суровый», «простой», «неотесанный». Прозвище Грубий давали не обязательно за грубость в современном смысле. Скорее, его мог получить человек прямолинейный, резкий в суждениях, не склонный к церемониям, или же тот, кто занимался «грубой» работой — например, обработкой камня, рубкой леса.

Модель образования фамилии — субстантивация прилагательного, то есть переход слова в разряд существительных для обозначения человека. Это характерно для украинской и белорусской ономастики, где фамилии на -ий нередки (Толстый, Малый, Гордый). В русской традиции такие фамилии встречаются реже, но тоже возможны, особенно в южных и западных регионах. Поэтому географически фамилия Грубий скорее всего имеет корни в Украине, Беларуси или на юго-западе России.

В словаре Б. Унбегауна «Русские фамилии» подобные модели описываются как характерные для прозвищ, закрепленных в качестве фамилий без дополнительного оформления. В данном случае фамилия Грубий — это прямое свидетельство того, как в народе метко и без прикрас называли человека, и это имя закрепилось за его потомками.