Фамилия Остистый — редкий случай, когда прозвище перешло в фамилию почти без изменений, сохранив свою первоначальную форму. В русской ономастике фамилии на -ый обычно имеют прилагательное происхождение и указывают на характерный признак человека. В данном случае основа — «остистый», то есть покрытый остями, колючий, похожий на ость (тонкий усик в колосе злаков, щетинка у животных).

Самый прямой путь к происхождению — внешность или характер. Остистым могли назвать человека с жёсткими, торчащими волосами или бородой, напоминающими ость. Сравните с однокоренными фамилиями Остин, Остев, где корень тот же, но суффиксы другие. В говорах слово «ость» имело и переносное значение — «заноза», «колючка», так что прозвище могло закрепиться за неуживчивым, сварливым человеком, от которого, как от колючки, все шарахались.

Менее очевидная, но правдоподобная версия — профессиональная. В земледелии ость — важная часть колоса; остистые сорта пшеницы отличались от безостых. Прозвище Остистый мог получить крестьянин, специализировавшийся на селекции или продаже именно таких сортов, либо человек, работавший с колючими растениями (например, молотильщик, постоянно контактировавший с остями, которые забивались в одежду).

Географически фамилия тяготеет к южнорусским и украинским регионам, где озимые культуры с остями были распространены шире, чем на севере. В документах XIX века встречаются единичные записи о крестьянах с такой фамилией в Курской и Воронежской губерниях. В дворянских родословных книгах Остистых нет — это однозначно крестьянская или мещанская фамилия, образованная в среде, где прозвища давали по живым, наглядным признакам.

Сейчас фамилия крайне редкая. В современных телефонных справочниках и базах данных её носителей насчитывается не более нескольких десятков человек по всей России. Такая редкость объясняется не только специфичностью прозвища, но и тем, что в XIX веке многие Остистые могли «облагозвучить» фамилию, сменив окончание на -ов или -ев, чтобы она вписалась в стандартную модель русских фамилий.