Фамилия Рухлядко напрямую связана с прозвищем Рухлядь, которое и стало её основой. В русских говорах рухлядью называли пришедшие в ветхость вещи, старую одежду и домашний скарб. Такое прозвище обычно закреплялось за человеком, чья бедность была заметна окружающим: он был вынужден годами носить одну и ту же изношенную одежду, и это бросалось в глаза. В этом смысле прозвище содержало точную социальную характеристику основателя фамилии, указывая на его скромное материальное положение.

Однако у этого прозвища есть и вторая, не менее интересная версия происхождения, связанная с торговлей. Дело в том, что в XV — начале XVIII века устойчивое выражение «мягкая рухлядь» имело совершенно конкретное значение — так называли пушной товар, пушнину. Шкурки соболя, куницы, бобра и других зверей играли огромную роль в экономике Московского государства: они служили экспортным товаром, шли на «жалованье» служилым людям, использовались как подарки послам и иностранным государям. Поэтому Рухлядью вполне могли прозвать не бедняка, а наоборот, человека, связанного с этим прибыльным делом: торговца пушниной, скупщика мехов или мастера, занимавшегося их обработкой.

Какая из версий правдоподобнее — сказать сложно, обе имеют право на существование. Слово «рухлядь» в значении «ветошь» было широко распространено в народной речи, поэтому первая версия выглядит более естественной для прозвища, данного односельчанами. Вторая версия опирается на документально зафиксированный термин, но требует допущения, что прозвище дали по роду занятий, а не по внешнему виду.

Сама фамилия образована по распространённой модели с суффиксом -ко, который в украинской и белорусской традиции, а также в южнорусских говорах часто присоединялся к основе прозвища или имени для образования фамилий. Форма Рухлядко указывает на то, что предки носителя этой фамилии жили, скорее всего, на территории современной Украины, Беларуси или в южных регионах России, где такая словообразовательная модель была особенно популярна. Позже прозвище Рухлядь, изначально существовавшее наряду с наследственным именем, полностью заменило его и в повседневной жизни, и в официальных документах, закрепившись за потомками в виде фамилии Рухлядко.