Фамилия Сермяжко прямо отвечает на вопрос, чем занимался или как выглядел её первый носитель. В её основе лежит нарицательное «сермяга» — так в старину называли грубое, некрашеное крестьянское сукно домашней выделки и одежду из него. Проще говоря, прозвище Сермяга, от которого пошла фамилия, могли дать тому, кто шил такую одежду, либо человеку, который постоянно её носил и тем выделялся среди более зажиточных соседей.

Само слово известно в русском языке с XV века и было распространено по всей России, поэтому фамилия не имеет одной узкой «родины». Однако бытовые детали, связанные с сермягой, различались по губерниям. В Рязанской губернии, например, сермягой называли конкретный предмет женской одежды: распашную накидку из белого сукна домашней выработки, с прямыми цельными полками и такой же спинкой, длиной ниже колен, с короткими прямыми рукавами и без застежки. Носили её там только женщины — зимой внакидку поверх полушубка, летом поверх рубахи. Если предок родом из тех мест, прозвище могло относиться не к ремеслу, а к манере одеваться.

Формант -ко в фамилии указывает на украинскую или белорусскую модель образования: так закрепляли прозвища в значении «сын, потомок Сермяги» или просто «тот, кто относится к Сермяге». В русских же документах чаще встречались формы Сермягин, Сермяжников или Сермяжкин — от тех же корней, но с другими суффиксами. Фамилия Сермяжко, таким образом, стоит в одном ряду с прозвищными фамилиями, которые называли человека по его социальному положению или роду занятий, нередко с оттенком простонародности: сермяга была одеждой крестьян и бедных горожан, а не знати.