Прозвище Ворожба восходит к аналогичному нарицательному «ворожба», имеющему значение «гадание, заговоры, колдовство». Вероятно, родоначальник Ворожбиных занимался лечением травами, прибегал к заговорам, призывая вражью, то есть дьявольскую силу: от «ворог», то есть «враг», и происходит слово «ворожейка», «ворожба». О «помощи» подобного рода говорится в поэме Некрасова Н.А. «Мороз, Красный нос»: «Простудился Прокл, попарили его в бане, не помогло. Таким образом, потомок человека, обладающего прозвищем Ворожба, со временем получил фамилию Ворожбина.