Фамилия Ладыжинский — один из тех случаев, когда географическая привязка оказывается точнее и надёжнее, чем попытки вывести значение через прозвище. В основе фамилии лежит не имя и не ремесло, а конкретный топоним: деревня Ладыги в Руднянском районе Смоленской области. Она входила в Понизовское сельское поселение, и, судя по фамилии, её основатель либо родился в этих местах, либо владел там землёй. Суффикс -ский в таких фамилиях указывает на принадлежность к местности: Ладыжинский — «тот, кто из Ладыг».

Иногда встречается версия, что Ладыжинский — это фонетический вариант фамилии Лодыжинский. Сторонники этой гипотезы связывают её с прозвищем Лодыга, которое пошло от слова «лодыга» (лодыжка, щиколотка). В переносном смысле «лодыга» и «лодыжник» означали бездельника — человека, который, как говорили в старину, «лодыжничает», то есть ленится. Однако эта версия слабее: чередование а/о в корне (Ладыга — Лодыга) могло возникнуть под влиянием акающих говоров, но привязка к реально существующему селу Ладыги выглядит убедительнее, чем додумывание прозвищного смысла.

Фамилия Ладыжинский — редкая, её носители, скорее всего, происходят из смоленских или западнорусских земель. Это типичная «географическая» фамилия, каких много среди дворянства и духовенства: суффикс -ский в XVIII–XIX веках часто получали те, кто переселялся из одного места в другое и получал прозвание по прежнему месту жительства.