Фамилия Руфимская — редкий пример, где географическое «откуда» почти наверняка перевешивает личное «чей». Форма на -ская ясно указывает на дворянское или духовное происхождение, но в данном случае, скорее всего, на происхождение от названия места. В отличие от крестьянских фамилий на -ов/-ев, которые образовывались от имени отца, фамилии на -ский в массе своей давались по названию имения, города или села, откуда человек был родом.

Основа «Руфим-» восходит к каноническому мужскому имени Руфим. Это имя — народная, русифицированная форма церковного имени Руф (от латинского rufus — «рыжий»). В святцах имя Руф встречается, но было редким, поэтому и фамилия Руфимская — штучный товар. Если бы фамилия образовалась напрямую от имени отца (Руфим → Руфимов), она звучала бы иначе. Суффикс -ск- меняет смысл: владелец фамилии — не сын Руфима, а человек, связанный с местом, которое носило название Руфимово или Руфимское.

Вероятнее всего, предок носителя фамилии был либо помещиком, владевшим сельцом Руфимово (такие деревни могли назвать по имени первого владельца), либо выходцем из этого села, получившим фамилию при поступлении в духовное училище. Семинаристам часто давали фамилии по названиям храмовых праздников или по именам святых, но здесь модель «от названия села» выглядит убедительнее: в семинарской практике фамилии типа Руфимский давали редко, предпочитая более «книжные» варианты (Руфинский, Руфов).

Есть и третья, менее вероятная версия: фамилия могла возникнуть как искажение от Руфинская — по имени святого Руфина. Но в русской ономастике форма Руфимская прочно держится за имя Руфим, а не за латинский прототип. Таким образом, перед нами типичная «географическая» фамилия, которая закрепилась за дворянским или духовным родом, происходящим из конкретного небольшого поместья. Встречаемость фамилии крайне низкая, что подтверждает её локальный, почти усадебный характер.