Фамилия Рахмани — редкий случай, когда русская по форме фамилия почти наверняка имеет не славянские, а восточные корни. В отличие от подавляющего большинства русских фамилий на -ов/-ев или -ин, окончание -и здесь указывает не на принадлежность (чей?), а на происхождение по другой модели. Скорее всего, перед нами русифицированная форма тюркской или иранской фамилии, которая не получила стандартного русского суффикса, а была записана в «сыром» виде, как звучала.

Основа «Рахман» восходит к арабскому корню, означающему «милостивый», «милосердный». Это один из эпитетов Аллаха (Ар-Рахман — Всемилостивый) и распространённый компонент мусульманских имён (например, Абдурахман — «раб Милостивого»). В тюркских языках (татарском, башкирском, казахском) имя Рахман или его производные бытовали как личные имена. Фамилия Рахмани могла образоваться от такого имени через прибавление тюркского аффикса принадлежности -и/-ы (буквально «относящийся к Рахману», «из рода Рахмана»), а позже была адаптирована русским делопроизводством.

Географически фамилия чаще всего встречается в Поволжье, на Урале и в Западной Сибири — регионах, где исторически компактно проживали татары и башкиры, принимавшие православие или сохранявшие ислам. В метрических книгах XIX века фамилию Рахмани могли дать крещёному татарину или выходцу из Средней Азии, чьё имя или отчество было записано писцом без изменений. Встречается и другой вариант происхождения: от прозвища Рахман, которое в русских говорах иногда давали человеку доброму, мягкому, «милостивому» (от того же арабского корня, но через посредство татарского языка).

В отличие от фамилий Рахманов или Рахматуллин, где чётко видна русская патронимическая модель, Рахмани сохранила более архаичный след — прямое заимствование без переоформления. Это делает её интересным свидетельством межкультурного контакта: фамилия не обрусела до конца, оставшись в той форме, в какой её впервые записал чиновник. Носители фамилии Рахмани — это, скорее всего, потомки татарских или башкирских родов, реже — выходцы из Ирана или Афганистана, осевшие в России.