Фамилия Айвори — редкий случай, когда русское окончание скрывает западноевропейские корни. В отличие от подавляющего большинства русских фамилий на -ов/-ев, эта не образована от отчества или прозвища славянского происхождения. Её основа — либо топоним, либо личное имя, и обе версии имеют под собой основания.

Первая и наиболее вероятная гипотеза связывает фамилию с французским местечком Иври-ла-Батай (Ivry-la-Bataille) в Нормандии. В таком случае Айвори — это указание на выходца оттуда. Подобная модель типична для французских фамилий, образованных от названий поселений: человека называли по месту, откуда он родом, а окончание -и закрепилось как указание на принадлежность. В русской записи это могло трансформироваться в Айвори, а затем, при адаптации, получить окончание, привычное для русского уха.

Вторая версия отталкивается от женского имени Ivory. В переводе с латыни (возможно, через старофранцузский) оно означает «слоновая кость» или, в переносном смысле, «белая, чистая». Имя было известно в средневековой Англии и Франции, хоть и не получило широкого распространения. В этом случае фамилия образована напрямую от личного имени, без промежуточного прозвища.

Среди носителей фамилии выделяется шотландский математик Джеймс Айвори (1765–1842), известный работами по теории эллиптических интегралов. Его происхождение подтверждает связь фамилии с Британскими островами, где она встречается чаще, чем в континентальной Европе. В русском контексте фамилия Айвори остаётся экзотической — она не входит в списки распространённых русских фамилий и, скорее всего, принадлежит потомкам иностранцев, обрусевших в XVIII–XIX веках.