Фамилия Айвори, вероятно, образована от аналогичного прозвища, которое восходит к названию местечка Ivry-la-Bataille в северной Франции. Возможно, предок обладателя этой фамилии был уроженцем этого населенного пункта. По другой версии, в основе фамилии лежит женское имя Ivory, которое в переводе с латыни означает “белая, как слоновая кость”. Среди знаменитых однофамильцев — Джеймс Айвори (1765—1842), шотландский математик.