Фамилия Диспенсер ведет свою историю от нормандского рыцаря Робера Ле Диспенсье, который сражался при Гастингсе в 1066 году. Его имя зафиксировано на мемориальной доске в церкви Див-сюр-Мер. Исходно Робер был сыном Альмерикуса д’Аббетота и получил прозвание по месту происхождения — городку Сен-Жан-д’Аббетот в Нормандии. Со временем приставка «Ле» отпала, и фамилия закрепилась в форме Диспенсер.

Этимология восходит к старофранцузскому слову «диспенсье», что означало «дворецкий» или «управляющий». В английском языке от того же корня образовалась фамилия Спенсер (впервые зарегистрирована в Лестершире). Латинские параллели — dispensa («вольноотпущенный») и dispensarius («управляющий») — указывают на административную или придворную роль первых носителей.

В процессе эволюции фамилия получила переносное значение «распростертый (на всю страну)», что отражало масштаб влияния рода. В XIX веке фамилия вошла в моду, а имя Спенсер стало популярным в США (его носил, например, Чарльз Спенсер Чаплин). К числу известных носителей относят Диану Спенсер, принцессу Уэльскую.