Фамилия Мртышкин — редкий случай в русской ономастике, где основа не просто затемнена, а на первый взгляд кажется иноязычной или искусственной. При беглом взгляде хочется связать её с «мартышкой», но это ошибочный путь: в корне нет буквы «а», а сочетание «рт» в начале слова для восточнославянских фамилий нетипично. На самом деле перед нами, скорее всего, фонетически изменённая форма от более привычной фамилии Мартышкин.

Вероятный механизм: в русских говорах, особенно в южнорусских и некоторых белорусских, встречается аканье, доходящее до полной редукции гласного в первом предударном слоге. Имя Мартын (каноническая форма Мартин) в бытовой речи могло произноситься как «Мртын» — с почти исчезнувшим «а». Фамилия, образованная от этого имени через притяжательный суффикс -ин (Мартын → Мартышкин — с типичным суффиксом -шк-, указывающим на принадлежность), в устной передаче потеряла начальную гласную. Так «Мартышкин» превратился в «Мртышкин». Учитывая, что письменная фиксация фамилий часто шла «на слух» (при переписях, в метрических книгах), вариант без «а» мог закрепиться в документах.

Исходное имя Мартын (от римского Мартинус — «посвящённый Марсу», «воинственный») было на Руси распространено, но не так массово, как Иван или Пётр. Соответственно, Мартышкины — потомки человека по имени Мартын, причём суффикс -шк- в данном случае не уменьшительно-ласкательный (как в «мартышка»), а патронимический, как в фамилиях Федькин, Васькин. Носитель фамилии Мртышкин, таким образом, скорее всего, происходит из местности, где аканье было настолько сильным, что «проглотило» гласную даже в фамильном имени. Это может указывать на корни в южных регионах России (Курская, Орловская, Воронежская губернии) или в восточной части Беларуси.

Встречается и другая, менее вероятная версия: связь с диалектным словом «мртыш» или «мортка» (в некоторых говорах — «морока», «смерть», «смертная тоска»). Однако такая основа дала бы фамилию Мртышев, а не Мртышкин. Суффикс -шк- прочно привязывает фамилию к имени собственному, а не к нарицательному существительному. Поэтому версия с редукцией гласного в имени Мартын — основная и наиболее обоснованная. Это не фамилия-исключение, а живая иллюстрация того, как устная речь перекраивает письменную форму.