Фамилия Мстой — редкая и необычная по своему строению. В русской ономастике она выделяется тем, что её основа не имеет очевидных параллелей в современном языке. С точки зрения словообразования, фамилия явно происходит от прозвища или мирского имени, которое в XVI–XVII веках могли дать человеку по какой-то характерной черте, занятию или случаю из жизни.

Наиболее вероятная версия связывает фамилию Мстой с диалектным словом «мстой» — так в некоторых северных и сибирских говорах называли медленно текущую, стоячую воду, болотистый ручей или заводь. Слово родственно глаголу «мстить» в значении «медлить, мешкать» (ср. «место» и «медлить» в древнерусском). Прозвище Мстой мог получить человек неторопливый, основательный, или же тот, кто жил у такого водоёма. Формант -ой (а не -ов или -ин) указывает на то, что фамилия застыла в форме полного прилагательного — это характерно для прозвищ, которые перешли в фамилии без дополнительных суффиксов, что встречается реже, чем стандартные патронимы.

Есть и другая гипотеза: Мстой могло быть искажением фамилии Мстовой или Мстов, связанной с польским или белорусским словом «most» (мост). В таком случае предок мог быть мостовщиком или жить у моста. Однако эта версия менее убедительна, так как в русском языке форма «мстой» не имеет прямых аналогов в фамилиях мост-группы (обычно встречаются Мостов, Мостовой, Мостовский). К тому же суффикс -ой в русских фамилиях чаще встречается в прилагательных, образованных от существительных с изменением корня (ср. Толстой от «толстый», Худой от «худой»), а не от заимствований.

Географически фамилия Мстой крайне редка. В дореволюционных переписях она почти не фиксируется, а в современных базах данных встречается единично, преимущественно в центральных областях России. Это может говорить о том, что фамилия возникла в одной конкретной местности (возможно, в Архангельской или Вологодской губернии, где слово «мстой» было в ходу) и не получила широкого распространения. По сословной принадлежности носители, скорее всего, были крестьянами или посадскими людьми — фамилии на -ой без патронимического суффикса часто закреплялись за простыми людьми, а не за дворянами.

Таким образом, фамилия Мстой — это редкое диалектное прозвище, которое перешло в фамилию без изменений. Она указывает либо на характер человека (медлительный, спокойный), либо на место его жительства (у стоячей воды). Учитывая её редкость, все современные носители с высокой вероятностью являются потомками одной семьи или выходцами из одного региона.