Фамилия Каяьнов — редкий случай, где написание подсказывает произношение, а не наоборот. Мягкий знак в середине (Каяьнов) — не ошибка и не опечатка, а прямое указание на то, что основа оканчивалась на мягкий согласный: Каянь. Такое написание фиксирует старую орфографическую норму, когда мягкость согласного перед суффиксом -ов- могли передавать буквой «ь». В современном русском языке эта фамилия могла бы писаться и как Каянов, но вариант с мягким знаком сохранил исходное звучание.

Корень фамилии — «кая-» или «каян-». Самая вероятная версия — происхождение от прозвища Каянь. В русских говорах слово «каяться» означало «сознаваться в проступке, раскаиваться», но прозвище Каянь давали не кающемуся грешнику, а человеку, который постоянно жаловался на судьбу, ныл или, наоборот, заставлял других испытывать чувство вины. Прозвища, образованные от глагола «каяться», встречаются в новгородских и псковских землях: там фиксировали и Каяна, и Каюна, и Кая. Суффикс -янь (-ань) в таких прозвищах — уменьшительно-оценочный, с оттенком фамильярности (сравните: Гулянь, Болтань). В итоге Каянь — это «тот, кто кается» или «тот, кого заставляют каяться».

Есть и другая, менее вероятная версия: от тюркского имени Каян, что значит «сильный, могучий». Но фамилия Каяьнов с мягким знаком в корне плохо стыкуется с тюркской основой — там скорее было бы Каянов без смягчения. К тому же географическое распространение фамилии (в основном в центральных и северных областях России, по данным переписей) говорит в пользу славянской этимологии.

Суффикс -ов- указывает на типичную модель «чей?» — сын Каяня. То есть предок носителя фамилии был известен под прозвищем Каянь, и его потомки стали Каяьновыми. Сословной привязки у фамилии нет: крестьяне, мещане, редко — духовенство. Встречается она нечасто, и в дореволюционных метрических книгах её носители обычно записаны как крестьяне или мещане из Ярославской, Костромской и Вологодской губерний.

Коротко: Каяьновы — потомки человека с прозвищем Каянь, которое, скорее всего, дали за склонность к жалобам или к раскаянию. Написание с мягким знаком — старая орфографическая черта, сохранившаяся в фамилии до наших дней.