Фамилия Шестакое — редкий случай, когда написание расходится с произношением и здравым смыслом. Чаще всего мы встречаем фамилию Шестаков, образованную от отчества «Шестаков сын»: Шестак — шестой ребенок в семье. Но здесь окончание «-ое» вместо привычного «-ов». Это не опечатка и не ошибка переписчика, а вполне реальная, хоть и малочисленная, модель русских фамилий.

Суффикс -ое (в родительном падеже — «Шестакого») встречается в фамилиях, образованных от притяжательных прилагательных среднего рода. По сути, это застывшая форма «Чьё?» — «Шестакое». Так могли назвать человека, который жил в доме или на хуторе, принадлежавшем Шестаку. Или же это вариант, возникший в говорах, где окончания прилагательных и фамилий смешивались: ср. известные фамилии Благой, Толстой, а также просторечные формы вроде «Шестакой».

Основа та же — прозвище Шестак. В старину так называли не просто шестого сына, а вообще младшего ребенка, который остался «шестым» по счету, или того, кто родился после пятого. В некоторых регионах слово «шестак» означало также слугу, помощника, но для фамилии первично именно числовое значение. Географически фамилия Шестакое — редкость, её можно встретить в старых документах по югу России и, возможно, в казачьих областях, где окончание «-ой» и «-ое» держалось дольше.

Таким образом, Шестакое — не «неправильный» Шестаков, а самостоятельная фамилия с тем же корнем, но другой словообразовательной историей. Ваш предок мог быть либо шестым ребенком, либо жить на земле, которую в народе называли «Шестакое», то есть «принадлежащее Шестаку».