Фамилия Каширов образована от прозвища Кашира, которое восходит к южнорусскому слову «кашира» - «загон для скота, хлев». Вероятно, Каширой называли скотовода, либо пастуха. Согласно другой версии, прозвище указывало на место службы или прежнего жительства предка, города Кашира. В 1497-1526 Каширой владели бывшие казанские татарские цари, поддерживающие московского князя. В 1517 на город был совершён первый набег крымских татар, после чего до конца столетия Кашира пережила более 20 набегов. В первой половине XIX вв. Кашира являлась важным торговым центром. С проведением в 1860-х гг. в стороне от Каширы Курской и Рязанской железных дорог торговля в городе сильно сократилась. Развитие города возобновляется только в 1900 году, когда в непосредственной близости от Каширы прошла Павелецкая железная дорога. Таким образом, потомок человека, обладающего прозвищем Кашира, со временем получил фамилию Каширов.