Tvrđava Mileševac se nalazi 7 km istočno od Prijepolja. Smeštena je iznad kanjona reke Mileševke, na vrhu strme i stenovite litice, pristupačne samo s južne strane. Ne zna se tačno ko je izgradio tvrđavu ali se predpostavlja da je izgrađena kao odbrana manastira Mileševa, koji se nalazi u neposrednoj blizini. Tvrđava Mileševac je u 14. veku pripadala kralju Tvrtku a u 15. veku njome gospodare Sandalj Hranić i herceg Stepan.
1465. godine tvrđavu su su zauzeli Turci i u njoj je dugo bila turska posada. Često se pominje u turskim izvorima što ukazuje da je imalo značajnu ulogu i u tursko doba. U 17. veku grad dobija tursko ime Hisardžik i pod tim imenom se pominje i u 18. veku. Tvrđava dominira deonicom puta Prijepolje-Sjenica tzv. Bosanskog puta, jedne od najvažnijih srednjevekovnih komunikacija kroz zemlju. Izgrađena je na vrhu stene. Tvrđava Mileševac je imala dva dela: uži – gornji deo i niži – spoljni odbrambeni deo, a imao je i podgrađe. Danas je grad relativno dobro očuvan.