První zmínky pocházejí již z let 1250 – 1274, ale první písemná zmínka pochází z r. 1360. Na počátku 15. století v r. 1424 hrad zničili husité. V druhé polovině 15. století byl letovický hrad obnoven. O jeho pozdě gotické přestavbě svědčí několik sklepních místností s jednoduchým portálem, část vnější obvodové zdi zámeckých budov.
V druhé polovině 16. století byly provedeny úpravy interiéru a jeho opevnění. V r. 1643 dobyli hrad Švédové. Na konci 17. století bylo jádro sídla přestavěno v ranně barokní zámek. V r. 1724 zámek s městečkem vyhořel. Po požáru pak úpravy pokračovaly. V r. 1820 zámek empírovými a pseudogotickými úpravami získal nynější vzhled (jsou přistavěny konírny, letní a zimní jízdárny, arkády na terase, je upravena středověká věž). V letech 1881 – 1885 byl upraven zámecký svah v rozsáhlý park anglického stylu. Jako významný krajinářský prvek se svými 26 ha celkové rozlohy byl vyhlášen chráněným územím. Řadí se k nejcennějším zámeckým parkům u nás.
Po roce 1945 se stal zámek majetkem MěNV. Po roce 1989, po dlouhých průtazích, byl zámek navrácen v restitučním řízení hraběti Alexandru Kálnokymu. Město Letovice ve spolupráci s Alexandrem Kálnokym začalo investovat do statického zajištění a sanace sklepení jízdáren. Proběhla také úprava zámeckého parku. V roce 2004 hrabě Kálnoky prodal zámek Bohumilu Vavříčkovi.
Zámek Letovice byl ve druhé polovině 20. století účelově využíván a neudržován. Byl vrácen v restituci hraběti Alexandru Kálnokymu, který zámek v roce 2004 (v té době z něj byla téměř ruina, interiéry zámku byly zcela zničeny, někde došlo i k destrukci stropů) prodal Bohumilu Vavříčkovi z Boskovic.Majitel intenzivně pracuje na rekonstrukci a jeho záměrem je zachránit tuto památku pro budoucí generace.
Konečným cílem je zařízení interiérů zámku a jejich zpřístupnění veřejnosti.
| Jméno | Doba trvání | Celkem let |
| Páni z Letovic | do r. 1446 | vytrvání asi 243 let |
| Páni z Lomnice | od r. 1446-do r. 150 | 59 let |
| Páni z Boskovice | od r. 1446 – do r. 1544 | 98 let |
| Páni z Hardeka | od r. 1544 – do r. 1613 | 69 let |
| Páni z Thurnu | od r. 1613 – 1654 | 41 let |
| Páni z Vrbna | od r. 1654 -1664 | 10 let |
| Páni z Náchoda | od r. 1664 – so r. 1666 | 2 roky |
| Páni z Pohronce | od r. 1666 – do 1711 | 45 let |
| Páni z Roggendorfu | od r. 1711 – 1724 | 13 let |
| Páni z Blümegen | 1724 – 1820 | 96 let |
| Páni z Kálnoky | od r. 1820 – 2004 | 183 let |
| Pan B. Vavříček | od r. 2004 | - |