Die stauferzeitliche Burg wurde im 12. Jahrhundert erbaut und war seit 1140 der Sitz der Herren von Sperberseck. Es handelte sich um hohe Beamte, die zuerst in zähringischen, später in teck’schen und dann in württembergischen Diensten waren. Zu Anfang des 15. Jahrhunderts wurde sie aufgegeben und verfiel.
Heute sind von der einstigen Burganlage noch Reste zu finden, wie eine Mauer des Palas am östlichen Ende der Burg, und an der Westseite Grund- bzw. Wehrmauern. Die frei zugängliche Burgruine ist von einer 3,1 Meter starken, auf rund 17 Meter ebenfalls erhaltenen, äußeren Schildmauer umgeben.
Vom Gelände der Burgruine Sperberseck hat man wegen des dichten Waldbewuchses kaum eine Aussicht. Ein Besuch der Burgruine Sperberseck lohnt sich wegen der ursprünglichen Vegetation des Platzes und der herrlichen Ruhe der Umgebung.
