Il castello costituisce una delle poche testimonianze della storia antica di Pantelleria.
L’inizio della sua costruzione è attestato intorno al XIII secolo d.C., ma è probabile che esistesse una preesistenza bizantina.
L’edificio si sviluppa su quattro piani, edificati interamente in pietra lavica, che accolgono stanze, torri, bastioni, segrete e una torre campanaria con orologio.
Nel XIX secolo la struttura fu usata come carcere e, in seguito, come caserma militare; solo di recente, grazie ai consistenti lavori di restauro, è diventata sede di mostre ed eventi culturali.
Nelle sue sale sono custodite, inoltre, le “Teste di Pantelleria”: tre sculture in marmo, venute alla luce nell’acropoli di San Marco e Santa Teresa, risalenti al I secolo d.C. e raffiguranti Giulio Cesare, Agrippina e Tito.