El castillo de Peratallada, alrededor del cual quedó resguardada la población, fue el centro de la baronía que pertenecía a dicho linaje de los Peratallada, documentados desde el siglo XI. El castillo se comprueba que existía en 1065, pero algunas estructuras arquitectónicas parecen demostrar que en este núcleo ya hubo una fortaleza más antigua.
El montículo rocoso se levanta 4 o 5 metros sobre el terreno que lo rodea. Encima despega el gran castillo, con su característica torre del Homenaje, y el magnífico palacio, orientado a levante, que da a la Plaza del Castillo. También se pueden ver restos de almenas (espacio para defenderse entre la piedra maciza) que dan un gran atractivo y misticismo a la construcción. La alta torre del Homenaje, la seña de identidad del pueblo, es de planta rectangular, coronada por almenas cuadrados. Tiene una puerta adintelada y tenía un piso intermedio de madera. Fue construida con hiladas de sillares escuadrados.
Petra scissa o Petra Tallada
El topónimo Petra Scissa o Petra Tallada está documentado, al parecer, partir del siglo X. Más adelante el nombre aparece referido con pocas modificaciones bien al pueblo o los diferentes personajes del linaje de los Peratallada, que con el tiempo se convirtió en una de las más importantes de raíz bajo-ampurdanesa. Así, por ejemplo, el 1062 hay mención de un Bernardi de Patra Taliada, en 1065 aparece el Castro de Petra Taliata. El 1088 encontramos escrito Petrataliata, el 1111 Petra Taliata, en 1112 Petra talados, el 1128 Petra Incisa y Patra Taiat, en 1143 Petra tayada, en 1169 y 1173 Petra incisa, en 1202 y 1222 Petricissa, etc …
