El castell de Peratallada, al voltant del qual va quedar resguardada la població, va ser el centre de la baronia que pertanyia a aquest llinatge dels Peratallada, documentats des del segle XI. El castell es comprova que existia en 1065, però algunes estructures arquitectòniques semblen demostrar que en aquest nucli ja va haver-hi una fortalesa més antiga.
El monticle rocós s’aixeca 4 o 5 metres sobre el terreny que l’envolta. Damunt enlaira el gran castell, amb la seva característica torre de l’Homenatge, i el magnífic palau, orientat a llevant, que dona a la Plaça del Castell. També es poden veure restes de merlets (espai per a defensar-se entre la pedra massissa) que donen un gran atractiu i misticisme a la construcció. L’alta torre de l’Homenatge, el senyal d’identitat del poble, és de planta rectangular, coronada per merlets quadrats. Té una porta de llinda i tenia un pis intermedi de fusta. Va ser construïda amb filades de carreus escairats.
Petra scissa o Petra Tallada
El topònim Petra Scissa o Petra Tallada està documentat, pel que sembla, partir del segle X. Més endavant el nom apareix referit amb poques modificacions bé al poble o els diferents personatges del llinatge dels Peratallada, que amb el temps es va convertir en una de les més importants d’arrel sota-empordanesa. Així, per exemple, el 1062 hi ha esment d’un Bernardi de Patra Taliada, en 1065 apareix el Castre de Petra Taliata. El 1088 trobem escrit Petrataliata, el 1111 Petra Taliata, en 1112 Petra talats, el 1128 Petra Incisa i Patra Taiat, en 1143 Petra tayada, en 1169 i 1173 Petra incisa, en 1202 i 1222 Petricissa, etc …