Pont-Croix entstand aus einer Burg, die sich an einem privilegierten Ort befand. Aber heute ist es der aufrechte Turm der Kirche Notre-Dame-de-Roscudon, der zuerst zu sehen ist und die Häuser dominiert, die sich schön um ihn herum gruppieren. Dieses Juwel der mittelalterlichen Architektur und seine steinernen Spitzen, ein Symbol für den Reichtum der Stadt, wurden im 13. Jahrhundert von den Herren des Ortes gegründet.

Der geistliche Einfluss von Pont-Croix setzte sich Mitte des 17. Jahrhunderts mit dem Bau des Ursulinenklosters fort. In der Altstadt sind wunderschöne Residenzen aus dem 15. bis 19. Jahrhundert erhalten, insbesondere die des Markgrafen, eines ehemaligen Adelshauses, das zum Heimatmuseum geworden ist.


Die Rue des Courtils mit ihren Pavillons, dann die Rue Chères mit ihren beeindruckenden Treppen mit Kopfsteinpflasterstufen führen Sie zur Brücke mit einer der ältesten Gezeitenmühlen der Bretagne. Hier befindet sich auch der alte geschützte Hafen, der einst für Hochseeschiffe zugänglich war und zwischen dem 14. und 19. Jahrhundert der Schlüssel zum lokalen Handel war. Von dem leider nichts mehr erkennbar ist.


Ab der zweiten Hälfte des 19. Jahrhunderts verführte die charmante Stadt bildende Künstler und Literaten. Rund um das Hotel der Reisenden entstand ein „künstlerisches Zentrum“. Viele namhafte Maler haben dort übernachtet. Noch heute beleben die Werkstätten von Handwerkern (Tischler, Holzbildhauer, Töpfer, Glasmachermeister usw.) und Malern die Gassen der Altstadt.

Am Ausgang des Ortes in Richtung Audierne befindet sich ein Freilichtmuseum, dass den Zustand des Ortes im 14. Jahrhundert wiedergeben soll, leider war es für dieses Jahr schon geschlossen.