Saint-Pierre ne paraît pas avoir eu de château-fort avant 1425. Son territoire se trouvait morcelé en plusieurs fiefs appartenant aux familles de Clamorgan, de Nerbonne, Piquet et Le Sage.
Lors de l'invasion anglaise, Raoul Le Sage, chevalier de Saint-Pierre-Eglise, membre du Grand Conseil de Charles VI, trahit son bienfaiteur et passa dans le camp ennemi. Ses éclatants services le rendirent en peu de temps l'auxiliaire indispensable de Henri V. Sous la minorité de Henri VI, il devint le principal ministre du régent duc de Bedford. L'immense fortune acquise par les confiscations dont ses compatriotes furent les victimes à son profit, lui permit d'augmenter considérablement ses domaines du Cotentin. Il acheta (1421 et 1422 ), de ses cousins Jacques et Colin de Clamorgan, leur part dans la seigneurie de Saint-Pierre, dont il resta l'unique propriétaire. C'était l'occasion d'y établir une demeure en rapport avec sa haute position. Un manoir féodal, avec le système de défense en usage à cette époque, s'éleva sur l'emplacement occupé maintenant par la pièce d'eau, non loin du portail de l'église. Raoul mourut en 1438, laissant la seigneurie de Saint-Pierre à son cousin Thomas de Clamorgan.
L'arrière-petit-fils de Thomas, Jean de Clamorgan, premier capitaine de la marine du Ponant (de l'italien ponente, couchant), créateur du marché de Saint-Pierre, auteur du Traité de la chasse au loup, - dans l'aveu de sa seigneurie du 4 décembre 1515, déclare « la tenir du roi par un demi fief de haubert, dont le manoir et chief d'icelui est assis au lieu de Saint-Pierre-Église, où il y a forte maison à pont-levis, close à eaux ».
Pendant la Ligue, le seigneur de Saint-Pierre, Nicolas Castel, suivit la fortune de Henri IV, alors que son voisin, Jean Le Marchand, sieur de Raffoville, tenait campagne avec les révoltés. En revenant de prendre part aux batailles d'Arques et d'Ivry, Nicolas trouva sa maison, dans laquelle il n'avait laissé qu une garde de 50 soldats, entièrement dévorée par les flammes, ses meubles, son chartrier, ses titres de noblesse anéantis. Par arrêt du Parlement, séant à Caen, du 2 avril 1593, Raffoville et ses complices, auteurs de l'incendie, furent condamnés à lui payer six mille écus d'or.
De 1595 à 1600, Nicolas fit bâtir, à quelque distance, un nouveau manoir, dont il ne reste aujourd'hui que la ferme et dépendances.
Cent cinquante ans plus tard, Bon Hervé Castel, son arrière-petit-fils, le fit disparaître pour construire le château actuel sur les plans de Nicolas Blondel, architecte du roi. La charpente de la toiture fut posée en 1758.
Ce château repose sur de vastes sous-sols, servant de caves, de cuisine et d'offices. Sa longueur est de 41 mètres, sur 16 de profondeur. Il est éclairé du côté du nord par de hautes et larges baies.
Les couvertures des trois pavillons, qui divisent le bâtiment, sont à pans rabattus. L'ornementation en est sobre. Le tout forme un ensemble d'une noble et majestueuse simplicité.
L'intérieur est ingénieusement distribué pour le luxe et le confortable. Un escalier monumental en carreau, garni d'une rampe en fer forgé, conduit aux chambres.
Au sud, une longue avenue, bordée d'un triple rang de chênes, mène à la cour d'honneur. Au nord, s'étendent la terrasse et les jardins. Du haut du perron, la vue sur la campagne et la mer est magnifique.
Le parc, d'une étendue de 55 hectares, est planté d'arbres hauts, droits et serrés. Leur épais feuillage laisse passer à peine les rayons du soleil. On admire surtout le rond-point auquel aboutissent huit avenues. Les branches, qui se rejoignent à une grande élévation, donnent l'illusion des nefs de nos cathédrales gothiques.
Le château appartient présentement à M. le comte Auguste de Blangy.
Recherches historiques sur le canton de Saint-Pierre-Eglise, par M. Louis DROUET, p. 71 à 121.
Louis Drouet
La Normandie monumentale et pittoresque, édifices publics, églises, châteaux, manoirs, etc.. Manche
1899