Pilsum ist ein kleines Runddorf mit ca. 600 Einwohnern auf einer künstlich angelegten Warft, d.h. einem aufgeschütteten Siedlungshügel, durch den die Siedlung bei Sturmfluten vor den Wassermassen geschützt ist. Das Dorf ist geprägt durch einige große Gulfhöfe einerseits und zahlreiche kleine, oft winzige Landarbeiter- bzw. Handwerkerhäuser andererseits.

In früheren Zeiten war Pilsum Sitz des friesischen Häuptlings Affo Beninga. Die alte Beningaburg, wurde aber schon 1407 von bewaffneten Hamburgern zerstört, weil Affo freundschaftliche Kontakte zu den Vitalienbrüdern unter Klaus Störtebeker unterhielt. Heute ist von der Burg nichts mehr zu sehen, nur noch der Straßenname "Börgtuun" (Burggarten) erinnert an sie.

Schon von weitem sieht man den mächtig aufragenden Turm der St. Stephanus Kirche, der im Zentrum des Ortes liegt. Lange Zeit hat er wegen seiner Größe als Seezeichen gedient. Gleich neben der Kirche liegt in einem der Gulfhöfe die "Alte Brauerei", ein Restaurant, das im Sommer auch Plätze unter den Bäumen im Freien anbietet.

Nicht weit von dem Dorf entfernt steht am Deich ein Seezeichen neueren Datums: Der berühmte rot-gelb-gestreifte Pilsumer Leuchtturm, der schon Kulisse für zahlreiche Film- und Fernsehproduktionen war und auch aus der Werbung bekannt ist.