På grund bl.a. av sanitära skäl flyttades den ståtliga anläggningen, som omfattade två större och tio små bassänger, 1867 till norra stranden av Skeppsholmen intill bron, där den med årligen återkommande festliga och av herrarna uppskattade evenemang med simuppvisningar av de väl påklädda damerna fick vara kvar ett stycke in på 1900-talet innan badhuset raserades sedan myndigheterna förklarat vattnet hälsovådligt. Den till badhuspaviljongen hörande serveringen var dock i bruk ännu in på 1930-talet.

Kastellholmsbroarna

Något osäkert när första bron tillkom. Sannolikt byggdes den ungefär samtidigt med den första skeppsholmbron, d.v.s. 1645-47. Den var av trä och mycket längre än nu och sträckte sig från Skeppsholmens SW udde till något söder om nuvarande brofäste på Kastellholmen. Några år därefter, senast omkring 1670, tillkom en ny pålad träbro med ungefär samma sträckning som den nuvarande bron. Mellan dessa broar bildades en liten hamn, som man fick tillträde till genom vindbryggor på de bägge broarna. När Flottan återtagit Skeppsholmen började man på 1720-talet ordna denna lilla hamn för galärerna. 1733 hade man delvis ersatt den gamla västra bron med dykdalber, pålning och bomstängsel. Hamnen var dock otillräcklig för galärflottan och en annan hamn byggdes på norra stranden av Skeppsholmen mellan Holmbron och nuvarande Råseglarhuset. Den östra kastellholmsbron flyttades något mer åt öster och rödmålades. Denna disponering behölls århundradet ut. Nu hade galärhamnen förlorat sin betydelse (varvsrörelsen hade helt flyttats till Östra brobänken och Galärvarvet). En ny bro lades 1818 över en sjunken pråm och ett annat vrak. Den varade till 1880, då den ersattes med nuvarande järnbro. En sista ombyggnad skedde 1936.

Kastellet

Sedan 1665 - och kanske tidigare - har den tretungade örlogsflaggan vajat på holmen. Först gällde att flaggan skulle "flyga både nätter och dagar" från 2 maj till mitten av augusti och salutera passerande fartyg. Numera anges genom hissning resp. halning av denna flagga när flaggorna skall hissas och halas på de fartyg, som ligger på Strömmen. När man av kostnadsskäl försökte avveckla traditionen på 1970-talet blev det stort rabalder och ceremonin måste återupptas.

Från början fanns bara en flaggstång och en liten vaktstuga (som dock kallades corps de garde). Omkring 1670 hade man uppfört ett åttkantigt kastell i trä med kanongluggar, men redan efter ett decennium fylldes gluggarna igen och sju kraftiga kanoner placerades på berget nedanför. Kastellet förlorade i betydelse när Flottan flyttade men återfick ett visst värde, åtminstone som symbol, när galäreskadern upprättades 1715 och kallades därefter även "Södra rundeln".

Vid mitten av 1700-talet ersattes det lilla träkastellet av en byggnad i sten, som också rymde vaktbostaden. Dessutom utökades "styckeparken" och försågs med ett salutbatteri. En omfattande reparation och ombyggnad skedde 1782 för att man inte bara på ett värdigare sätt skulle kunna salutera passerande fartyg utan också "öva exercis uti kanoners serverande". Kastellet hade också under lång tid använts som krutkällare och på 1800-talet hade man där inrättat ett laboratorium för tillverkning av krutkarduser och patroner, vilket visade sig olyckligt när byggnaden i juni 1845 sprang i luften (utan personskador).

Ganska omgående planerades en ny byggnad som i de första diskussionerna skulle rymma ett kraftigt försvarsbatteri och flertalet kalkyler gjordes för att beräkna bestyckningens kaliber och liknande problem. Den slutliga arkitektoniska utformningen gjordes av den vid denna tid alltid närvarande Fredrik Blom. Kastellet blev inget försvarsfäste utan användes från begynnelsen som kasern för en båtsmansstyrka, men befanns olämplig för detta och gjordes om till lika olämpliga bostäder samt stod tomt under stor del av 1900-talet.

Numera har vissa föreningar sina kanslilokaler i bottenvåningen. Tornrummen hyres ut för fester med mindre sällskap. Administreras av Sjöofficerssällskapet.

Boställen och sjukhus

För att tillfredsställa Flottstationens behov av sjukhus för båtsmännen byggdes 1737 ett envåningshus i tegel omedelbart till höger om landfästet för den gamla västra Kastellholmsbron. Huset fick två sjuksalar men också mönstringsrum, bostad för inspektor och en badstuga (den första badinrättningen för personalen på örlogsstationen!).

Fastigheten kom att förbättras i flera omgångar under 1700-talet och 1789 gjordes t.o.m. en påbyggnad med en våning, där en särskild avdelning inrättades för veneriskt sjuka. Sommaren 1828 var emellertid sjukligheten på stationen särskilt stor. Sjukhuset räckte inte utan sjuklingarna måste härbärgeras temporärt först i tält men påföljande år i en enkel provisorisk byggnad som uppfördes strax söder om sjukhuset, det s.k. "sommarsjukhuset". Detta kom väl till pass när Stockholm 1834 drabbades av en koleraepedemi, som emellertid blev kortvarig.

Sedan K.Majt 1840 fastslagit att några allmänna sjukanstalter inte längre var erforderliga på Kastellholmen fick sommarsjukhuset visserligen en tid tjäna som reserv åt Serafimerlasarettet för vård av rödsotspatienter, men i övrigt - liksom det gamla sjukhuset - övergå till att bli boställe för Skeppsgossekåren.

De bägge byggnaderna och särskilt sommarsjukhuset var dock mindre lämpliga även för detta ändamål. Efter refusering av flera nybyggnadsförslag beslöts i slutet av 1850-talet att flytta byggnaderna på den just indragna karantänsplatsen på Djurhamn till Kastellholmen. Djuröbyggnaden uppfördes på sommarsjukhusets tomt. Det gamla sjukhuset fick tills vidare stå kvar som Skeppsgossekasern. Meningen var ursprungligen att Djuröbyggnaden skulle användas som sjukhus, men i stället flyttade olika befattningshavare på stationen in i huset och 1867 beslöts att huset skulle inrättas till bostäder för underofficerare. Skeppsgossekasernen ritades om till en trivial länga med 67 arbetarbostäder och kallades Hantverksbostället.

Flaggkonstapelbostället (Blåsut)

Strax ovanför den s.k. embarkeringsbryggan på Kastellholmens södra strand uppfördes på 1770-talet en anspråkslös stenbyggnad för flaggkonstapeln och en vaktmästare. Byggnaden förstorades och ändrades något 1880 efter ritningar av Victor Ringheim till sitt nuvarande ganska trista utseende. I trädgården till flaggkonstapelbostället hade från 1854 inrättats ett idylliskt och populärt utvärdshus med flera små till lusthus förvandlade kajutor, från salsslupar. Stället kallades Blåsut och hade tidigare närmast haft prägeln av en tämligen obskyr sjömanskrog. På 1870-talet fick Sjöofficerssällskapet tillstånd att sköta krognäringen och då följde på nytt en period när stället inte hade det bästa ryktet. På 1880-talet blev det emellertid ny regim och en 20-årig guldålder inleddes. Men när Blåsut i början av 1900-talet miste sina spriträttigheter och degraderades till kaffeservering förlorades också populariteten och 1919 slog man igen för gott.

Blåsut

Kolskjulet

På Kastellholmens sydöstra strand projekterade den tidigare ofta nämnde Fredrik Blom 1852 ett stenkolsmagasin för Flottans station i Stockholm. Det var naturligtvis Flottans gradvisa övergång från segel till ångmaskindrivna fartyg som skapade behovet av ett stort och välplacerat kollager. Kolskjulet uppfördes under åren 1852 - 1859 och byggdes ut redan efter två år på ritningar av Victor Ringheim. Under och efter andra världskriget användes skjulen som proviant- och persedelförråd. Ett av tänkta användningar i framtiden är tackelkammare, segelloft, förråd och klubbrum m.m.för stockholmsbriggen Tre Kronor, som också skulle kunna få förtöjningsplats vid kajen utanför skjulen.

Kolskjulet

Skridskopaviljongen

På i stort sett samma plats på Kastellholmen, som badinrättningen låg, finns en rehnborgsliknande paviljong, ritad av A.E. Melander. Den uppfördes 1883 åt Oscar II som "omklädningsrum" vid dennes skridskofärder på Nybroviken och för att "bereda icke åkande damer tillfälle att åse åkningen utan arr utsättas för kylan från isen".

Paviljongen byggdes i tidens romantiserade stil med stora fönster och inredd med enbart stora sällskapsrum. Den fungerade också som klubblokal för den kungliga skridskoklubben, som bildats flera år tidigare och dittills fått hålla till i provisoriska tält på det gamla badhusområdet. Det plötsligen påkomna modet med skridskoåkning kom sig av att Kejsar Napoleon 1861 till parisarnas förvåning hade börjat åka skridskor på Boulogneskogens isar åtföljd av kejsarinnan framförd på en sparkstötting.

Huset, som kallades "Skridskopaviljongen", fick även från 1885 sommartid användas av segelsällskapet KSSS, som faktiskt förtöjt sida båtar vid ön alltsedan 1850-talet. KSSS hade bildats 1830 och fått epitetet "Kungliga" först 1878. Klubben hade ända från början stark anknytning till Flottan, alltid med höga marinofficerare i styrelsen.

Skridskointresset svalnade mot slutet av seklet och 1901 upplöstes Kungl. Skridskoklubben. KSSS blev ensam herre på täppan och kunde göra Kastellholmsviken till sin klubbhamn, men 1919 återtog staten huset för att disponeras av Flottans Musikkår som musikpaviljong fram till 1971, varefter den använts av olika föreningar och klubbar.

Byggnaden som byggnadsminnesförklarades 1993 renoveras för närvarande av Statens Fastighetsverk för att återställas i ursprungsskick. Framtida användning oklar.