De oudste vermelding van Café de Swan dateert van 1655, toen geheten Café ‘t Huijs in ‘t Swannetje. De herberg is gebouwd ergens tussen 1631 en 1655. Een van de eerste eigenaren was Adrianus Pietersz Schouten. In 1791 kreeg Rijswijk, toen eigenaar van de Swan, vergunning voor het organiseren van de Swanner kermis, “mits na Kerketijd”. In 1963 kochten slager Jan Rietbergen en zijn vrouw Grietje Bakker Café de Zwaan. Maar omdat iedereen het over de Swan had en niet over Café de Zwaan, werd de naam veranderd. In 1987 namen de nu huidige eigenaren Nico en René Rietbergen het over van hun ouders