Tout concorde ainsi à l'établissement de contacts personnels et à l'intégration rapide des nouveaux habitants dans cette petite bourgade très sympathique.
En 1291, à l'aube de la Confédération helvétique, le comte de Savoie possédait déjà un château à Rolle, centre d'une seigneurie dont l'«hommage» passa peu après au sire de Vaud. En 1330, Louis II de Savoie créa à Rolle une ville de franchises, mais le château resta fief vassalique. La ville fut administrée par un conseil jouissant de certaines prérogatives jusqu'à la fin de l'Ancien Régime.
Selon des recherches archéologiques faites en 1984-1985, la construction du château remonte à 1270. A l'origine, il s'agit d'un château fort érigé sur une presqu'île pour protéger le port, situé probablement à l'intérieur des murs.
Le château a été racheté par la commune de Rolle, en mise publique, en 1799. La commune l'utilisa pour loger les écoles, les prisons de district, la bibliothèque publique et l'administration communale. Aujourd'hui, il abrite le centre médico-social, l'Etat civil, la justice de Paix, le Conseil communal et une collection d'ouvrages anciens.