Шильонский замок предположительно был заложен в IX веке, но по данным раскопок здесь было еще поселение римлян. Упоминание замка в качестве имения герцогов Савойских появилось впервые в 1160 году. До XV века шло укрепление и расширение постройки определившее его современный облик. Замок предназначался для контроля пути по перевалу Сен-Бернар. Дорога, соединяющая Северную Европу с Италией, и сейчас проходит рядом.
Долгое время замок служил тюрьмой, этот факт описан Байроном в поэме «Шильонский узник». Прототипом героя поэмы был Франсуа Бонивар, заключение которого продолжалось с 1530 по 1536 годы. Он был освобожден в ходе единственной успешной осады замка, больше никому не удавалось взять мощную крепость - вокруг вода, с берегом соединяет только мостик.
С начала XIX века замок стал музеем с подземельями, рыцарским залом и прочими атрибутами средневековья.