Замок Сен-Мэр был построен в начале XV века в районе Ситэ итальянскими архитекторами из долины Аоста, приехавшими по приглашению епископа Гийома де Шаллана. Долгое время замок служил резиденцией епископам Лозанны. В 1536 году епископов прогнали, и в замке стали жить наместники, которых присылали из Берна.В 1803 году в замке снова поменялись хозяева - здесь стал заседать совет кантона Во, в который входит Лозанна. Так он здесь до сих пор и заседает. Несмотря на то, что замок нельзя посетить, он считается одной из основных архитектурных достопримечательностей города и охраняется государством, так как включен в список объектов культурно-исторического наследия Швейцарии.Во время крупнейшего уличного праздника в Лозанне - Фестиваля Ситэ - площадь перед замком становится главной сценой для театральных, музыкальных и прочих представлений.