Am Quai Gabriel Péri steht das imposante Gebäude, das so genannte "Château". Sein Bau am Strand und nur ein paar Meter vom alten Pier entfernt, wurde 1881 nach einer Bauzeit von vierzig Jahren abgeschlossen. Villa LouiseSein damaliger Besitzer, der Herr Honnoraty, ein 100 ans du Lavandouwohlhabender Kräuterhändler aus Toulon (dem wir die Einführung der Kaki in Frankreich verdanken)reiste oft von Lavandou nach Port-Cros auf der Suche nach medizinischen Pflanzen. Er war weit gereist und lies sich von einem vom Gardasee übernommenen Architekturstil inspirieren, der sich stark von unseren provenzalischen Bauten abhebt. Die Steine kamen aus Tourris und manche Mauern sind 80 cm dick. 1930 wurde das Gebäude um eine Terrasse ergänzt. Am Anfang des Jahrhunderts wurde "das Schloss" eine Familienpension, bevor es die "Villa Louise" wurde und während des zweiten Weltkriegs Nonnen beherbergte. Seit der Konstruktion des Hafens und den dazugehörigen Strassen hat sich „Le Château“ etwas vom Meer entfernt. Es ist ein Symbolfür Lavandou, man findet es auf allen alten Postkarten. Seit 2007 wurde es zum „Maison du Lavandou“ und beherbergt die verschiednen Abteilungen der Stadtverwaltung.