"Le Château" ou autrefois "Villa Louise" se situe Quai Gabriel Péri au centre-ville du Lavandou. Sa construction sur la plage et à quelques mètres de l’ancienne jetée, s’est achevée en 1881 et après quarante ans d’efforts.

Son propriétaire d’alors, le Sieur Honnoraty, prospère herboriste toulonnais (à qui nous devons l’introduction du kaki en France) s’embarquait souvent du Lavandou pour Port-Cros à la recherche de plantes médicinales. Grand voyageur, il s’inspira d’un style architectural hérité des bords du lac de Garde, qui dénote fortement avec nos constructions provençales. Les pierres viennent de Tourris et certains murs ne mesurent pas moins de 80 cm d’épaisseur.
Une terrasse complétera l’édifice en 1930. Au début du siècle "Le Château" devint une pension de famille avant de devenir la "Villa Louise" et accueillir des religieuses pendant la guerre de 1940. Depuis la voirie et la construction du Port l’ont quelque éloigné de la mer. Symbole du Lavandou que l'on retrouve sur toutes les cartes postales anciennes, le Château devient en 2007 "la Maison du Lavandou", abritant différents services municipaux.