Aangekocht in 1593 door Pier Francesco de’ Medici, was het onder Cosimo I de residentie van de commandeurs van de Orde van Santo Stefano. Groothertog Ferdinando II de’ Medici schonk het daarna aan Eleonora Ramirez di Montalvo die, vanaf 1650, het bestemde als landelijk toevluchtsoord voor de Congregatie die zij had opgericht, de Montalve, gericht op de opvoeding van adellijke meisjes. In 1724 verhuisde Anna Maria Luisa, de laatste afstammeling van de familie Medici, naar La Quiete en voorzag de villa van een Italiaanse tuin, waarvoor ze de raad van Sebastiano Rapi, tuinman van Boboli, inriep.
Op de begane grond van het Conservatorium bevindt zich een historische apotheek. Het is niet zeker of deze gelijktijdig met de oprichting van het Instituut werd gebouwd of later, hoewel sommige voorwerpen, die tot de uitrusting behoorden en dateren uit het einde van de 17e eeuw, een activiteit al vanaf die periode suggereren.
De activiteit stopte met de opheffing van het Instituut in de Napoleontische tijd. Het meubilair, bestaand uit een reeks kasten met glazen deurtjes en een toonbank met een marmeren blad, kenmerkt zich door de eenvoud met heel weinig decoratieve elementen. Interessant is de keramische en glazen uitrusting die getuigt van de activiteiten tussen het einde van de 17e en het begin van de 19e eeuw: deze bestaat uit enkele ronde potten met stop, albarelli, witte keramieken potten, urnvormige vazen en andere vazen van de fabriek in Doccia.
Tegenwoordig is het de thuisbasis van het Centrum voor Cultuur voor Buitenlanders verbonden aan de Universiteit van Florence.
