L’urbanisation de la Piazza del Carmine commence en 1330. En 1427 apparaissent les premiers enregistrements de la propriété de Messer Michele d’Arrigo di Gardo, avec plus ou moins les mêmes dimensions de la présente. En 1427, la maison est vendue à Giacchinetto di Cavalcanti Ricciardo et en suite, en 1472 à Niccolò di Zanobi Borgherini pour 1070 florins d’or. Pendant cette période, la maison est transformée en un splendide palais et l’oratoire de la Piazza Piattelina est rétabli.

Au XVIe siècle, le bâtiment avait atteint une telle importance qu’il est incorporé dans les plans de la ville, ainsi que d’autres monuments importants du quartier tels que les églises de Santa Maria du Carmine, San Frediano, la Nunziatina et San Salvatore du Camaldoli . En raison de sa proximité avec le Palais Pitti, le bâtiment deviendra la propriété des fonctionnaires de la famille des Médicis et Lorena.

En 1574, les Alidosi-Ciancolini achètent et vivent dans le bâtiment, en le transformant et l’embellissant. Le jardin était un des plus beaux du quartier du Oltrarno comme on peut le voir à partir d’un dessin de Monsignori daté de 1584 et appelé «jardin historique».

En 1632, en raison de l’abandon du dernier descendant de la famille Alidosi, le bâtiment et son jardin sont mis en vente à Monte di Pietà et achetés trois ans plus tard par le comte Lorenzo di Giò del Mastro, un brave général de la famille Médicis.

Par le registre des habitants de San Frediano publiés en 1672 on sait que la maison est occupée par la famille du marquis Alamans et à partir de cette date, jusqu’en 1786 il n’y a plus de changements.

En 1786, la propriété passe au Chavalier Andrea de ‘Rossi di Bergamo, qui la laisse tomber dans un état d’abandon.

Seulement en 1790, la maison est prise en charge par le marquis Giuseppe di Lorenzo Ginori, qui achète aussi deux autres bâtiments de la Piazza Piattellina, agrandissent et rénovant la propriété presque complètement. C’est à cette période que les fresques du premier étage de l’immeuble et le grand escalier en pietra serena sont été repeints. Le comte enrichit également le jardin avec des plantes  rares et exotiques, comme c’était la mode de l’époque, et installe un kiosque. Un haut mur blanc est construit séparant le jardin de la place, au-dessus de laquelle on peut voir les sommets des arbres, mais à travers laquelle on ne peut passer que par  la grande porte. Ce mur va enchanter le peintre Ottone Rosai (1895-1957), qui l’a peint huit fois.

La famille Ginori n’a jamais vécu dans le bâtiment, préférant le louer à des visiteurs étrangers. En 1814, elle fut occupée par John Sandfor et en 1827 par les Craufurds, libéraux écossais qui accueilleront dans la maison des « patriotes de toute l’Italie ». C´est ici que, le 11 Octobre 1827 Giorgina, future épouse de Saffi Aurelio est née. Cette datte est commemorée par une plaque sur la façade de l’immeuble. Parmi les clients britanniques de la maison, il y a aussi la célèbre Lady Walpole, comtesse d’Oxford.

En 1834, le marquis Leopoldo Carlo Ginori vend la propriété entière au prince Giuseppe Rospigliosi, importante famille d’origine toscane (Pistoia), qui, plus tard, ajoutera le nom de Pallavicini. Le double blason est encore visible aujourd’hui sur la faÇade de l’immeuble.

Le 1 novembre 1901 voit l’arrivée dans le bâtiment, en tant que locataires, les Franciscaines Missionnaires de Marie. Une association anonyme Fribourgeoise achète le bâtiment en 1921 et, dix ans plus tard, le 28 Février 1931 en fait don à la Congrégation des Franciscaines Missionnaires. Après l’inondation de 1966, de nombreuses restaurations et modifications sont apportées à l’intérieur de l’immeuble.

Au début du siècle nouveau, 400 ans après la construction de l’édifice, une restauration totale de la façade, de la toiture du bâtiment et de quelques fresques est entreprise.