La planificación urbanística de la Piazza del Carmine data del año 1330, siendo en ese momento el terreno propiedad de la congregación de los monjes Camaldosi. Ya en 1427, siendo propietario Messer Michele D’Arrigo de Gardo, se registró en el catastro la primera construcción con dimensiones similares a las presentes.

En 1472 tenemos constancia de la compraventa de la casa por 1070 florines de oro (vendida por Giacchinetto Ricciardo Cavalcanti y adquirida por Niccolò di Zanobi Borgherini)  y fue con seguridad de esa época la creación del tavernáculo de la plaza Piatellina y la creación del propio edificio como hoy lo conocemos.

En el siglo XVI había llegado a ser tan importante en el distrito que se muestra en los mapas de la época como uno los monumentos más importantes de la zona; junto a la propia iglesia del Carmine, la parroquia de San Frediano, el Nunziatina San Salvatore en Camaldoli, etc.

La compra del palazzo Pitti por la familia Medici significó el renacer de toda la zona de oltrarno, que  pasó de ser un barrio popular a ser ocupado por las grandes familias. La proximidad del Palacio Pitti a nuestra Casa provocó que ésta fuera hospedada desde ese momento por importantes funcionarios de la corte del Gran Ducado.

En 1574 fue adquirida por la pareja Ciro Alidosi y Ciancolini Elmellina, cuya propiedad se extendía hasta el actual camino del Leone. Realizaron una restauración general y se preocuparon del embellecimiento del edificio y el jardín, como se muestra en el mapa Buonsignori (1584) fue en su momento uno de los mejores jardines privados de Oltrarno.

En 1632, por la ruina de los propietarios, el edificio fue adquirido por la casa de empeños, y tres años después vendido al conde Lorenzo di Gio ‘el Maestro, líder de los Medici. Por un registro de las almas de la parroquia de San Frediano en 1672 sabemos que el palacio fue habitado por la familia del marqués Andrea Alamanni. En 1786 se le dio a Andrea Rossi, de Bergamo, pero al no llegar a ocuparla la dejó en un estado de semi-abandono.

En 1790 fue adquirida por Giuseppe Lorenzo Ginori, que compró otras dos casas en la plaza  Piattellina y facilitó una reconstrucción general. Son de esa fecha muchos de los frescos de la planta principal, la escalera de piedra con frescos en blanco y negro y un tragaluz. Cuentan que enriqueció el jardín de plantas raras y exóticas, de acuerdo con el gusto de la época  dotando al jardín,  entre otras cosas, de un cenador y una casa de café. Un inventario botánico de la época dice » nota de la presencia de limón, naranja Portugal, hibisco, bromelias, violetas, lirios, palmas y varios árboles altos», entre las cuales existe todavía una magnolia. Además, “existen grandes pajareras en el jardín con pavos reales y faisanes dorados. El agua se comunica por dos tanques y son alimentados por dos fuentes de pared”.

Pero La familia Ginori no vivía en el palacio, prefirió arrendarla a ilustres visitantes extranjeros. En 1814 John Sandford y desde 1827 los señores Craufurd, Liberales escoceses que dieron hospitalidad a muchos patriotas. Aquí nació Giorgina Craufurd (11 de octubre 1827), con posterioridad esposaría a Aurelio Saffi, uno de los grandes libertadores italiano, como recuerda una placa en la fachada. Entre los invitados anglosajones estuvo también viviendo durante algunos meses la famosa Dama Walpole, condesa de Oxford.

En 1834 el marqués Carlo Ginori Leopold-Smooth vendió el complejo al príncipe Don Giulio Cesare Rospigliosi el cual, al año siguiente, por cuestiones de herencia dinástica, añadió a su nombre el de la familia Pallavicini. Su blasón de doble capa de brazos es todavía visible en la fachada.

En 1901 llegaron al palacio, como inquilinas, las Franciscanas Misioneras de María, y la casa fue cambiando de uso y de distribución según las necesidades que las franciscanas querían atender. Se estableció una guardería, un albergue universitario para estudiantes, un hospital militar, un centro de formación para chicas,…

La inundación de 1966 causó varios daños, lo que requirió una restauración importante, después de lo cual se abrió también una nueva capilla y una ampliación de algunas zonas comunes. En 1995, la residencia de estudiantes se cerró y el edificio se convirtió en el hogar de vacaciones para aquellos que lo necesitan, Peregrinos, grupos y familias. La restauración de alguna fachada y del tejado se realizó en 1996. En el 2000 se restauraron los frescos del salón y algún otro de menor importancia.