La sistemazione urbanistica di piazza del Carmine risale al 1330. Il palazzo era un antico possedimento dei Camaldolesi e nel catasto del 1427 venne dichiarato di proprietà di Messer Michele d’Arrigo di Gardo, con dimensioni vicine a quelle attuali. Nel 1472 la casa venne venduta a Giacchinetto di Ricciardo Cavalcanti e nel 1493 è acquistata da Niccolò di Zanobi Borgherini per 1070 fiorini d’oro. A quell’epoca risale la trasformazione della casa in uno splendido palazzo e il restauro del tabernacolo su piazza Piattellina.

Nel XVI secolo il palazzo aveva raggiunto una tale importanza nel quartiere da venire raffigurato prospetticamente nelle piante cittadine dell’epoca, al pari dei più importanti monumenti della zona, come le chiese del Carmine, San Frediano, la Nunziatina e San Salvatore a Camaldoli.

Nel 1574 la famiglia Alidosi-Ciancolini compra ed abita il palazzo, lo abbellisce e lo trasforma. Il giardino è uno dei più belli dell’Oltrarno, così come appare da un disegno di Stefano Monsignori (1584) in cui è catalogato come Giardino Storico, oggi detto “giardino delle Monache”.

Nel 1632, per l’incuranza dell’ultimo discendente degli Alidosi, il palazzo con il giardino viene messo in vendita al Monte di Pietà e acquistato tre anni dopo dal conte Lorenzo di Giò del Mastro, un valoroso generale dei Medici.

Nel “Registro delle anime del popolo di San Frediano” dal 1672 la casa risulta abitata dalla famiglia del marchese Andrea Alemanni e fino al 1786 non risultano altri passaggi di proprietà.

Nel 1786 passa per crediti al cavaliere Andrea de’ Rossi di Bergamo, il quale lo riduce in uno stato di abbandono.

Solo nel 1790 viene riscattato dal marchese Giuseppe di Lorenzo Ginori, che compra altre due case in Piazza Piattellina permettendo un ingrandimento e una generale ristrutturazione. A quest’epoca risalgono gli affreschi del piano nobile, le decorazioni dello scalone in pietra serena. Il conte arricchisce anche il Giardino Storico di piante esotiche e rare, secondo il gusto dell’epoca, installandovi, tra l’altro, un gazebo e un kaffehaus. Un alto muro bianco lo separa dalla piazza, alla quale si offre con la punta dei suoi alberi, ma con la quale comunica col grande portone, un muro che fece impazzire Ottone Rosai (1895-1957), che lo ritrasse ben otto volte circondato dalle case, evidenziate dai tetti.

I Ginori non abitarono mai nel palazzo, preferendo affittarlo a visitatori stranieri. Nel 1814 vi risiede John Sandfor e nel 1827 i signori Craufurd, liberali scozzesi che ospitano “patrioti da ogni parte d’Italia”. Qui, l’11 ottobre 1827 nasce Giorgina, moglie di Aurelio Saffi, come ricorda una lapide sulla facciata. Tra le ospiti anglosassoni c’è anche la celebre Lady Walpole, contessa di Oxford.

Nel 1834 il marchese Leopoldo Carlo Ginori vende il palazzo e il resto della proprietà al principe Giuseppe Rospigliosi, famiglia importante di origine pistoiese, in seguito, per questioni di eredità dinastiche, aggiunse al proprio nome quello dei Pallavicini. Il doppio stemma è tuttora visibile sulla facciata. Vicende successive documentano vari passaggi di proprietà in cui non figurano più i Rospigliosi.

Il 1º novembre del 1901 arrivano nel palazzo, come affittuarie, le Suore Francescane Missionarie di Maria. Nel 1921 la società anonima “Fribourgeoise”, acquista il palazzo e dieci anni dopo, il 28 febbraio 1931, ne fa dono alla Case Madre delle religiose, con sede in Roma, che accetta la donazione. Nel 1958 il Palazzo diviene, per Decreto Regio, proprietà delle Francescane Missionarie di Maria. In seguito all’alluvione del 1966, hanno luogo grandi riparazioni e importanti trasformazioni all’interno del palazzo.

Dopo 400 anni, nel 1996, viene effettuato il rifacimento totale delle facciate monumentali del Palazzo e del tetto, mentre il restauro della scala in pietra serena e degli splendidi affreschi del salone sono oggetto di cure nel 2000.