Il Convento di Sant’Agostino fu costruito nel XVII secolo su un preesistente che andò completamente distrutto. I Padri Agostiniani lasciarono l’edificio nel 1802 in seguito alla soppressione degli ordini monastici e a partire da quel periodo per l’edificio si avviò una lunga e travagliata storia che lo vide più volte cambiare destinazione di utilizzo. Prima Regio Ospizio di Carità, poi nel 1835 divenne lazzareto per i malati di colera, poi ospitò una caserma, nel 1928 divenne sede del Convitto di Scarnafigi, nel 1931 sede del Convitto Dario Pini e nel 1934 del Convitto Arcivescovile. Durante la Prima Guerra Mondiale venne trasformato in ospedale militare ed infine nel 1940 tornò nelle mani del Comune che lo adibì nuovamente a convitto civico. A partire degli anni settanta inizia un importante e lungo lavoro di riqualificazione. L’edificio ospita oggi la biblioteca civica Luigi Baccolo, alcune associazioni culturali della città, l’archivio storico e il Centro della Memoria, con l’obiettivo di trasformare gradatamente l’ex convento in polo archivistico saviglianese, importante fulcro di tutela e conservazione del patrimonio storico intangibile e materiale della città.
Il Centro della Memoria, parte integrante dell’Archivio Storico Comunale, si occupa della raccolta, del trattamento e della valorizzazione di materiale fotografico e video. La finalità principale del Centro è la tutela della memoria orale, fondamentale per una ricostruzione del passato attraverso i ricordi, le immagini e le testimonianze di tutti coloro che hanno vissuto direttamente la città e il territorio.
Un piccolo teatrino è in grado in maniera divertente e multimediale di mostrare, grazie a numerose sagome suddivise per argomenti, i racconti e le immagini raccolti durante la prima fase del progetto che ha visto coinvolgere chiunque della cittadinanza saviglianese avesse voglia di condividere i propri ricordi, mostrando un buon esempio di cultura partecipata.