Voluta dal granduca Ferdinando I per accogliere i pellegrini che si recavano al Santuario della Fontenuova, l'Osteria dei Pellegrini fu costruita a più riprese a partire dal 1607 su disegno dell'architetto Gherardo Mechini.
I pellegrini furono alloggiati nell'edificio già prima che esso fosse completato: sappiamo infatti che dal 1° settembre 1609, dopo una gara d'incanto, la gestione fu affidata a Meo di Pazzaglini di Pieve a Nievole, ma nell'anno seguente fu necessario consolidare le fondamenta dell'edificio, che in quello stesso anno fu visitato dalla Granduchessa Cristina di Lorena.
I lavori proseguiranno fino al 1616. L'edificio dell'Osteria assolse esclusivamente la funzione di ricovero per i pellegrini fino al 1775, quando divenne anche sede della Comunità delle due Terre, istituto promosso dal Granduca che riuniva amministrativamente i Comuni di Monsummano e Montevettolini.
L'edificio rimase comunque di proprietà del Santuario della Fontenuova e, se qualche modifica dovette inevitabilmente esser fatta in quell'occasione, le trasformazioni più consistenti del fabbricato risalgono comunque tutte al XIX secolo quando l'Osteria perse progressivamente le sue funzioni originarie, sempre più delegate alle strutture private che si moltiplicavano nella zona, per accogliere uffici e magistrature pubbliche.
Nel 1833 vi si stabilì la sede della cancelleria trasferita a Monsummano da Buggiano, e nel 1855 l'edificio fu acquistato dalla Comunità di Monsummano e Montevettolini per collocarvi gli stabilimenti carcerari, in ottemperanza alla nuova legge 1849.
Sede delle Carceri e degli uffici giudiziari fino agli anni ottanta del nostro secolo, l'Osteria dei Pellegrini ha accolto al piano terreno la Biblioteca Comunale fin dalla sua fondazione, nel 1970.
Tra il 1995 ed il 1998 l'edificio è stato oggetto di importanti interventi di consolidamento e restauro che ne hanno consentito il completo recupero, trasformandolo in un centro culturale polivalente per le attività del Comune.
L'Osteria dei Pellegrini ospita oggi nei suoi locali la Biblioteca e parte dell'Archivio Storico del Comune, il Museo della Città e del Territorio con l'annesso Centro Studi e Ricerca, ed accoglie inoltre esposizioni temporanee, convegni, conferenze e attività didattica.
Al secondo piano è stata conservata integra una cella delle carceri ottocentesche, per preservare la memoria storica.