El Museo de los Mármoles expone una selección de obras escultóricas de las colecciones anticuarias de la familia Riccardi, apasionados coleccionistas de mármoles antiguos, trasladadas aquí desde la antigua villa de Gualfonda. Cuando el palacio fue enajenado al Estado en 1810, sólo una parte de la colección Riccardi se transfirió a las colecciones públicas, mientras que el resto permaneció en el interior del edificio y puede contemplarse hoy entre el Museo del Mármol y el recorrido para visitantes de la primera planta. Se trata principalmente de bustos de mármol de época romana que representan a sabios, héroes, emperadores o dioses: entre ellos, el emperador Caracalla, Vibia Sabina, Eurípides, Anacreonte, Sófocles y el soberbio busto de un atleta. También hay vaciados en yeso de los bustos de Augusto y Agripa, cuyos originales fueron donados por el papa Sixto IV a Lorenzo el Magnífico en 1471, y los de Calígula y Nerón, adquiridos por los Riccardi en 1669; todos los originales se conservan en las Galerías de los Uffizi.