En el momento de su apertura en 1959, el Museo estaba ubicado en una casa colonial en la calle Cristina 70. El edificio actual fue inaugurado el 28 de diciembre de 1965 y fue diseñado por el arquitecto estadounidense Edward Durell Stone, reconocido por proyectos como el MoMA, en Nueva York y el Centro Jenney, en Washington D.C. Tanto el edificio como sus jardines son reconocidos como diseños emblemáticos en el patrimonio arquitectónico de Puerto Rico. En 1967, el edificio obtuvo el Premio de Honor del Instituto Americano de Arquitectos (AIA).

Entre 2008 y 2010 se construyó el edificio anexo, que alberga el espacio de oficinas, así como el centro de conservación, los archivos históricos, la biblioteca y el área de alcance comunitario. Sin embargo, el 7 de enero de 2020, el edificio principal sufrió daños a causa del terremoto que impactó la zona suroeste de la isla. En estos momentos, el Museo se encuentra cerrado al público y en proceso de reconstrucción.