El museo se localiza en el barrio de Paxtitlán, hoy Pastita, donde, en otros tiempos, hubo varias haciendas de beneficio minero. Precisamente parte de una de ellas alberga al Museo de Arte Olga Costa-José Chávez Morado.
El inmueble era la torre de noria de la hacienda de Guadalupe de Pastita, construcción que data del siglo XVII, la cual fue adquirida en 1963 por los pintores Olga Costa y José Chávez Morado con la idea de establecer ahí su residencia.