A edificação remanesce da manifestação arquitetônica típica do Brasil Colônia. O prédio de taipa, construído no século XVIII, sediou a fazenda de Manuel Baptista na época de grande fluxo de mineradores entre Sabará e a Vila de Pitangui, a sétima Vila de Minas Gerais. O prédio foi erguido em uma extensa vargem cortada pelo Ribeirão Paciência, que atravessa toda a cidade. Foi um ponto de pouso que se formou ao longo do caminho real para os boiadeiros, os tropeiros, os abastecedores dos centros urbanos.

Nesse território ― caminho para Pitangui —, as primeiras arranchações, estalagens, comércio e Capela foram surgindo, originando o arraial do Patafufo, atual Pará de Minas. Já no Século XX, em 1º de setembro de 1905, o prédio foi adquirido do Padre Miguel Vital de Freitas Mourão por Adelino Cardoso Ferrão Castelo Branco. À família Castelo Branco pertenceu até 9 de janeiro de 1980, quando a Prefeitura de Pará de Minas o adquiriu dos herdeiros, durante a administração do Prefeito José Porfírio de Oliveira.

Logo após ser sido adquirido pela municipalidade, o prédio recebeu os desabrigados pelas fortes chuvas que cairam na cidade, ocasião em que uma área de extensão da casa foi completamente fechada e suas paredes foram intercaladas com basculantes. O prédio foi sede de alguns setores municipais durante a construção da nova sede do executivo, que foi inaugurada em 1982. Nele também funcionou uma escola particular de música; a Aspac – Associação de Arte e Cultura, que seria responsável pela implantação do Museu; a Banda de Música Lira Santa Cecília, entidade civil; e, simultaneamente, funcionava uma carpintaria da Prefeitura na coberta, e, as salas externas funcionavam como depósitos de material de som, de pintura, de peças danificadas.

Em 1984, na administração do Prefeito Antônio Júlio de Faria, o prédio foi destinado a abrigar o Museu Histórico por iniciativa e incentivo de Hugo Flávio Lobato Marinho e Luiz Viana David, assessores do prefeito. Em 1998, a edificação foi tombada pelo Município por força do Decreto Nº 2.768, de 13 de abril.

Melhorias foram promovidas no prédio adaptando-o às novas funções, sendo as mais recentes inauguradas em 28 de março de 2014.