A Biblioteca da Fundação João Pinheiro iniciou suas atividades em novembro de 1970, pouco depois de instalada a Fundação. Até abril de 1987 localizava-se na sede da Fundação e mantinha no Centro de Desenvolvimento em Administração (CDA) um setor equipado para atender aos técnicos, professores e alunos desse Centro.

A partir de maio de 1987 com a mudança da Fundação para a Pampulha, passou a funcionar num espaço criado especialmente para a Biblioteca, ocupando uma área de 664 m2. A biblioteca atendia neste período 331 usuários entre técnicos, administrativos, consultores, alunos e estagiários.

O período de 1994 a 1998 foi de crescimento e atualização da Biblioteca, que foi automatizada e passou por ampla reforma renovando, desde as suas instalações físicas até o seu mobiliário. Contando com grande apoio da Direção da Casa, a Biblioteca foi beneficiada com novas aquisições de publicações e com programas de atualização e reciclagem dos seus recursos humanos. A Biblioteca ganhou novos espaços, passando de uma área de 740 m2 para 800 m2. Adotou novo leiaute, com espaços mais apropriados aos ambientes de leitura, consulta e atendimento. Foi feito grande esforço para atualizar o seu acervo e este foi acrescido pela coleção da Biblioteca do PLAMBEL.

A Biblioteca elaborou, no início de 1995, um plano para sua informatização detalhando os serviços a serem automatizados, os equipamentos e softwares a serem usados, o cronograma físico e financeiro e implantação do plano.

Em 2003, foi disponibilizado o serviço de atendimento aos portadores de deficiência visual, a sala de multimeios e a videoteca para apoio às atividades de ensino.

A biblioteca visando o aprimoramento no desenvolvimento de suas atividades, em 2006 foi adquirido um software gerenciador de biblioteca que contemplava todas as atividades no tratamento da informação, de forma integrada, da aquisição ao empréstimo com uma interface moderna e de fácil aprendizagem que iria  garantir a eficiência e a otimização dos serviços. Para substituição dos equipamentos foram adquiridos, 6 computadores, uma impressora de rede e um  servidor.

Em Parceria com a Secretaria de Estado de Planejamento e Gestão (SEPLAG) PRODEMGE foi implantado o projeto Biblioteca Virtual de Minas Gerais cujo objetivo é a construção de uma biblioteca virtual com todo o acervo que compõe a Memória Técnica da FJP. A intenção é que essa iniciativa seja o embrião de um centro de referência virtual responsável pelo armazenamento e disseminação de informações de toda a memória técnica dos Órgãos e Entidades do Governo de Minas Gerais. A digitalização dos documentos ocorreu entre os meses de março e agosto de 2007 e a preparação incluiu: seleção, conferência, desencadernação, cópia, elaboração e inserção nos documentos dos tombos digitais.