Localizado na região da Saúde, compõe com a Gamboa e o Santo Cristo a zona portuária do Rio de Janeiro. Juntamente com o morro do Castelo, o de Santo Antônio e o de São Bento formam o quadrilátero que formava e limitava a cidade colonial. Sua ocupação desde o século XVII esteve ligada a atividades militares e religiosas da colônia. Em 1624 foi erguida uma ermida dedicada à Nossa Senhora da Conceição (que deu nome ao morro); posteriormente o terreno onde ficava a capela foi doado à Ordem do Carmo para construção de um convento, e em 1669 passou aos frades capuchinhos franceses para construção de um asilo para doentes mentais. Com a expulsão dos frades franceses do Rio de Janeiro em 1701, o prédio passou ao Cabido da Câmara e depois de obras de ampliação tornou-se o Palácio Episcopal, ocupado em 1702 pelo terceiro bispo da cidade, d. Francisco de São Jerônimo. A Fortaleza de Nossa Senhora da Conceição foi erguida nos fundos do Palácio e sucedeu a Bateria do Morro mandada fazer pelo corsário francês Duguay-Trouin em 1711, quando da segunda invasão francesa a cidade, que se estabeleceu no Palácio. A edificação, pensada como parte do plano de defesa do porto e da cidade, iniciou em 1715 e as obras só ficaram totalmente concluídas em 1763, com um potencial de 36 bocas de fogo. Na fortaleza ficaram presos alguns dos inconfidentes de Minas Gerais, entre eles Tomás Antônio Gonzaga, e ao longo do Oitocentos a fortificação foi armada e desarmada algumas vezes, vindo novamente a servir como prisão. No século XIX o morro servia de moradia para comerciantes e empregados do comércio, que trabalhavam nos trapiches e companhias da região da Prainha, conhecida como Valongo, principalmente depois da transferência do mercado de escravos e da atividade portuária da região do Largo do Paço nas últimas décadas do XVIII, por ordem do vice-rei, o marquês do Lavradio. Essa transferência levou à criação do cemitério dos pretos novos, que na verdade não passava de uma área onde os escravos que não resistiam à longa viagem, submetidos a condições extremas, eram enterrados ou abandonados em valas comuns. Na descida do morro voltada para o porto, a Pedra do Sal recebia o sal importado de Portugal, descarregado por escravos estivadores. A região, já no século XX, transformou-se em ponto de encontro, tornando-se posteriormente palco de variadas manifestações da cultura afro-brasileira, considerada um dos locais de nascimento do samba.