Em meados do século XIV, testilhando a Mitra e a Cidade sobre direitos de jurisdição, foi notificado perante os juízes, pelos procuradores do Concelho, que por motivos de defesa, por ocasião dos desentendimentos entre D. Dinis e o infante D. Afonso, entre os anos de 1320 a 1321, tinham sido mandadas demolir algumas casas construídas junto ao muro do castelo. A expressão "castelo" já havia sido empregada anteriormente nas Inquirições de D. Afonso IV. Entretanto, uma carta dirigida por D. Sancho I ao bispo do Porto leva a crer chamar-se castelo à época ao alto do morro da Pena Ventosa, pois nela recomenda o monarca ao prelado que promova a realização de mercado ante a porta da Sé, "para que o castelo seja melhor povoado".
A abertura da Rua Nova marca uma nova fase no urbanismo da cidade e a sua localização reflecte a importância atingida pela zona baixa da cidade, que funcionou, até ao século XX, como principal pólo comercial.Nesta fase, a Coroa já providenciara no sentido de abrigar a cidade em expansão, em novo muralhamento. As obras começaram em 1336 no reinado de D. Afonso IV e só terminaram em 1374 (ou 1376), no tempo de D. Fernando, motivo pelo qual ficaram conhecidas pela denominação de muralha fernandina, muralha gótica ou muro novo.
A nova cerca tinha uma extensão de 3000 passos e 30 pés de altura. Era guarnecida de ameias e reforçada por numerosos cubelos e torres de planta quadrada, que excediam em onze pés a muralha, com excepção das torres que defendiam as Porta do Cimo da Vila e Porta do Olival, que subiam 30 pés acima desse nível. Um século e meio depois (1529) caíram 360 braças da muralha, entre a Porta do Olival e a Porta dos Carros, ou seja, ao longo da antiga Calçada da Natividade, hoje Rua dos Clérigos. A reedificação deste troço da muralha foi feita entre 1607 e 1624. Durante esses trabalhos.
Muralha continuava paralela ao rio até subir para Santa Clara. Da Porta Nobre até ao Terreirinho rasgavam-se os postigos dos Banhos e o do Pereira ou Lingueta. No Terreirinho, próximo à antiga Alfândega, existia o Postigo do mesmo nome, demolido em 1838. Continuava em direcção ao Postigo do Carvão, o único que ainda existe e assim chamado por ser por aí que entrava o combustível que ficava em depósito na Fonte Taurina. Mais adiante havia o Postigo do Peixe. A seguir ficava a Porta da Ribeira, voltada a Leste, demolida em 1774 por ordem de João de Almada e Melo, quando se decidiu construir a Praça da Ribeira. Esta foi a primeira porta da cidade onde se gravou a inscrição alusiva à consagração de Portugal a Nossa Senhora da Conceição, decretada por D. João IV. Existiam ainda mais quatro postigos, o do Pelourinho, o da Forca, o da Madeira e o da Areia. Depois deste último a muralha deixava de acompanhar o rio e subia até à Porta do Sol.
