Así conocida porque era salida de acceso al antiguo cementerio musulmán, que se encontraba en lo que hoy es el barrio de San Francisco.
Posteriormente delante de esta puerta se encontraba el Prado de los Caballos o de los Potros, dehesa dotada a la ciudad en el Repartimiento de 1491. Allí se levantó la ermita de la Visitación , el primer templo cristiano que se hizo en la ciudad a raíz de la conquista.
A mediados del siglo XVI se hizo una carrera que llegaba al convento de San Francisco, denominada Carrera de Caballos, donde se ejercitaban los caballeros en el manejo de las armas y ejercicios ecuestres. Entonces la ermita se trasladó a un costado, formándose delante de la puerta una amplia plaza llamada en el siglo XVI la Plaza del Pozo, o de Almocábar, luego Alameda de San Francisco.
La ermita recibió el título de Nuestra Señora de Gracia, Patrona desde entonces de la Real Maestranza de Caballería de Ronda.