Es un recinto de planta cuadrada con dos baluartes y dos torreones. En el interior de la muralla se hallaban las viviendas para los soldados, abiertas al interior del patio de armas. Con la construcción de la fortaleza, y la utilización de la pólvora en las armas de fuego, la función defensiva del fondeadero experimentó un gran auge, ya que la artillería garantizaba su funcionamiento como puerto mercantil, pesquero y militar.

El Castillo-Fortaleza forma parte del Plan Defensivo que completaba el dispositivo de vigía en la costa y  se concibe como una ciudad fortificada muy cercana al mar, por el peligro que suponía el corso y la piratería. Su construcción duró tres años, finalizando las obras en 1557, con un coste de 23.000 ducados, que fueron sufragados por el virrey de Valencia D. Bernardino de Cárdenas y Pacheco, duque de Maqueda.