La historia de la Hermandad del Nazareno de las Penas tiene sus raíces en un claustro de la Casa Grande de la Orden Carmelita, donde una imagen de un Nazareno caído bajo la advocación de Jesús de las Penas recibía culto. Con la invasión francesa en 1810, el convento fue cerrado, y la imagen se trasladó a la iglesia parroquial de San Vicente en 1845, después de la reapertura del convento.

En 1868, con el cierre definitivo del convento por la Junta Revolucionaria, la imagen del Nazareno de las Penas pasó a la iglesia parroquial de San Vicente. Durante este tiempo, fray José López, antiguo prior del convento, escribió un libro de oraciones dedicado al Jesús de las Penas, que la hermandad conserva hasta el día de hoy.

En 1875, algunos feligreses crearon una hermandad en torno al Nazareno caído, incorporando también el culto a una Virgen dolorosa que se encontraba en la parroquia. Realizaron su primera estación de penitencia en 1878. Sin embargo, la hermandad desapareció a finales del siglo XIX y fue reorganizada en 1923.

Las imágenes de la hermandad ocupaban altares en distintos lugares de la iglesia de San Vicente, hasta que en 1946, la Hermandad de las Siete Palabras les cedió una capilla en el lado de la epístola de la iglesia. En 1967, la hermandad adquirió una cruz de carey procedente de la Hermandad de Jesús Nazareno de Écija, realizada por Juan Francisco de Pareja en 1735.

La imagen que representa una de las caídas de Jesús con la cruz a cuestas, atribuida a Pedro Roldán y datada en el siglo XVII, muestra a Cristo mientras camina hacia el monte del Calvario. Aunque la talla completa fue realizada, se le colocó una túnica morada. La Hermandad cuenta con dos túnicas de terciopelo morado con bordados en oro para diferentes ocasiones. En 1980, la imagen fue restaurada y consolidada por Rafael Barbero Medina. Jesús porta potencias de oro elaboradas por Jesús Domínguez.

El actual paso de Cristo, de estilo neobarroco, fue estrenado en 1959. El proyecto fue diseñado por Alba, la talla fue realizada por Vega, el dorado por Luis Jiménez, los dibujos por Cayetano González, los bordados por Caro, y la orfebrería y los faroles por Villareal. Rafael Barbero esculpió las cabezas de marfil de los respiraderos. El paso también está adornado con cuatro medallones y 26 ángeles querubines, así como con las figuras de los cuatro Evangelistas a escala reducida, dispuestas de manera sedente en las esquinas del canasto.

La imagen de la Virgen es anónima y data del siglo XVIII, posiblemente de origen italiano, aunque algunos la han atribuido al imaginero neoclásico Blas Molner. Su última restauración tuvo lugar en 1986, y la Virgen lleva una corona de plata dorada.

El paso de la Virgen presenta una fina crestería plateada de Villareal, bambalinas de terciopelo rojo y borlones de oro. La corona de la Virgen, obra de Jesús Domínguez (1961); la peana de Andrés Contreras (1944); los varales (1993), las jarras y crateras (1998), y los faroles de cola, entrevarales y delanteros son de Orfebrería Andaluza (1999-2000), todos ellos basados en diseños del hermano Juan Carrero Rodríguez.

El manto de terciopelo azul oscuro, que anteriormente perteneció a la Hermandad de San Isidoro, ha experimentado alteraciones en su diseño inicial.