La Hermandad de las Tres Caídas se funda el 4 de julio de 1944 en la Iglesia de Nuestra Señora Estrella del Mar de Huelva. En el primer libro de actas de la hermandad se recoge la constitución oficial de la cofradía bajo la dirección espiritual del Padre Miguel Gutiérrez y con D. Nicolás Domínguez Díaz como primer Hermano Mayor.

Ese mismo año se encargó al escultor ayamontino Antonio León Ortega la realización de las imágenes titulares. La bendición de Nuestro Padre Jesús de las Tres Caídas tuvo lugar el 17 de marzo de 1945 en la Iglesia de Nuestra Señora Estrella del Mar, en un solemne acto presidido por el Excmo. y Rvdmo. Sr. Arzobispo de Lima, D. Emilio Lissón Chávez, quien fue nombrado Hermano Mayor Honorario, otorgando a la hermandad el título de «Ilustre».

La primera estación de penitencia se realizó en la Semana Santa de 1945, superando diversos obstáculos como la falta de un paso propio y las dimensiones de la puerta del templo. Para ello, se solicitó el préstamo del paso del Patrón San Sebastián al Ayuntamiento de la ciudad. La imagen fue trasladada a los antiguos Talleres Torres, donde se preparó y exornó antes de iniciar el desfile procesional.

En 1947, debido a restricciones impuestas por el Arzobispado de Sevilla sobre la constitución de hermandades en templos de comunidades religiosas, la cofradía se trasladó al Sagrado Corazón de Jesús (El Polvorín), con la aprobación de D. Pablo Rodríguez González. La imagen fue llevada en procesión el 19 de marzo de ese año. Poco después, en 1949, se promovió la liberación de un preso cada Lunes Santo, tradición que se mantuvo durante cuatro años.

Ese mismo año, Antonio León Ortega talló la imagen de María Santísima del Amor, que fue bendecida el 8 de abril en la Parroquia del Sagrado Corazón de Jesús. Para su primera salida procesional, al no disponer de paso propio, se volvió a utilizar el de San Sebastián, adornado con trofeos del Recreativo de Huelva como jarras florales.

Durante la década de 1950, se centraron esfuerzos en la finalización y dorado del paso de misterio, así como en la construcción de las andas y el paso de palio para la Virgen. Los primeros tejidos de terciopelo verde para el palio y el manto de la Virgen fueron cortados y confeccionados en los talleres de la hermandad por los hermanos Fermín Tello y Francisco Contioso.

En las décadas siguientes, la hermandad siguió enriqueciendo su patrimonio. Se adquirieron una nueva Cruz de Guía, bandera de raso, varales restaurados y respiraderos encargados al orfebre Jesús Domínguez. En 1978, se creó la primera cuadrilla de hermanos costaleros, dirigida por D. Manuel Morón Illescas, y en 1983 se formó el primer grupo joven de la hermandad, presidido por D. Manuel Ponce Contreras.

El patrimonio siguió ampliándose con la incorporación de la peana para el paso de palio, ejecutada por el taller Hijos de Juan Fernández, y candelabros de cola, faroles y maniguetas. También se realizaron nuevas insignias, como el guion de la hermandad, bocinas con paños bordados, una nueva bandera de Sangre y un banderín conmemorativo del hermanamiento con la Hermandad de Montemayor.

En 1986, Nuestro Padre Jesús de las Penas presidió por primera vez el Vía Crucis de la Unión de Cofradías, y en 1988, con motivo del Año Mariano, la Virgen del Amor realizó una salida extraordinaria. En 1989 se inauguró la Casa Hermandad en el edificio Nuestra Señora del Amor, marcando un hito en la historia de la cofradía.

En 1994, la hermandad celebró su Cincuentenario Fundacional con un amplio programa de actos, incluyendo la publicación del libro Medio Siglo de Historia de las Tres Caídas, escrito por D. Manuel Tello Camacho, exposiciones, conciertos y una misa pontifical presidida por el Excmo. Sr. Obispo de la Diócesis, D. Ignacio Noguer Carmona.