La Hermandad de la Victoria fue fundada en 1563 en la iglesia prioral de San Benito, que ahora es la iglesia de Nuestra Señora de Belén. En 1578 se trasladó al Monasterio de la Santísima Trinidad, y luego en 1589 al Convento de San Pablo el Real, uniéndose a la Real Hermandad de Nuestra Señora de la Antigua. Sin embargo, en 1597 se rompió esta unión, y la hermandad se trasladó a la iglesia-convento de San Francisco de Paula. Entre 1621 y 1625, estuvo posiblemente en la iglesia parroquial de San Andrés.

Finalmente, en 1628 se mudó a la parroquial de San Pedro, donde permaneció hasta 1674, cuando se instaló en el Convento de Nuestra Señora de la Consolación, conocido como Los Terceros. Excepto durante la ocupación francesa entre 1810 y 1819, la hermandad estuvo en Los Terceros hasta 1904, cuando se trasladó a la capilla de la Real Fábrica de Tabacos. En la década de 1950, la fábrica y la capilla se trasladaron a un nuevo lugar en Los Remedios, donde la hermandad sigue procesionando desde 1965. La antigua Real Fábrica ahora es parte de la Universidad de Sevilla.

La hermandad tiene un estrecho vínculo con la Casa Real Española desde la aceptación de Isabel II como Camarera Mayor Perpetua en 1882. Isabel II, así como otros miembros de la familia real, han desempeñado roles importantes en la hermandad a lo largo de los años. La reina María Cristina aceptó el cargo de Hermano Mayor para su hijo en 1894. La reina Victoria Eugenia de Battenberg se convirtió en Camarera Mayor y Perpetua en 1906, y otros miembros de la familia real también han ocupado roles honorarios en la hermandad.

La imagen principal de la hermandad es el Cristo de la Columna y Azotes, creado en 1974 por Francisco Buiza y restaurado en 2005-2006 por Enrique Gutiérrez Carrasquilla. El paso de misterio representa la Flagelación de Cristo y cuenta con varias figuras secundarias, todas realizadas por José Antonio Navarro Arteaga en 1996 y 2003. La Virgen de la Victoria, tallada en el siglo XVII, fue intervenida por Juan de Astorga en 1803. El palio de la Virgen, diseñada por Pedro Domínguez en 1892-1893, tiene bambalinas bordadas por Emilia Salvador Ibarra y Juan Manuel Rodríguez Ojeda. Las figuras y elementos del paso de palio han sido restaurados y modificados en varias ocasiones a lo largo de los años.