No se conoce a ciencia cierta el origen de esta cofradía, al no quedar constancia escrita al respecto. Su comienzo pudo estar en los primeros años del S.XVII (1600-1620), a juzgar por la antigüedad de la diadema de plata que se conserva de la antigua imagen de la Virgen, y por mandas testamentarias que atestiguan la existencia de un altar dedicado a esta advocación en el templo de Nuestra Señora del Rosario (hoy Santa María), ante la transformación en el mismo durante el obispado de D. Claudio Sanz y Torres (2ª mitad del S.XVIII)Es curioso reseñar, asimismo, la existencia de otra talla con este mismo título de los Dolores en la ermita fundada en la parte alta de la loma afines del S.XVIII (antecedente de la actual referencia mariana de la cofradía de San Juan).
Con la fundación del hospicio franciscano a principios del S.XVIII se destruye la ermita, pasando la imagen a pasar culto en la capilla de dicho convento, al que da nombre.
Se sabe que la de los Dolores es una de las agrupaciones de fieles más antiguas de Albox, según se indica en el libro Primero de la Hermandad de Jesús, que es el documento más antiguo que se conserva al respecto en la localidad, fechado en febrero de 1858, reflejo de una conferencia celebrada en la Iglesia Parroquial de Nuestra Señora del Rosario.
En el se fijan las bases para la reorganización de las Hermandades de la villa, fundada la nueva de Jesús, procedente de la del Stmo. Sacramento, atribuyéndole el cuidado de la imagen del Nazareno; conservando la de San Juan su nombre e imagen; y reestructurando la antigua hermandad de Jesús y María (de la que no conocemos noticias importares), que pasa a denominarse de la Soledad, según recogen los renovados estatutos, siendo el germen del actual paso negro. Probablemente se usa este título porque el de los Dolores lo ostentara ya la talla del Convento Franciscano del mismo nombre. D. Pedro María Frías fue el primer hermano mayor, quien donó la imagen antigua, desaparecida en la guerra civil española, así como el antiguo trono que tallara el artista local Alfredo Fábrega “El Currillo”.La situación parece permanecer así, y organizando desfiles conjuntos las distintas cofradías, incorporándose la antigua talla de las Angustias en los años veinte y atravesando los núcleos de ambos márgenes de la rambla, hasta el forzado paréntesis de 1936, después de una de las Semanas Santas más esplendorosas de la época, en ese mismo año.
Tras este trágico episodio, se inicia una nueva etapa de consolidación y refundación. Es en 1940 cuando se vuelven a organizar la Cofradía de San Juan (aunque no desfila hasta cuatro años más tarde), y el Paso Negro, donada la Virgen (imagen actual) por una espléndida mujer del pueblo llamada Doña Brígida Fernández Bernabé, a cuya generosidad debemos también el palio y manto bordado que luce. Los otros dos Pasos (Blanco y Morado) se incorporan en 1.944. Es lamentable la vagueza e imprecisión de más datos o referencias de la época.Desde entonces, el Paso Negro atraviesa distintas etapas, desde el esplendor de los Viernes de Dolores pasando por la crisis de los años ochenta, en que deja de procesionar hasta 1989, cuando reaparece con nuevos enseres. Tampoco desfila la Cofradía en 1996 ni 1997, por problemas económicos y de colaboración social e institucional.
Se recuerdan como presidentes o hermanos mayores, a partir de la reestructuración de 1949 a Antonio Sánchez (sacerdote jubilado), Juan Granados, Antonio López, Jerónimo Lajara, Juan Teruel, Pedro González, Ramón Lajara, María del Saliente Perán, Juan Rubio, Pedro Antonio Teruel, Agustín Riquelme, Eustaquia Teruel, Florentina Aguirre, Felipe Castaño y actualmente Carlos Berbel Fernández.
