En 1498 el número de huérfanos habia aumentado en exceso, por lo que se tomó la decisión de convertir la Casa natalicia de San Vicente Ferrer y el Convento de Santo Domingo como sedes complementarias de la Institución, que por aquel entonces se conocia como Colegio de Huérfanos de San Vicente Ferrer.

En 1540 la protección asistencial de los Beguines habia decaido, por lo que un grupo de caballeros recoge el testigo asistencial y crean la Cofradia del Buenaventurado San Vicente Ferrer.

En 1547 fueron aprobadas las primeras ordenanzas, pero en 1593 los administradores del colegio fueron acusados de una mala administración, por lo que el rey Felipe II suprime la Cofradia de San Vicente Ferrer y nombra una Junta de Gobierno formada por tres miembros: un canónigo de la Catedral, un jurado de la ciudad y un administrador del Hospital General de Valencia. Los tres miembros elegian a su vez a un clavario que era el encargado ejecutivo del gobierno de la institución.

En 1624 el rey Felipe IV hace donación al Colegio, del edificio correspondiente al antiguo Colegio Imperial Nuestra Señora de la Misericordia para hijos de moriscos, creado por el rey Carlos I de España en 1545 y que estaba situado en la actual calle de Lauria cruce con Colón (en su lugar hoy se levanta un Corte Inglés). Con la expulsión de los moriscos en 1609 el edificio se encontraba vacio. El edificio era conocido como la Casa del Emperador, ya que según se afirmaba el Colegio se construyó sobre una casa propiedad del emperador Carlos I de España (V de Alemania). Será a partir de esta fecha cuando el Colegio adopte el nombre de Colegio Imperial de Niños Huérfanos de San Vicente Ferrer.

En 1968 el edificio que amenazaba ruina fue demolido y el Colegio se trasladó hasta la cercana población de San Antonio de Benageber, donde en 1977 quedo inaugurado el nuevo edificio, y donde a día de hoy aún continua prestando función educativa.

Los ingresos y gastos del colegio eran anotados en el Libro de la Clavería. Además existía un registro de ingresos de huérfanos donde se anotaban los nombres de los niños (niños y niñas por separado) acogidos en la institución y donde además se anotaban los progresos y anotaciones que tuvieran a bien hacer los maestros. Los ingresos debían ser aprobados por la Junta de Gobierno.

Los registros de los huérfanos se realizaban por nombre y apellidos, además se hacía constar el nombre de los padres, la fecha de nacimiento, de bautismo y la fecha de acogida en el Colegio. En notas al margen se podían poner anotaciones como los apodos, los nombres de pila, oficio etc.

Con la creación en 1837 de la Junta Municipal de Beneficencia de Valencia, la estructura del Colegio sufre cambios, entre ellas tal vez la más importante la inclusión en la Junta de Gobierno del Alcalde de la Ciurdad.

La educación consistia basicamente en enseñar a leer y a escribir, enseñanza de un oficio según aptitudes, siempre bajo la optica de una moral cristiana. Los escolares se encontraban bajo la tutoría de un maestro y una mujer conocida con el nombre de "madre de los niños" que era un referente de las figuras del padre y la madre. La enseñanza de leer y escribir a las niñas no comenzó hasta el siglo XVIII, fecha muy temprana si tenemos en cuenta que el resto de las instituciones públicas no empezaron esta labor hasta bien entrado el siglo XIX.

Hasta prácticamente el siglo XIX los únicos ingresos que tenía el Colegio eran las limosnas. La petición de limosnas la realizaban los propios huérfanos en iglesias, mercados, casas etc y estaban supervisadas por un responsable del Colegio para evitar abusos y engaños. A los limosneros se les expedía un certificado donde se hacía constar su condición de alumno del Colegio Imperial y la autorización para pedir limosna y donde. (Carta Monitoria de Hermandad).

La edad limite en la que podían permanecer en la institución eran los veinte años, a partir de esta edad, los jovenes tenían que salir del Colegio y ganarse la vida por su cuenta.

La existencia de la fiesta de los niños de la calle de San Vicente, se debe precisamente a la antigua tradición de cuando el Colegio se encontraba ubicado en la plaza de San Agustin-calle San Vicente. Por entoncés se hacía una procesión desde el Colegio y se hacia una representación teatral conocida como los "Miracles de Sant Vicent". Conviene precisar que no hay que confundir la calle de San Vicente Mártir, con San Vicente Ferrer creador del Colegio.