No, prescripción y caducida son cosas distintas. Las acciones caducan por incumplimiento de los plazos del procedimiento, pero se puede iniciar otro, siempre que la acción no haya prescrito.
En este caso y según el art. 4 de la Ley 5/2000 de Infracciones y Sanciones en el Orden Social, en materia de S.S., las infracciones prescriben a los 4 años desde la fecha de comisión de la infracción, entendiendo por tal, el momento en que se tiene conocimiento de ellas, o sea, desde que la Inspección de Trabajo levanta el acta. Por tanto, debes contar 4 años hacia atrás, desde el momento en que la Inspección de Trabajo levanta el acta. El resto ha prescrito y no se te puede exigir responsabilidades por ellos.