Si sé de antemano que estoy recibiendo un patrón de interferencia, ¿no tendría tiempo de quitar el divisor para conocer la información de la ruta?

El video no da una explicación del borrador cuántico de elección retardada, es decir, un relato de lo que está sucediendo en la realidad para producir los resultados del experimento. El video establece los resultados del experimento de forma poco clara. el papel original

https://arxiv.org/abs/quant-ph/9903047

o incluso la entrada de wikipedia sobre este experimento:

https://en.wikipedia.org/wiki/Delayed-choice_quantum_eraser

son menos engañosas.

Cuando el fotón se mide en el detector 1, todo lo que ve es una mancha. Si solo mirara los resultados de ese detector, nunca sabría qué pasó con el otro fotón. Si compara los resultados del detector 1 con los del detector 4, verá que la probabilidad de que un fotón llegue a la misma posición varía en un patrón de interferencia con la posición. Si el fotón llega a los detectores 2 y 3, entonces no obtiene ese patrón en la comparación, pero el patrón detectado al medir los resultados del detector 1 solo es solo una mancha.

Creo que la explicación de estos resultados es que todos los resultados posibles ocurren y las correlaciones se establecen cuando se comparan los resultados de la medición:

https://arxiv.org/abs/quant-ph/9906007

https://arxiv.org/abs/1109.6223

La cuenta más estándar es que de alguna manera lo que sucede en un detector afecta lo que sucede en el otro. Pero incluso en esa cuenta, no hay posibilidad de saber si hay un divisor de haz en los detectores 2, 3 y 4 si los resultados de este proceso de alguna manera concuerdan con la mecánica cuántica.