¿Cómo "sincronizar" mejor al productor/consumidor de imágenes para manejar diferentes FPS?

Estoy construyendo un sistema que, entre otras cosas, tiene un sensor de imagen que emite video digital a 30 fps y un sistema de visualización que muestra en un monitor a 60 fps. Actualmente, el sistema utiliza un controlador de búfer de cuadros que he implementado en una FPGA y en una memoria fuera de chip. El lector (monitor) lee del búfer a voluntad y el escritor (cámara) bombea datos al búfer a voluntad (es un controlador totalmente asíncrono). Hay suficiente memoria para almacenar algunos marcos de datos. El sistema funciona bien. Puedo mostrar la transmisión de video de la cámara en un monitor sin problemas.

El problema al que me enfrento es que el lector/escritor tiene diferentes frecuencias/resoluciones de reloj y, por lo tanto, diferentes fps. Lo que esto implica es que en algún momento el monitor muestra datos del marco de imagen actual, pero debido a que consume datos más rápido de lo que la cámara produce datos, "supera" la cámara y comienza a mostrar datos de un marco de cámara obsoleto. Esto está bien siempre que la cámara no se mueva muy rápido o que se tome la misma escena una y otra vez. Sin embargo, si la cámara se mueve rápidamente o algo en la escena se mueve rápidamente (por ejemplo, las cosas en la escena se mueven más rápido que la frecuencia de muestreo de la cámara), entonces está claro que el cuadro actual será sustancialmente diferente del cuadro anterior. Eso significa que el monitor puede mostrar porciones de ambos cuadros al mismo tiempo, lo que se manifiesta en una línea "

Entonces, yendo a mi pregunta, me pregunto cuál es la mejor manera de resolver este problema. El monitor y la cámara tienen dos relojes independientes, que son asíncronos entre sí. Tengo el control (yo genero) el reloj de píxeles para el monitor, pero el reloj de píxeles de la cámara es 100% asíncrono con el sistema (sale de un IC deserializador). Algunos detalles más: el FPGA tiene una frecuencia de 100 MHz desde un oscilador. Utilizo un DCM interno para generar el reloj de píxeles de 40 MHz para el monitor y tengo varias otras piezas del sistema funcionando a 100MHz. El reloj de píxeles de la cámara es de unos 13 MHz (pero puede llegar hasta los 27 MHz). El FPS de la cámara generalmente está atascado en 30 FPS, pero puede ir más lento dependiendo del control de exposición.

Podría hacer algo como mostrar siempre el mismo cuadro dos veces para que el monitor esté haciendo 60 fps, pero 30 cuadros distintos por segundo. Eso funcionaría bien, pero si alguna vez cambio la velocidad de fotogramas de la cámara a algo arbitrario que no se divide bien en 60, no tendré suerte. Quizás lo más importante es que si cambio los fps de mi monitor, esto funciona mal. Como una extensión más robusta de esta idea, podría pensar en formas de mostrar solo "fotogramas completos". En otras palabras, no comience a leer un nuevo cuadro de imagen hasta que esté completamente escrito (o más sólidamente hasta que sepa que no va a pasar la cámara en ese cuadro). Esto significaría que no todos los marcos de imagen obtienen la misma cantidad de marcos de visualización, pero tal vez esté bien.

¿Alguna sugerencia? ¿Cómo manejan típicamente los sistemas comerciales este problema? En particular, ¿cómo manejan esto las cámaras USB? Eso parece un análogo bastante apropiado. Presumiblemente, transmiten datos a un búfer en el lado de la máquina y el software de visualización tiene que procesar los datos/volcarlos en el controlador de gráficos (estoy pensando en algo así como una llamada a glutswapbuffers).