¿Cómo produce una lente circular tomas rectangulares?

Estás en lo correcto.

Las fotos tienen el tamaño y la forma que tienen solo por el tamaño y la forma de la película o del sensor digital que se usa para capturar la imagen de la lente. El resto de la imagen que cae en la parte superior, inferior y lateral de la película o el sensor simplemente no se graba.

Es la forma en que has ilustrado. Las únicas excepciones son las lentes de ojo de pez circulares, que funcionan al revés. (Por ejemplo, tiene un círculo completo de 180° en el centro de su foto y todo lo demás está oscuro. Vea las imágenes de Peleng 8mm Fisheye ).

La lente siempre producirá una imagen circular; sin embargo, el sensor es rectangular y solo captura la parte de la imagen que cae sobre él.

Con algunos lentes "optimizados digitalmente" (ya sean de terceros o algo así como la montura EF-S de Canon), el círculo es mucho más pequeño, ya que tienden a estar optimizados para un sensor de tamaño APS-C. Por el contrario, puede obtener lentes Tilt/Shift que generan un círculo mucho más grande de una imagen para permitir el cambio.

Como se ve en su ilustración, parte del círculo de la imagen siempre se desperdicia al perder el área de imagen. Todavía tienes que pagar y llevar el cristal que crea las partes invisibles; una lente con imagen rectangular crearía un feo bokeh en bloque. Al menos esas partes recortadas son las partes de la imagen de menor calidad (la misma calidad que tiene en las esquinas de la imagen rectangular).

La imagen cuadrada que obtiene de las cámaras de formato medio de 6x6 es probablemente lo más cercano a la máxima utilización del círculo de imagen que puede obtener (sin contar lentes con círculos de imagen de tamaño inferior, como ojos de pez circulares o lentes diseñados para sensores más pequeños, y para esos cuadrados es uso más eficiente del área de imagen).

No solo la película/sensor de una cámara es rectangular, también lo son nuestros medios de visualización: LCD (y sus píxeles) y papel fotográfico (principalmente porque sus impresoras están diseñadas alrededor de rectángulos). Por no hablar de los álbumes de fotos. Vivimos en una sociedad muy ortogonal.

Entonces, en algún lugar de la cadena fotográfica, tendrás que convertir ese círculo en un rectángulo.

Da la casualidad de que es más barato hacerlo en la parte superior de la cadena: tanto los sensores de película como los digitales son más económicos cuando se producen como rectángulos. Tener versiones circulares de esos sería prácticamente un desperdicio y sería más costoso de arrancar.