¿Existe una aplicación de código abierto que automatice las operaciones de la GUI? Me gustaría automatizar aplicaciones GUI que no están basadas en la web. Quiero que la aplicación reconozca posiblemente capturas de pantalla y ubicaciones. Pero me conformaría con una aplicación que emita tabulador e ingrese la clave en sucesión. Quiero una aplicación para automatizar las operaciones de diversas aplicaciones de Windows, incluidas las sesiones RDP a otros servidores.
SikuliX tiene el lema "Automatiza todo lo que veas": es un marco de prueba basado en Java que utiliza el procesamiento de imágenes para buscar en la pantalla elementos específicos y realizar acciones en ellos impulsadas por secuencias de comandos python/ruby/ JavaScript .
Hay docenas, aquí hay algunos: