¿Cómo rechazar diplomáticamente una invitación a una entrevista del exgerente?

Soy un desarrollador de software con más de 3 años de experiencia en la India. Dejé mi organización anterior durante marzo de 2020 y he estado trabajando en mi organización actual desde entonces. Mi exgerente también dejó la organización anterior en julio de 2020 y lanzó su propia startup. Hace unos días recibí una llamada de él y me preguntó cómo me iba en la vida profesional. Le dije que no estoy satisfecho con la calidad del trabajo en la organización actual y buscaré cambiar en los próximos meses. Entonces, me dijo que puedo buscar cambiar en su startup. Me dijo que él es el jefe del centro de desarrollo de esta startup, que fue lanzada por su amigo de la universidad (director). Además, me aseguró que nunca enfrentaré el problema de la calidad del trabajo allí, ya que el nivel de trabajo es bastante alto y su empresa desarrolla esos productos que utilizan millones de usuarios por segundo. También me dijo que puedo ir a tiempo parcial si no estoy completamente convencido.

Le dije que estoy listo para trabajar a tiempo parcial ya que puedo conocer la calidad del trabajo allí. Pero después de unos días, me volvió a llamar y me dijo que solicitara una entrevista en su startup, ya que allí me darían un puesto superior junto con el aumento de acuerdo con los estándares de la industria. Le dije que me diera los enlaces de sus sitios web para que pueda conocer y explorar más sobre su organización. Investigué y no encontré nada útil. Además, me temo que sería una mala idea unirme a la startup en estos tiempos de pandemia por las siguientes razones:

• La gente está perdiendo sus trabajos en estos días.
• Tengo que tomar un préstamo hipotecario después de uno o dos meses para mi nueva casa. Entonces, unirse a una startup sería una mala idea y un gran riesgo.
• Mi organización actual es estable y ofrece mayor seguridad laboral (aunque no estoy contento con el trabajo).
• Una razón no tan importante es que mi ex gerente es de una religión diferente y todos sus empleados que vi en LinkedIn pertenecían a una sola religión (la misma que la suya). Entonces, siento un poco de incomodidad aquí (que no puedo decirle por razones obvias).

Quiero cambiarme a una organización basada en productos (mejor que la mía). Si hubiera sido un extraño, entonces rechazaría directamente su invitación diciendo cortésmente que lo siento, no estoy interesado. Pero el problema con él es que, aunque le di indirectas indirectas para que no se uniera, empieza a convencerme cada vez que le doy alguna razón. Por lo tanto, quiero rechazar su oferta de trabajo (o entrevista) de una manera que sea cortés y diplomática y que no dañe mis futuras relaciones profesionales con él. ¿Alguien aquí puede sugerir algo?