¿Por qué la energía potencial gravitatoria no se cancela?

El diagrama de potencial de la izquierda también muestra las líneas del campo gravitatorio.
El punto marcado$S$es un punto de silla (punto neutral) en lo que respecta al diagrama de potencial y, como tal, el gradiente del potencial y, por lo tanto, la fuerza sobre una masa en esa posición es cero.
Tan pronto como la masa se aleja de su posición$S$hay una fuerza sobre él ya que hay un gradiente de potencial.

El diagrama de la derecha muestra la variación de potencial en "3D".

Lo que notará es que alrededor de la posición$S$el potencial es variable.

No hay ninguna razón por la que no puedas decir que la energía potencial de tu masa cuando se coloca en la posición$S$es cero aunque es más habitual hacer infinito el cero de potencial.
Sin embargo, deberá realizar trabajo, es decir, aumentar la energía potencial de su masa, si aleja su masa de las dos masas y el trabajo se realizará por usted o su masa ganará energía cinética si se mueve hacia una de las dos masas. . Lo importante a tener en cuenta es que incluso si el gradiente de potencial (o fuerza) es cero, eso no significa que el potencial sea necesariamente cero.
Todo lo que significa es que en esa posición el potencial no varía con la posición.

El diagrama de potencial también muestra que colocar una masa en la posición$S$da como resultado un equilibrio inestable en el que un pequeño desplazamiento de la masa dará como resultado que la masa se aleje de su posición$S$.

Un objeto está en reposo si la fuerza neta que actúa sobre él es cero. Tiene que ver con el valor específico de la energía potencial en el punto. De hecho, tienes la libertad de cambiar la función de energía potencial por una constante sin cambiar la física. Esto se debe a que la física está relacionada con las fuerzas, y la fuerza es la derivada del potencial. En tu caso, si el planeta está a distancia$r$de una de las estrellas, la energía potencial viene dada por

La fuerza que actúa sobre el cuerpo en$r$es la derivada de la función potencial anterior

y se puede ver claramente que$F(R)=0$como dijiste.

La energía potencial es negativa porque, si ataras una cuerda al planeta y la tiraras muy lejos de las dos estrellas, entonces harías trabajo al hacerlo, y en el límite el trabajo que harías sería$2GMm/R$. Y si arbitrariamente definimos el cero de la energía potencial gravitacional como la energía potencial infinitamente alejada de otras masas, que es la forma convencional en que se define, entonces la energía potencial del planeta en su posición inicial debe ser$-2GMm/R$.

(Tenga en cuenta que puede definir el cero donde quiera: solo las diferencias importan. Definir el cero como una separación infinita generalmente se hace porque es una elección agradable y universal).

Su pregunta no está clara: la energía se define solo como una constante. Lo que importa es cómo cambia la energía potencial a medida que cambia la posición del planeta. Entonces tu pregunta podría ser: ¿por qué la derivada de la energía potencial es cero con respecto a la posición del planeta?

El planeta es como una pelota en la cima de una montaña, donde la pelota no puede decidir si rodar hacia un lado o hacia el otro.

Eso es lo que significa el cero de la derivada de la energía potencial. El planeta encuentra ambas direcciones (hacia la estrella A o B) igualmente atractivas. Cero significa que no puede decidir entre uno u otro.

Lo extraño es que el planeta está al máximo (en la línea que une las dos estrellas, vea la respuesta de @Farcher sobre los puntos de silla). Si sucede algo que empuja a un lado o al otro, de repente descubrirá que prefiere cada vez más una estrella sobre la otra. De repente, la derivada de la energía potencial ya no es cero. Entonces, a pesar de que el planeta no puede decidir por sí mismo, si alguien forzará la decisión por él (por ejemplo, una erupción solar de una estrella), entonces seguirá adelante.

Para ser exactos, el planeta está en el punto L1 de Lagrange del sistema.