¿Por qué importa el signo en el método de Newton?

Derivando el Método de Newton visualmente como con la ayuda de un triángulo rectángulo y asumiendo X 1 se encuentra a la izquierda de X 0 obtenemos

X 1 = X 0 F ( X 0 ) F ( X 0 )
Uso de pendiente sobre corrida.

pero si suponemos X 1 se encuentra a la derecha de X 0 obtenemos:

X 1 = X 0 + F ( X 0 ) F ( X 0 )

Así que pensé que no importaba, pero resolviendo algunos problemas con

X 1 = X 0 + F ( X 0 ) F ( X 0 )

Yo diverjo.

¿Alguien podría aclararme dónde está la falla en mi pensamiento?

¡Gracias!

Tenga en cuenta que la versión habitual también puede fallar. ¿Tiene un ejemplo, donde converge la versión habitual, pero no la nueva?
@Peter no, asumí que estaba mal, así que no busqué lugares donde pudiera converger el nuevo. Pero originalmente pensé que si desciende y la raíz se encuentra a la derecha, la encontrará más rápido. Y pensando que eventualmente la señal debería cuidarse sola.

Respuestas (3)

La derivación no asume X 1 se encuentra a la derecha de X 0 . la aproximación X k + 1 generada a partir del método de Newton es la raíz de la recta tangente en la aproximación anterior X k :

0 F ( X k ) = F ( X k ) ( X k + 1 X k )
o
X k + 1 = X k F ( X k ) F ( X k ) .

¡Gracias! Esto es bueno para recordar y útil.

La falla es que, matemáticamente, no hay razón para suponer que cambiar el signo seguirá funcionando. Hay tres formas (que yo sepa) de pensar en Newton-Raphson; la primera es que es un caso especial de los métodos del Amo de casa , pero esto quizás sea un poco complicado.

El segundo, y el más relevante para apreciar el signo, es la forma en que me lo expliqué intuitivamente hace algún tiempo: imagina un gráfico de una función real unidimensional. Supongamos que estamos en algún punto distinto de cero, de derivada distinta de cero, y que la función es continuamente diferenciable. Hay cuatro casos: somos mayores que cero y la gráfica es creciente, somos mayores que cero y decrecientes, somos menores que cero y crecientes, somos menores que cero y decrecientes. En todos los casos, asuma una buena función en la que nuestras extrapolaciones sean razonablemente precisas; consulte la nota en la parte inferior sobre por qué el método de Newton está lejos de ser perfecto. Examina el cociente en el primer caso: F ( X ) > 0 , y F ( X ) > 0 , entonces el cociente es positivo. Por lo tanto, el signo negativo es necesario ya que queremos disminuir , y la gráfica aumenta donde estamos, por lo que damos un paso hacia atrás. Haré un caso más, echa un vistazo al resto. Veamos el caso 3: menor que cero y la gráfica es creciente. F ( X ) < 0 , F ( X ) > 0 , entonces el cociente es negativo. Estamos por debajo de cero, por debajo de cualquier raíz, pero dado que la gráfica está aumentando, es razonable suponer que un paso a la derecha nos acercará a cualquier raíz. Aquí el signo negativo sigue siendo esencial; damos un paso de dirección negativo negativo = positivo, y nos movemos a lo largo de la X eje hacia una raíz.

No relacionado con el signo, pero tenga en cuenta también que el método es bueno en un sentido diferente: cuando la derivada es pequeña, esperamos que necesitemos pasos más grandes para llegar a una raíz; la división por la derivada asegura pasos más grandes para las derivadas pequeñas. Cuando el valor de F es pequeño, es decir, estamos (con suerte) cerca de una raíz, el cociente también es pequeño ya que solo necesitamos un pequeño paso para lograr nuestro objetivo (¡en un mundo ideal!). Así es como recordar en qué dirección está el cociente.

La tercera forma es como responde CheeHan; examinas la aproximación tangencial y obtienes la expresión.

De todos modos, falla más a menudo cuando usa un signo positivo porque ¡usar un signo positivo simplemente no tiene sentido! El signo negativo es necesario para avanzar siempre hacia cualquier posible cero. Recuerdo estar confundido por los signos negativos cuando aprendí sobre algoritmos de descenso de gradiente, en múltiples variables: el principio es el mismo. Solo piense en sus diferentes casos y adónde debe ir. El signo negativo te ayuda a llegar allí.

NB A menudo, en mi justificación del método, nos dimos cuenta de los problemas de que era simplemente de primer orden. El hecho de que la gráfica esté aumentando aquí no significa que seguirá aumentando, y el hecho de que estemos cerca de cero no significa que estemos cerca de una raíz. Vea el método de Halley para una iteración más complicada pero más confiable. Por supuesto, también fallará cuando la derivada sea cero, lo cual es un problema si necesitamos iterar alrededor de un punto de inflexión.

Muchas gracias por esta respuesta, la pregunta en realidad surgió de una pregunta de tarea con el método de los jefes de familia (que tiene el más en lugar del menos). Es interesante que haya mencionado el descenso de gradiente, la razón por la que seguí este camino equivocado es porque recuerdo extrañamente que el libro MML menciona que el signo no importa en el paso, ya que el descenso de gradiente eventualmente se encarga de eso. Pero ha pasado algún tiempo desde entonces y probablemente lo recuerde mal. ¡Gracias de nuevo por esta respuesta detallada!
El método del jefe de hogar usa un signo más, pero notará que las expresiones derivadas que involucran 1 / F resultado en el signo menos de nuevo! De nada @oliver + Ha pasado mucho tiempo desde que analicé el aprendizaje automático, pero en general querían que nos alejáramos del gradiente...

Agradezco su pregunta, porque está considerando/recuperando cosas de la forma en que lo estaba haciendo el propio Newton. Es decir con una intuición geométrica, considerando (como aquí) diferentes casos antes de establecer una regla general.

Consideremos los dos casos:

ingrese la descripción de la imagen aquí

En el caso de la izquierda, escribiendo la identidad de pendientes:

F ( X 0 ) X 0 X 1 = F ( X 0 )     X 1 = X 0 F ( X 0 ) F ( X 0 )   (caso habitual)

En la figura de la derecha, su pauta debe ser mantener un razonamiento sobre cantidades positivas ; como, en este caso, la pendiente F ( X ) es negativa, debes escribir la identidad entre las pendientes de esta forma:

F ( X 0 ) X 1 X 0 = F ( X 0 )     X 1 = X 0 F ( X 0 ) F ( X 0 )   es decir, el "Newton" derecho de nuevo

(el signo negativo delante de F ( X 0 ) invierte el signo negativo de F ( X 0 ) para obtener una cantidad positiva).

Observación:

Me acabo de dar cuenta de que mi explicación está conectada a la segunda explicación en la interesante respuesta de @FShrike; en particular, necesitaríamos de hecho considerar otros 2 casos particulares relacionados con el F ( X 0 ) < 0 casos, que también se considera en la respuesta de FShrike.

En conclusión, como se indica en las otras respuestas, es mejor no tener que lidiar con casos particulares y confiar en la "generalidad del álgebra" .

Gracias por esta respuesta. Sus ilustraciones son en realidad de la misma manera en que llegué a mi conclusión incorrecta, estaba pensando que la pendiente es negativa, pero asumí erróneamente que "-" es parte de la derivada, junto con la respuesta de FShrikes, esto me ayudó a comprender mi error aún mejor. ¡Te lo agradezco!