Tratando de entender las ecuaciones en el artículo de Karl Friston

Estoy tratando de entender un artículo de neurociencia de Karl Friston. En él da tres ecuaciones que son, según tengo entendido, equivalentes o interconvertibles y se refieren tanto a la entropía física como a la de Shannon. Aparecen como ecuación (5) en este artículo (PDF ; DOI 10.1007/s00422-010-0364-z). Aquí están:

  • Energía menos entropía: F = en pag ( s ~ , Ψ | metro ) q + en q ( Ψ | m ) q
  • Divergencia más sorpresa: = D ( q ( Ψ | m ) | | pag ( Ψ | s ~ , metro ) ) en pag ( s ~ | metro )
  • Complejidad menos precisión: = D ( q ( Ψ | m ) | | pag ( Ψ | metro ) ) en pag ( s ~ | Ψ , metro ) q

Las cosas con las que estoy luchando en este momento son:

  1. el significado de || en la segunda y tercera versiones de las ecuaciones
  2. los registros negativos

Cualquier ayuda para comprender cómo estas ecuaciones son realmente lo que Fristen afirma que son sería muy apreciada. Por ejemplo, en la 1ra ecuación, ¿en qué sentido es energía el primer término, etc.?

+1 por estar también confundido por gran parte de la escritura de Fristen.

Respuestas (2)

Como se menciona en la sección de definiciones en la página 2 del documento, D ( q | | pag ) =< yo norte ( q / pag ) > q es la divergencia de Kullback-Leibler o entropía cruzada entre dos densidades.

La razón de los logaritmos negativos es que es la convención cuando se habla de entropía en el contexto de la teoría de la información. Esto permite combinar la información de forma aditiva. ( https://en.wikipedia.org/wiki/Entropy_(information_theory)#Rationale )

Tomé este artículo como resultado de esta pregunta y planeo dar una explicación más completa de las ecuaciones pronto.
¡Estupendo! Espero ansiosamente su opinión sobre lo que dice Friston aquí. Encuentro su trabajo muy interesante, pero debido a mi falta de habilidades matemáticas, no puedo captar los detalles y no sé cómo evaluarlo.
  1. En física, exponencial de energía negativa es a menudo probabilidad (por ejemplo, en modelos de máxima entropía).
  2. || es una notación utilizada en divergencias (o teoría de la información) donde el orden es importante. Es decir D ( A | | B ) D ( B | | A ) como en KL divergencia