¿Existe una definición de entropía relativa de Renyi?

Normalmente$H(X|Y)$significa entropía condicional. En este caso, no creo que haya una definición generalmente aceptada de la contraparte de Renyi. Sin embargo, hay una tesis de maestría reciente que enumera algunas posibilidades, incluida una nueva propuesta del autor, que parece bastante razonable: http://web.math.leidenuniv.nl/scripties/MasterBerens.pdf

Si realmente quiere decir "entropía relativa de Renyi", entonces la divergencia que encontró es la respuesta correcta.

Relación entre entropía relativa y entropía condicional:

Tenga en cuenta que la divergencia Kullback-Leibler$D_{KL}(P||Q)=D_1(P||Q)$(también conocido como entropía relativa) es una medida de cómo dos distribuciones de probabilidad son similares. En términos generales, es igual a cero cuando dos distribuciones de probabilidad son iguales ($P=Q$). No incluye ninguna información sobre cómo se relacionan dos variables aleatorias. Si hablamos de medida de probabilidad discreta podemos pensar en$P$y$Q$como vectores. En ese caso, ambos deberían tener el mismo tamaño si se quiere calcular la divergencia KL.

Por el contrario, la entropía condicional$H(X|Y)$es una medida de cómo se relacionan dos variables aleatorias. Uno tiene que definir la probabilidad conjunta sobre estas dos variables aleatorias para poder calcular la entropía condicional. Es igual a cero cuando el conocimiento de$Y$determina el valor de$X$completamente. Además, estas dos variables aleatorias pueden tener diferente número de valores posibles.