Matemáticamente, ¿cuál es el núcleo en la integral de trayectoria?

Para un sistema cuántico dado, el núcleo de la integral de trayectoria es, de hecho, el núcleo de una transformada integral como lo escribes explícitamente. Es la transformada que gobierna la evolución temporal del sistema como se manifiesta en su primera ecuación. Por esta razón, a menudo se lo conoce como el propagador de un sistema dado.

Por ejemplo, para una sola partícula no relativista que se mueve en alguna parte de la línea real con un hamiltoniano constante (y, por lo tanto, una evolución unitaria), el operador kernel y unitario de evolución temporal se relacionan de la siguiente manera:

$$\begin{align} K(x,t; x', t') = \langle x|U(t,t')|x'\rangle. \end{align}$$ Los kernels para distintos sistemas cuánticos serán, en general, diferentes, porque estos sistemas tienen diferentes hamiltonianos y, por lo tanto, diferentes comportamientos bajo la evolución del tiempo. Contraste esto con, por ejemplo, las transformadas de Fourier y Laplace cuyos núcleos son siempre los mismos (salvo convenciones molestas, por supuesto).

Por ejemplo, el núcleo de una partícula no relativista masiva libre que se mueve en la línea real es

$$\begin{align} K(x_b t_b; x_a, t_a) = \left[\frac{2\pi i\hbar(t_b-t_a)}{m}\right]^{-1/2}\exp\frac{im(x_b-x_a)^2}{2\hbar(t_b-t_a)} \end{align}$$ y podría buscar los núcleos de varios otros sistemas (como el oscilador armónico).

El punto principal. Hay una "transformada de Feynman" diferente, como usted dice, para cada sistema cuántico. Es por eso que no encontrará solo uno en una tabla de transformaciones matemáticas con ese nombre. Sin embargo, esto plantea otra pregunta interesante: ¿hay una tabla de núcleos conocidos para varios sistemas cuánticos en alguna parte? ¡Me interesaría conocerme a mí mismo!

Más sobre núcleos específicos y algunas generalizaciones aquí: http://en.wikipedia.org/wiki/Propagator