Ecuaciones de Hamilton de la acción con condiciones de contorno que involucran posición y momento

I) En general, para una elección dada de condiciones de contorno, es importante ajustar la acción con términos de contorno/términos de divergencia total compatibles para garantizar la existencia de la derivada variacional/funcional . Como observa OP, el problema es (al derivar la expresión de Euler-Lagrange ) que el argumento habitual de integración por partes falla si las condiciones de contorno (BC) y los términos de contorno (BT) no son compatibles.

II) En concreto, para los CB mixtos

$$\tag{1} q(t_i) ~=~ q_i \qquad\text{and}\qquad p(t_f) ~=~ p_f,$$

que OP considera, necesitamos preparar la acción hamiltoniana estándar

$$\tag{2} S_0[p,q] ~=~ \int_{t_i}^{t_f} \! dt ~ \left\{ p\dot{q} -H \right\}$$

con un término de divergencia total$-\frac{d}{dt}(p_f q)$. La nueva acción se convierte en

$$\tag{3} S[p,q] ~=~ \int_{t_i}^{t_f} \! dt ~ \left\{ (p-p_f)\dot{q} -H \right\} ,$$

o lo que es lo mismo,

$$\tag{4} S[p,q] ~=~ \int_{t_i}^{t_f} \! dt ~ \left\{ \dot{p}(q_i-q) -H \right\}.$$

Es sencillo usar los BC (1) para mostrar que las acciones (3) y (4) son iguales.

III) Ahora cuando variamos la acción (3)

$$\tag{5} \delta S[p,q] ~=~ \left[ (p-p_f)\delta q\right]_{t_i}^{t_f}+ \int_{t_i}^{t_f} \! dt ~ \left\{ (\dot{q} -\frac{\partial H}{\partial p})\delta p -(\dot{p}+\frac{\partial H}{\partial q})\delta q\right\},$$

el BCs (1) cancela el término derivado total

$$\tag{6} \left[ (p-p_f)\delta q\right]_{t_i}^{t_f}~\stackrel{(1)}{=}~0,$$

de modo que la variación (5) solo contiene términos masivos. Las ecuaciones de Euler-Lagrange correspondientes se convierten en las ecuaciones de Hamilton.

IV) El ejemplo anterior se puede generalizar a otros BC. Dejamos que el lector determine los BT compatibles.