Velocidad relativa, conservación del momento

La energía cinética no tiene que ser conservada. No sabes si lo es o no hasta que calculas las velocidades finales. Las fuerzas internas (entre la bola y la pista) pueden cambiar la energía cinética. Pero si asume que KE se conserva, entonces necesita ambas ecuaciones (momento y conservación de KE) para calcular las velocidades finales. Pero tu expresión para las alturas parece incorrecta. Solo una imagen aclarará la configuración.

---

Con respecto al bloque no hay cantidad de movimiento del bloque. La cantidad de movimiento de la pelota no se conserva. Ni su KE. Entonces su segundo enfoque realmente no funciona.

Tienes casi razón con el primer enfoque. Te pierdes un aspecto que es que la bola de masa $M$probablemente estará rodando y, por lo tanto, hay una energía cinética de rotación que tiene que ver con su velocidad angular, agregando un término como $\frac15 M (v_1 -v_2)^2$más o menos. ¿Ayudaría imaginar algo más parecido a un coche de carreras de juguete en una pista de carreras?

El segundo enfoque tiene que estar equivocado. Toma el primer enfoque y lo pone en un marco de referencia que se mueve con velocidad $v_2$, definiendo $v=v_1-v_2$. Ese aspecto está realmente bien, pero debes tener cuidado con este marco de referencia porque estás diciendo que no hay energía cinética para empezar, y esa parte está mal.

En cambio, para el balance de energía que se tiene (saltando $v$por el momento para ilustrar cómo debe resultar todo),

$$Mg(r-R) +\frac12 (M+m) v_2^2 = \frac12 M (v_1-v_2)^2$$ Tenga en cuenta que después de la expansión tiene dos expresiones diferentes que deben ser iguales al mismo número $Mg(r-R)$! Esto significa que debemos tener, $$M (v_1-v_2)^2 - (M + m) v_2^2 = M v_1^2 + m v_2^2$$ resulta que esas dos expresiones no son simbólicamente iguales, por lo que esta no es una ecuación trivial $0=0$. Entonces, esta ecuación te está diciendo que los balances de energía solo funcionan entre marcos de referencia si se cumple cierto criterio. Así que déjame darte este ejercicio: si expandes esto, ¿qué obtienes? Y: supongamos que en lugar de elegir un marco de referencia que se mueva en $v_2$, ¿y si fuera solo una velocidad desconocida $u$, eso cambia algo?