¿Todas las estrellas individuales que podemos ver en el cielo nocturno pertenecen a la Vía Láctea?

Sí, todo lo que aparece como un punto como estrella está en la Vía Láctea. Las estrellas más cercanas fuera de la Vía Láctea se encuentran en las galaxias enanas que son satélites de la Vía Láctea, como las Nubes de Magallanes Grande y Pequeña. Estos aparecen como pequeñas manchas borrosas a simple vista, tal como lo hace Andrómeda.

La única excepción a esto que se me ocurre es cuando ocurre una supernova en una galaxia cercana. La supernova más reciente visible a simple vista fue 1987A, que ocurrió en la Gran Nube de Magallanes. Las supernovas en Andrómeda también podrían verse a simple vista como fuentes puntuales.

Todos los objetos puntuales en el cielo son varias entidades en el sistema solar (planetas, etc.) o estrellas en nuestra galaxia, con una excepción:

http://en.wikipedia.org/wiki/Omega_Centauri

Para el profano, Omega Centauri se ve como un punto y se le considera regularmente como una estrella normal. De hecho, es un cúmulo estelar extragaláctico; o, según otras opiniones, un pequeño remanente de galaxia (depende de si tiene un agujero negro central o no). Si lo apunta con un pequeño telescopio, se vuelve obvio que no es una estrella.

Aparte de eso, muy raramente, una supernova en una galaxia cercana puede volverse visible a simple vista, pero eso no dura mucho.

TLDR: En su mayor parte, sí, casi todos esos puntos de luz residen en nuestra galaxia.

Sí, pero en enero de 2015, el Hubble tomó fotos de estrellas individuales en la galaxia de Andrómeda. Pero a simple vista, no.

Sí, todas las estrellas que posiblemente puedas observar a simple vista son de nuestra propia galaxia, la Vía Láctea.

No se pueden observar estrellas individuales de otra galaxia.