Entendiendo la interacción entre dos quarks

Sí, se llama cromodinámica cuántica (QCD). Los gluones que mencionaste son los portadores de esta fuerza y ​​es responsable de hacer que los quarks en un protón se mantengan unidos.

Sí, lo que buscas es la fuerza fuerte, mediada por gluones. Ahora, una de las principales diferencias entre la fuerza EM y la fuerza fuerte es que, en el caso de la fuerza fuerte, incluso el mediador, el gluón está cargado, los gluones también pueden tener carga de color.

Esto complica todo el cuadro de los nucleones, dentro de los quarks, antiquarks, gluones crean un mar y en este mar los innumerables quarks, antiquarks y gluones interactúan constantemente entre sí, se crean, se aniquilan. La imagen que ves de los nucleones que tienen solo en tu caso dos quarks arriba y uno abajo es solo la red de las interacciones, y se llaman quarks de valencia.

Esta debería ser una imagen más cercana a la realidad, y así es como podrías imaginar un protón.

Ahora está preguntando si los quarks pueden atraerse y repelerse entre sí, y la respuesta es sí, pero es más sutil que eso, porque la fuerza del color está mediada por gluones cargados, donde los gluones también pueden interactuar con otros gluones, y al contrario. Para la fuerza EM, la carga de color tiene tres atributos (no solo atraer y repeler como en la fuerza EM), y estos hacen que la fuerza fuerte actúe de manera diferente entre los quarks.

Solo si observa la imagen completa del protón, el mar de quarks, antiquarks y gluones, verá que el efecto neto es que la fuerza fuerte mantiene unidas a las partículas.

Entonces, es muy difícil decir simplemente que dos quarks se atraerían o se repelerían, porque la interacción fuerte no es tan simple como la EM. Solo cuando observa el protón completo en su caso, puede ver que el efecto que vemos en los experimentos se llama confinamiento.

Es muy importante entender la diferencia entre confinamiento y simple atracción y repulsión. En el caso del confinamiento es más preciso decir que los quarks están ligados y si intentas separarlos, te darás cuenta de lo fuerte que es la fuerza del color, creando pares extra de quarks y antiquarks.

Debido a este comportamiento del campo de gluones, la fuerza intensa entre las partículas es constante independientemente de su separación.[4][5] Por lo tanto, a medida que se separan dos cargas de color, en algún momento se vuelve energéticamente favorable para que aparezca un nuevo par quark-antiquark, en lugar de extender más el tubo.

https://en.wikipedia.org/wiki/Color_confinement

De hecho, hice una pregunta sobre esto.

Lo que mantiene separados a los quarks (la fuerza fuerte atrae, pero lo que repele para igualar)

Ahora bien, hay casos especiales en los que se puede decir que ciertos tipos de quarks se repelen o atraen.

Los quarks de diferente color experimentan una fuerza de atracción entre ellos; mientras que los quarks del mismo color se repelen entre sí.

https://www.sciencedirect.com/topics/earth-and-planetary-sciences/quark