¿Cómo puede Ollivander decir que una varita ha cambiado de lealtad?

En este caso, parece más como si Ollivander estuviera sumando dos y dos.

Recuerda cada varita que ha vendido:

El Sr. Ollivander fijó en Harry su pálida mirada.
“Recuerdo cada varita que he vendido, Sr. Potter. Cada varita.
^{-Harry Potter y la Piedra Filosofal, Capítulo Cinco (Callejón Diagon).}

Y claramente debe recordar las varitas de Draco y Bella.

Ahora, al verlos en posesión de Harry, claramente supone que fueron tomados de sus dueños anteriores y, de hecho, pueden haber pasado su lealtad a Harry y compañía.

La siguiente parte de la cita que tiene en su pregunta explica esto:

Esta era la varita de Draco Malfoy.
"¿Era?" repitió Harry. "¿No es todavía suyo?"
"Talvez no. Si lo tomaste… —
… lo hice…
—… entonces puede ser tuyo. Por supuesto, la forma de tomar los asuntos. Mucho también depende de la varita misma. Sin embargo, en general, donde se ha ganado una varita, su lealtad cambiará.
^{-Harry Potter y las Reliquias de la Muerte, Capítulo Veinticuatro (El fabricante de varitas).}

Presumiblemente, fue similar a la forma en que Dumbledore encontró la entrada a la cueva en la que se encontraba el horrocrux del relicario de Riddle:

Dumbledore caminó dos veces alrededor de la cueva, tocando la mayor parte de la roca áspera que pudo, deteniéndose ocasionalmente, pasando los dedos hacia adelante y hacia atrás sobre un punto en particular, hasta que finalmente se detuvo, su mano presionada contra la pared. "Aquí", dijo. Seguimos por aquí. La entrada está oculta. Harry no preguntó cómo lo sabía Dumbledore. Nunca había visto a un mago resolver las cosas de esta manera, simplemente mirando y tocando; pero Harry había aprendido hacía mucho tiempo que los golpes y el humo eran más a menudo señales de ineptitud que de pericia.

-Harry Potter y el misterio del príncipe, capítulo 26 (La cueva)

Aunque no se menciona ninguna técnica específica, este pasaje indica que es posible sentir y examinar hechizos y encantamientos mágicos sin lanzarlos tú mismo, o al menos sin que lo parezca. Ollivander probablemente pudo usar técnicas similares para determinar la marca, la composición y la lealtad de una varita simplemente manipulándola.

Probablemente hizo una suposición educada.

Ollivander recuerda cada varita que ha vendido, desde la longitud hasta el centro, incluida la lealtad de la varita (según la flexibilidad). También dice:

"Si se lo quitaste, puede ser tuyo".

Parece que solo está adivinando, basado en los materiales de la varita de Draco.

Esto se demuestra porque Ollivander describe la varita de Draco como "razonablemente elástica". De acuerdo con la característica del mundo mágico de JKR sobre longitud y flexibilidad ( ver aquí )

"La flexibilidad o rigidez de la varita denota el grado de adaptabilidad y disposición al cambio".

Como su varita es razonablemente elástica, esto significa que es probable que cambie de manos mejor que una varita que es más inflexible. Lo más probable es que por la flexibilidad de la varita de Draco, Ollivander concluya que la varita ha cambiado de manos de Draco a Harry.

Lejos de este ejemplo, como respuesta general, el Sr. Ollivander probablemente haga una conjetura basada en los materiales de la varita, específicamente la flexibilidad, para averiguar quién es el verdadero dueño de la varita, si su lealtad está en duda.