No, no pueden.

Tom Riddle, un mago excepcional, no reconoció que Dumbledore era un mago cuando este último vino a su encuentro.

“¡No puedes bromear conmigo! El manicomio, de ahí es de donde eres, ¿no?
'Profesor', sí, por supuesto, bueno, no voy a ir, ¿ve? Ese gato viejo es el que debería estar en el manicomio. ¡Nunca le hice nada a la pequeña Amy Benson o a Dennis Bishop, y puedes preguntarles, te lo dirán!
"No soy del asilo", dijo Dumbledore pacientemente. “Soy profesor y, si te sientas con calma, te contaré sobre Hogwarts. Por supuesto, si prefieres no venir a la escuela, nadie te obligará…”
[........]
“¿Tú también eres un mago?”
"Sí, lo soy."
"Pruébalo", dijo Riddle de inmediato, en el mismo tono autoritario que había usado cuando dijo: "Di la verdad".
_{Harry Potter y el Príncipe Mestizo}

Eso implica que los magos no pueden reconocer a los magos con solo mirarlos o sentir algún tipo de aura o algo así. Sin embargo, pueden detectar si un lugar ha conocido magia o no, como lo hizo Dumbledore en esa cueva en el príncipe mestizo.

Por supuesto, Tom no era un mago entrenado en ese momento, así que considere estos ejemplos. Los rumores sobre Ariana Dumbledore, por ejemplo. Era una bruja, pero corrían rumores de que era una squib (y sí, una vecina, Bathilda Bagshot, creo, la vio).

Los familiares de Neville también pensaron que era un squib antes de que accidentalmente hiciera un poco de magia.

Mi tío abuelo Algie seguía tratando de tomarme con la guardia baja y obligarme a salir un poco de magia (una vez me empujó desde el final del muelle de Blackpool, casi me ahogo), pero no pasó nada hasta que cumplí los ocho años. El tío abuelo Algie vino a tomar el té y me estaba colgando por los tobillos de una ventana del piso de arriba cuando mi tía abuela Enid le ofreció un merengue y accidentalmente lo soltó. Pero reboté, todo el camino por el jardín hasta la carretera. Todos estaban muy contentos. Gran estaba llorando, estaba tan feliz. Y deberías haber visto sus rostros cuando llegué aquí, pensaron que podría no ser lo suficientemente mágico para venir, ya ves. El tío abuelo Algie estaba tan contento que me compró mi sapo.
_{Harry Potter y la Piedra Filosofal}

Estos errores fueron cometidos por magos calificados y completamente desarrollados. Si pudieran darse cuenta con solo mirar a la otra persona, seguramente estos errores no habrían ocurrido.

Algunos otros ejemplos:

1. El fracaso de Harry al determinar que Arabella Figg era un squib.
2. El fracaso de Harry y aparentemente de otros estudiantes al determinar que Filch también era un squib.

3. Como lo menciona Harry Johnston y cito:

   En Las Reliquias de la Muerte, Harry, Ron y Hermione no identificaron a los Mortífagos en la cafetería como magos hasta que sacaron sus varitas. (Pero no les estaban prestando atención, lo que podría marcar la diferencia).

No parece que los magos puedan "sentir" a un mago de un muggle.

Los magos no parecen tener una habilidad natural para "sentir" si alguien es un mago o un muggle. Se les ocurrieron signos intencionales, como vestirse de morado y verde, para indicar a sus compañeros magos que ellos también son mágicos. Si pudieran de alguna manera 'sentir' la habilidad mágica en otros magos, no tendrían necesidad de estos métodos de 'señalar' a otros magos.

Pero por ciertos hechizos, señales o criaturas mágicas, podrían.

Sin embargo, pueden resolverlo. Si bien la ausencia o presencia de magia no es algo que los magos puedan sentir, sí es detectable de ciertas maneras.

Hechizos:

Lanzar un Encantamiento repelente de muggles en un área por la que tienen que pasar (como una puerta, por ejemplo) podría funcionar, ya que si son magos no los afectará, pero si son muggles, de repente recuerda una razón por la que necesitan irse y se irán.

“Encantamientos repelentes de muggles en cada centímetro. Cada vez que los muggles han llegado a algún lugar cerca de aquí durante todo el año, de repente han recordado citas urgentes y han tenido que salir corriendo de nuevo..."
_{^{- Harry Potter y el cáliz de fuego, capítulo 8 (La Copa Mundial de Quidditch)}}

El encantamiento en Hogwarts puede hacer que Hogwarts parezca una ruina para los muggles, por lo que puede "decir".

"Está embrujado", dijo Hermione. 'Si un muggle lo mira, todo lo que ve es una ruina vieja y desmoronada con un cartel sobre la entrada que dice PELIGRO, NO ENTRAR, NO SEGURO.
_{^{- Harry Potter y el Cáliz de Fuego, Capítulo 11 (A bordo del Expreso de Hogwarts)}}

Esto también significa que es posible que los hechizos marquen la diferencia entre magos y muggles, por lo que algunos magos emprendedores (como Fred y George quizás) podrían inventar un detector de muggles.

Objetos encantados:

A partir de un escrito de Pottermore, la pluma y el libro que eligen quién será invitado a Hogwarts pueden notar la diferencia entre magos, muggles y squibs, que son algo entre muggles y magos.

Los pocos que han observado el proceso (varios directores y directoras han disfrutado pasando horas tranquilas en el Libro y la torre de Quill, con la esperanza de atraparlos en acción) están de acuerdo en que Quill podría considerarse más indulgente que el Libro. Una mera bocanada de magia es suficiente para la pluma. El Libro, sin embargo, a menudo se cerrará de golpe, negándose a que se escriba sobre él hasta que reciba suficiente evidencia dramática de habilidad mágica.
_{^{* - La Pluma de Aceptación y El Libro de Admisión (Pottermore) *}}

Es posible que otros objetos encantados también puedan detectar la diferencia.

Criaturas mágicas:

Hay algunas criaturas mágicas que pueden diferenciar entre magos y muggles. En algunos casos, los magos pueden usar el conocimiento de estas criaturas para su propio beneficio. Los crups probablemente fueron criados por magos para este propósito exacto, y se pueden tener como mascotas, por lo que los magos podrían obtener su propio Crup para usarlo como detector muggle una vez que puedan controlarlo.

“Crup es casi seguro que es un perro creado por un mago, ya que es intensamente leal a los magos y feroz con los muggles. Es un gran carroñero, come cualquier cosa, desde gnomos hasta neumáticos viejos. Las licencias de Crup se pueden obtener del Departamento de Regulación y Control de Criaturas Mágicas al completar una prueba simple para demostrar que el mago solicitante es capaz de controlar el Crup en áreas habitadas por muggles.
_{^{- Bestias fantásticas y dónde encontrarlas}}

Nagini de alguna manera pudo detectar que Frank Bryce era un muggle.

“Ciertamente, sí,” dijo la voz. "Según Nagini, hay un viejo muggle parado justo afuera de esta habitación, escuchando cada palabra que decimos".
_{^{- Harry Potter y el cáliz de fuego, capítulo 1 (La casa de los acertijos)}}

Puede haber otras criaturas mágicas que puedan distinguir a los magos de los muggles, pero estas están confirmadas.

Señales de comportamiento no intencionales:

Los magos y los muggles reaccionan de manera diferente a ciertas cosas. Por ejemplo, los magos entenderían términos como 'Quidditch' y los muggles no. Los muggles también reaccionarían sorprendidos o incrédulos al ver cosas "extrañas" que los magos reconocerían como el trabajo de otros magos. Harry pudo decir que un hombre era muggle por su comportamiento. En este caso, probablemente fue su reacción a las tiendas, muchas de las cuales estaban notablemente 'mejoradas', lo que sería inusual para los muggles pero normal para los magos.

“Un hombre estaba de pie en la entrada, mirando las tiendas. Harry supo de un vistazo que este era el único muggle real en varios acres.
_{^{- Harry Potter y el Cáliz de Fuego, Capítulo 7 (Bagman y Crouch)}}

Los magos observadores podrían usar estas señales para distinguir a los magos de los muggles.

Señales intencionales a otros magos:

Los signos que los magos usan intencionalmente para indicar a otros de su clase que son magos se mencionan en los escritos de Pottermore. Por ejemplo, los magos a menudo usan una combinación de púrpura y verde como pista para otros magos.

Las brujas y los magos a menudo se revelan en público al vestirse de púrpura o verde, a menudo combinados.
_{^{- Colores (Pottermore)}}

Además, las discusiones sobre el equipo de rugby escocés son otra forma en que los magos se identifican sutilmente entre sí, y este escrito establece que también hay otras formas en que los magos se han desarrollado.

Durante los casi 150 años transcurridos desde que Angus Buchanan ayudó a ganar el primer partido internacional de rugby, hablar sobre el rugby escocés se ha convertido en uno de varios identificadores encubiertos para los magos que se reúnen frente a los muggles y buscan establecer las credenciales de los demás.
_{^{- Rugby escocés (Pottermore)}}

La existencia de estos métodos en sí implica que los magos no pueden sentir instintivamente a otros magos, como si pudieran, los identificadores encubiertos serían innecesarios ya que lo sabrían instintivamente.

No, no pueden.

Una forma en que los magos determinan quién es otro mago preguntándole a otro cuál es su equipo de rugby favorito. Los magos siempre responden "Escocia", los muggles no. No creo que necesiten esta identificación encubierta si pudieran decir lo contrario.

Fuente: https://www.pottermore.com/writing-by-jk-rowling/scottish-rugby

Sí, podrían

Incluso los muggles pueden distinguir a los magos de los muggles, pero probablemente no los nombrarán magos, sino bichos raros.

"Ah - cierto - ciertamente -" dijo el Sr. Weasley. Se retiró a una corta distancia de la cabaña y le hizo señas a Harry para que se acercara. "Ayúdame, Harry", murmuró, sacando un rollo de dinero muggle de su bolsillo y comenzando a separar los billetes. "¿Este es un - un - diez? Ah, sí, ahora veo el pequeño número... ¿Así que este es un cinco?"

"Un veinte," Harry lo corrigió en voz baja, incómodamente consciente de que el Sr. Roberts intentaba captar cada palabra.

"Ah, sí, así es....No sé, estos pedacitos de papel..."

"¿Eres extranjero?" dijo el Sr. Roberts cuando el Sr. Weasley regresó con las notas correctas.

"¿Extranjero?" repitió el señor Weasley, perplejo.

"No eres el primero que ha tenido problemas con el dinero", dijo el Sr. Roberts, escudriñando al Sr. Weasley de cerca. "Tuve dos intentos y me pagaron con grandes monedas de oro del tamaño de tapacubos hace diez minutos".

"¿De verdad?" dijo el Sr. Weasley nervioso.

El Sr. Roberts rebuscó en una lata en busca de algún cambio.

"Nunca había estado tan lleno", dijo de repente, mirando hacia el campo brumoso de nuevo. "Cientos de reservas anticipadas. La gente suele aparecer..."

"¿Está bien?" dijo el Sr. Weasley, su mano extendida para su cambio, pero el Sr. Roberts no se lo dio.

"Sí", dijo pensativo. "Gente de todas partes. Montones de extranjeros. Y no solo extranjeros. Raros, ¿sabes? Hay un tipo caminando con una falda escocesa y un poncho".

— Harry Potter y el Cáliz de Fuego, Capítulo 6: El Traslador

Si compara a los muggles típicos con los magos, tendrá una gran oportunidad de distinguir a los magos como personas extrañas. La forma en que hablan (por ejemplo, "Sostén a tus hipogrifos") y se ven (especialmente cuando intentan parecerse a los muggles) los hace distinguibles de los muggles. Siempre puedes preguntarle a la persona qué hora es o cambiar algo de dinero. Probablemente tendrán algunos problemas con estas actividades simples.

Si un mago es realmente bueno fingiendo ser un muggle, puedes usar Legeremancia y ver a través de ellos. Los muggles no tendrán poder para ocultar sus pensamientos. Solo los maestros de Oclumancia podrán darte pensamientos falsos. Entonces, si alguien bloquea su mente, probablemente sea un mago.

"La mente no es un libro, para ser abierto a voluntad y examinado en el ocio. Los pensamientos no están grabados en el interior de los cráneos, para ser examinados por cualquier invasor. La mente es una cosa compleja y de muchas capas, Potter. O al menos al menos la mayoría de las mentes lo son... Sin embargo, es cierto que aquellos que han dominado la Legeremancia son capaces, bajo ciertas condiciones, de profundizar en las mentes de sus víctimas e interpretar sus hallazgos correctamente".

— Harry Potter y la Orden del Fénix, Capítulo 24: Oclumancia