Solicitar permiso a una empresa para utilizar los datos del sitio web con fines de investigación

Soy un investigador y quiero raspar un sitio web (específicamente, TripAdvisor) para recopilar datos a fin de usarlos para un proyecto de investigación. Sin embargo, al leer los términos y condiciones del sitio web , descubrí que la empresa prohíbe al usuario:

... copiar cualquier contenido o información de este sitio web utilizando cualquier robot, araña, raspador u otro medio automatizado o cualquier proceso manual para cualquier propósito sin nuestro permiso expreso por escrito.

-- Actividades prohibidas, viñeta (ii)

Como tal, quiero contactar a la compañía para pedir permiso. He tenido dificultades para encontrar información sobre cómo contactar a la empresa para solicitar permiso para usar los datos. Dicho esto, mi pregunta es, al hacer este tipo de solicitudes a las empresas, ¿cuál es la mejor manera de asegurarme de que me estoy comunicando con el departamento/la persona adecuada?

¿Empezaste con su información de contacto? tripadvisor.com/PressCenter-c6-About_Us.html
Solo encontré su dirección de correo físico. Necesito su correo electrónico.
Su número de teléfono está debajo de su dirección postal. Llámalos y pregunta con quién debes hablar. Tengo suerte al comenzar la conservación con "Tengo una pregunta extraña".
Bueno. Dejaré esta opción como última alternativa. Gracias
Esto es demasiado localizado y no está en el tema. En el mejor de los casos, podría editar para decir "cómo acercarse a los agregadores en línea para usar sus datos para la investigación", pero sospecho que esa pregunta solo tendría respuestas que no lo ayudarían ("encuentre el correo electrónico y envíeles un correo electrónico"). FYI tripadvisor tiene un sitio web completo del centro de ayuda donde probablemente se inviertan mejor sus esfuerzos.
He intentado hacer la pregunta más general, pero es posible que necesite algunos ajustes adicionales (o puede que no sea una buena opción para este sitio).
De acuerdo. Gracias a todos por su ayuda. Muy interesante.
También puede intentar usar LinkedIn un poco. Si al menos puede averiguar el nombre del departamento que suena realista para este tipo de solicitud, es posible que tenga una mejor oportunidad.
Siempre pensé que el uso de datos podría ser beneficioso para ambas partes. Al utilizar Tripadvisor como conjunto de datos de referencia, creo que la empresa ganará más visibilidad en el campo de los científicos como referencia en el conjunto de datos de referencia. Y con respecto a "Suena realista", diría que vengo aquí solo para encontrar ayuda para recibir correos electrónicos, y no para convencer a nadie de que me ayude;)
@Superbest: realicé algunas ediciones para que la pregunta sea más general. Creo que aquí hay una buena pregunta que probablemente sea relevante para algunas investigaciones que esperan obtener datos de sitios web públicos con condiciones de servicio igualmente restrictivas.
@MOHBOB: "Solo encontré su dirección de correo físico. Necesito su correo electrónico". - ¿bien por qué? ¿Por qué no simplemente enviar una carta (sí, en papel)? Borrar un correo electrónico sigue siendo un poco más fácil de hacer que "borrar" una carta física.
Y, solo en aras de la exhaustividad, aquí hay un hilo del foro en tripadvisor.com donde otro investigador quería obtener acceso a algunos datos en abril de 2016.
Gracias por tu ayuda @ORMapper. Vivo en un país donde una carta a USA corre el riesgo de tardar meses en llegar. Ojalá pudiera enviar simplemente una carta :)
@MOHBOB: ¿Tal vez eso solo se aplica a las cartas "normales" y hay servicios prioritarios que pueden reducir ese tiempo a una o dos semanas? Además, ¿no hay ningún servicio de correo virtual a físico basado en la web que le permita cargar un archivo en línea y luego imprimirlo y enviarlo físicamente desde los EE. UU.?
@ORMapper:Gracias por su idea. Efectivamente podría ser una solución. Lo pensare.

Respuestas (3)

En primer lugar, reconozca que probablemente colocaron ese ToS allí por algunas o todas las siguientes razones:

  1. Quieren una base legal para demandar a alguien que intente robar cosas de su sitio.
  2. Quieren una base legal para demandar a un programador idiota que derriba su sitio debido a un bot mal programado que escribió "para un proyecto".
  3. Su abogado les dijo que pusieran estos ToS porque los vio en otro sitio grande y pensó que se veían bien allí.
  4. ...?

Es probable que caigas en la segunda categoría (y tal vez en la cuarta, no sé de qué otras cosas se están protegiendo). En esa medida, debes convencerlos de que no eres un idiota que se volverá loco en sus servidores. Si está alineado con una universidad conocida, tal vez tenga más suerte, pero aun así será difícil... esta es una empresa con fines de lucro, no una institución de investigación. Incluso si puedes convencerlos de que no eres un completo idiota, todavía tienen muy pocas razones para querer otorgarte este permiso. Su proyecto favorito no les reportará nada y, de hecho, puede demostrar algo malo acerca de su sitio que no quieren que sea público. El argumento de "compartiré mis hallazgos" realmente no va muy lejos... las empresas tienen sus propios intereses, regidos por muchas cosas, incluyendo política, agendas, egos y lo que sea. Su presentación de PowerPoint que se puede hacer en uno o dos años y que probablemente será demasiado técnica para que un vicepresidente de negocios la entienda de todos modos no les dará ningún valor comercial.

El objetivo de todas las palabras anteriores es simplemente convencerlo de que tiene una batalla bastante cuesta arriba aquí.

Dicho todo esto, comenzaría a llamar a todos los números de "contacto" que tenga en mis manos. Definitivamente comience con los números en la página "Contáctenos". ¡No tenga miedo de enviar una carta escrita! Para las llamadas telefónicas, me gusta la frase que usó Jack St Claire en su comentario: "Tengo una pregunta extraña".

El éxito es fácil de determinar. Revise su correo... ¿tiene una carta (escrita o electrónica) del equipo legal de TripAdvisor que le permita realizar la investigación? Si no, entonces no has tenido éxito todavía. ¡Sigue intentándolo! La perseverancia será clave aquí.

"pero incluso entonces será una exageración": si bien sus contraargumentos pueden ser ciertos en principio, sigo pensando que esa afirmación suena demasiado pesimista. Los proyectos de investigación que obtienen algún acceso temporal a los datos de una empresa no son una ocurrencia rara... o tal vez esa sea mi impresión, dado que soy de un campo que es más probable que simplifique el uso de los servicios de una empresa que revele cualquier detalle indeseable. . En cualquier caso, mi impresión es que la principal preocupación de las empresas es menos que un "proyecto favorito no les gane nada" (eso se compensa de alguna manera por el simple hecho de que...
... obtener otro poco de publicidad, (principalmente) gratis), sino que algunos de sus datos no están destinados al acceso público (datos de usuarios, datos de pago, ...), y que, una vez que hayan aceptado para proporcionar datos, todavía puede ser un poco difícil conseguir que algo se mueva.
Esa es exactamente mi opinión @ORMapper.
@eykanal: Trabajo en sistemas de recomendación y muy a menudo veo proyectos de investigación académica que utilizan datos de Tripadvisor. Para el argumento "no les dará ningún valor comercial", parece que Tripadvisor tiene la costumbre de dar acceso a los investigadores, pero solicita los hallazgos como contraparte. Creo que proyectos como los sistemas de recomendación podrían ser muy beneficiosos para su tipo de servicio.
@MOHBOB - Si TripAdvisor tiene una buena reputación aquí, ¡increíble! Eso es mucho a tu favor. Tanto por mi experiencia como por la de mis colegas, la mayoría de las empresas ni siquiera se molestan en darte la hora del día.
@ORMapper: después de haber trabajado en tres de esas empresas, mi experiencia es que (1) son muy conservadores en cuanto a con quién comparten sus datos, (2) tienen una visión muy negativa de los académicos y (3) su impresión es que cualquier publicidad que reciban es tan probable que sea mala como buena. Como tal, es muy poco probable que compartan datos. Algunas empresas serán diferentes, por supuesto, pero esa es mi experiencia general.
@eykanal: Gracias por compartir tu propia experiencia con nosotros. Creo que usará un conjunto de datos de archive.ics.uci.edu/ml/datasets . Creo que es más adecuado para un proyecto académico, y es gratis (solicitar cita solamente).

Sugeriría 2 cosas.

1) póngase en contacto con otros investigadores académicos que obtuvieron estos datos anteriormente (usted menciona en los comentarios que esto sucedió) y pregunte cómo lo hicieron. Esta es realmente su mejor apuesta y lo único que realmente ha funcionado para mí.

2) Use LinkedIn para averiguar quién es probable que maneje dicha solicitud. Para TA podría ser alguien en su departamento legal o en su grupo de aprendizaje automático, tal vez. Al menos puede tener una idea aquí de lo que son los departamentos. He usado este método en el pasado para obtener respuestas a mis solicitudes, aunque fueron "no".

También señalaré que una vez tuve permiso de una empresa para extraer datos y luego la empresa no me cerró, mi universidad lo hizo porque pensó que era un "hacker de China". Luego, ambos departamentos legales se involucraron y recuperaron los datos. Así que intente obtener un conjunto de datos directamente de la empresa, no un permiso para raspar.

Finalmente encuentro ayuda en ResearchGate.com. Un investigador me proporcionó algunas direcciones de correo electrónico que encontró en esta página y sugirió que enviara una solicitud por correo electrónico al director general (Steve Kaufer) solicitando permiso. Le envié una solicitud por correo electrónico y estoy esperando su respuesta. Espero que esto pueda ayudar a cualquiera en el futuro.

Dos comentarios: (1) La dirección de correo electrónico que publicaste no es necesariamente correcta (p. ej., encontré otra aquí ... sospecho que solo están siguiendo los formatos comunes de direcciones de correo electrónico) y (2) enviar un correo electrónico al director ejecutivo de una empresa de $9 mil millones. compañía que pide permiso para realizar un estudio de investigación es casi seguro un callejón sin salida. La probabilidad de que obtengas una respuesta positiva es prácticamente nula.
No estoy tratando de desanimarte, pero definitivamente tratando de alentar caminos que tengan más probabilidades de ser productivos.
Esta no es realmente la persona que quieres. Quiere a alguien como el jefe de investigación o el jefe de análisis.
Solicitar permiso a una empresa para utilizar los datos del sitio web con fines de investigación
RespuestasAquíPolítica de privacidad1y, 0v