Herramienta para consolidar datos en varios discos duros y enumerar las diferencias entre conjuntos de archivos

Tengo varios discos duros que he usado a lo largo de los años para hacer copias de seguridad de mis datos. Cada uno tiene una estructura de carpetas y un conjunto de archivos diferentes. Ahora tengo un NAS enorme en el que quiero consolidar todos mis datos. He creado una nueva estructura de carpetas en el NAS y he movido la mayoría de mis datos.

¿Alguien sabe de una herramienta que pueda indexar mi NAS y luego comparar cualquier otro disco duro, carpeta u otro medio y enumerar qué carpetas/archivos no están en el NAS?

Creo que podría escribir un script que md5/sha1 cada archivo en el NAS y poner esos datos en una base de datos. Luego, el script podría comparar usando esos hash y enumerar las diferencias. Espero una mejor solución si existe.

¿Te importa usar github/compartir tu script? Tengo alrededor de 20 TB de fotos, etc. y había pensado en una solución similar manteniendo todos los nombres y fechas de los archivos en un archivo de texto como referencia o incluyéndolos en los metadatos de cada archivo. En un momento, imaginé que sería posible usar la función de carga automática de Dropbox para consolidar datos, ya que no carga fotos que ya ha cargado, pero necesita algunos TB en su computadora para transferir cada unidad para DP. Además, su sistema se ralentiza más allá de los archivos de 300k.

Respuestas (2)

Para cerrar esta pregunta, realmente no encontré nada por ahí.

Terminé escribiendo un script de python que leía todos los archivos en el disco y guardaba un hash MD5 de cada uno en una base de datos.

Luego creé otra secuencia de comandos que leería el contenido de la unidad para comparar y buscar el MD5 en la base de datos para ver si el archivo ya existía. No es perfecto, pero funcionó.

Es posible transferir fotos, digamos, en fragmentos de 20 a 100 GB a la vez a una tarjeta SD o una tarjeta flash USB y usar el cargador de Dropbox para escanear la memoria USB y cargar solo los archivos nuevos automáticamente a Dropbox. Una vez que los archivos únicos se cargan en Dropbox, es posible descargarlos todos en un disco duro nuevo. Incluso si no usa Dropbox regularmente, puede usarlos durante unos días o semanas solo para hacer el trabajo. También es posible escribir scripts en Unix Shell, Ruby, PHP o Python para crear una base de datos y transferir los archivos únicos que parece haber hecho. La solución de Dropbox es para el profano. Espero que esto ayude a otros.