Software para respaldar incrementalmente al proveedor de la nube

Estoy buscando un software para implementar copias de seguridad desde un NAS (que ejecuta una distribución de Linux estándar) a un proveedor de copias de seguridad/almacenamiento en la nube. El NAS almacena de 1 a 3 TB de documentos y archivos multimedia. En particular, necesito algo que:

  • Ejecutar en Linux (más específicamente, ya sea directamente en Debian Linux o a través de una imagen de Docker).
  • Almacenar copias de seguridad versionadas (es decir, me permite retroceder en el tiempo).
  • Guarde las copias de seguridad cifradas (y solo yo debería poder acceder a los archivos; el proveedor de almacenamiento de datos no debería poder descifrar el contenido).
  • Sincroniza eficientemente (incrementalmente) los archivos a una ubicación externa al menos una vez al día. Solo debería requerir una copia de seguridad inicial completa, y no copias de seguridad completas periódicas después de eso.
  • Transferencia de archivos comprimidos.
  • Soy flexible en cuanto a qué proveedor de nube respaldar (p. ej., S3, Google Drive, Crashplan, etc.), siempre que el costo recurrente sea bastante bajo (menos de $200/año por más de 1 TB de almacenamiento).
  • Se prefiere el código abierto, pero el software comercial también está bien.
  • Debe proporcionar una interfaz CLI (si hay una GUI, debería ser opcional)

Duplicity se acerca bastante a cumplir con estos requisitos, excepto que requiere una copia de seguridad completa periódicamente para limpiar los archivos antiguos y reducir el tamaño de las copias de seguridad y los tiempos de restauración.

Borg Backup parece que tiene mucho potencial. Desafortunadamente, el almacenamiento en la nube actualmente no es compatible de fábrica ( https://github.com/borgbackup/borg/issues/1070 ). Uno podría hacer girar una VM en algún lugar de la nube y hacer una copia de seguridad a través de, por ejemplo, NFS, pero eso se vuelve muy costoso.

Bien, entonces es posible que desee echar un vistazo a Borg Backup . Todavía no lo probé yo mismo, solo me topé con él la semana pasada. Admite cifrado, deduplicación, compresión y todo eso, por ejemplo, a través de ssh a un NAS, por lo que podría funcionar con "proveedores de nube externos".
¡Gracias! Borg Backup parece realmente interesante. Desafortunadamente, el almacenamiento en la nube actualmente no es compatible de fábrica. Podría hacer girar una VM en algún lugar y hacer una copia de seguridad a través de, por ejemplo, NFS, pero eso se vuelve muy costoso.
Si la velocidad no es un problema, muchos proveedores le permiten usar WebDAV para acceder a sus "compartidos", por lo que podría usar, por ejemplo, davfs2 para montarlos. También hay una forma de montar la nube de Amazon . No puedo ser más específico ya que no mencionaste al proveedor :)
Gran punto. Sin embargo, desconfío un poco de hacer esto, ya que la integración del soporte en la nube en las herramientas de copia de seguridad a menudo requiere cambios en la arquitectura del software/formato de copia de seguridad, que se eluden cuando se utiliza este enfoque. Además, probé los sistemas de archivos S3 FUSE en el pasado y todos los que probé sufrían problemas de rendimiento o problemas de confiabilidad. Dicho esto, no he realizado ninguna prueba con otros proveedores de almacenamiento en la nube, como Google/Amazon Drive, que podría valer la pena investigar.
@Izzy, la palabra muchos aquí es bastante exagerada :) Llámame al menos dos. Entre los grandes proveedores de la nube, solo OneDrive proporciona acceso WebDAV, ¡y su acceso es una mierda total! Intente cargar un archivo de 150 Mb a través de su WebDAV y se sentirá muy frustrado .
@Suncatcher "Llámame al menos dos.": Posteo, Mailbox.Org. Owncloud (con varios hosters), lo mismo con Nextcloud. Oh, lo siento, eso fue 4... :)
@Izzy, Posteo? ¿Buzón? Ja, ja) Dije grandes vendedores , amigo, siente la diferencia. Los que nombraste ni siquiera son nubes, sino buzones sin nombre de tercera categoría. Owncloud no es un proveedor, es un software de autohospedaje, por lo que no es un asistente.
@Suncatcher No estoy seguro de si lo que dijiste es relevante aquí, es Alex quien escribió la pregunta :) Además, ownCloud y Nextcloud tienen listas de proveedores que usan su software. Y solo di algunos ejemplos. Aparte de eso, este no es un foro de discusión ;)

Respuestas (4)

Utilice Borg (u otro programa de copia de seguridad incremental) junto con una herramienta de acceso a la nube

Considere usar una combinación de utilidades que hagan cada una una parte de lo que usted quiere, en lugar de un solo programa gigante que haría todo esto. Básicamente, podría salirse con la suya con 2 programas: la "capa de acceso a la nube" y Borg (si esto es lo que prefiere). Creo que la siguiente configuración haría (en su mayoría) lo que necesita:

Recomendación de servicio de almacenamiento en la nube

Prueba Amazon Cloud Drive. Es bastante barato (creo que alrededor de $55/año) y funciona bien para mí. Tienen una prueba de 3 meses, creo, y pagas anualmente con almacenamiento ilimitado (en la medida en que las personas almacenan 10 terabytes sin problemas). También hay varios otros servicios de almacenamiento ilimitado que son asequibles, así que consulte /r/DataHoarder en Reddit para obtener más recomendaciones.

Conexión al almacenamiento en la nube desde su computadora

rclonele permite utilizar una variedad de servicios de almacenamiento en la nube (incluido Amazon Cloud Drive) desde una única interfaz. Hay otra utilidad con características similares, acd_clique solo es compatible con Amazon Cloud Drive. Ambos admiten la administración de su almacenamiento desde la línea de comandos (cargar, descargar, enumerar archivos) y, en varios grados, como un sistema de archivos montado.

Acceder a su almacenamiento en la nube como un sistema de archivos montado

Esto puede ser bastante bueno, ya que puede explorar el contenido de su unidad en la nube como si fuera un sistema de archivos montado localmente. Ambos rcloney acd_cliadmiten el montaje basado en FUSE de la unidad en la nube en un directorio de su computadora.

  • El acceso de solo lectura funciona bastante bien, aunque acd_clies un poco más rápido ya que minimiza los viajes de ida y vuelta al servicio de la unidad en la nube, algo que rcloneno se puede hacer en este momento.
  • Existe soporte de lectura y escritura , pero es algo poco confiable debido a la naturaleza de los servicios en la nube y su implementación interna.

Si en sus pruebas, Borg (o cualquier solución de copia de seguridad incremental que elija) funciona bien con los montajes FUSE configurados para lectura y escritura, eso es genial. Si tiene algún problema con eso, tal vez su herramienta de copia de seguridad pueda exportar su copia de seguridad incremental como un archivo de almacenamiento, que luego puede cargar a través de la línea de comando rcloneo acd_cli.

Cifrado

Puede elegir cualquier número de los siguientes, pero una capa de cifrado fuerte es suficiente. Recomiendo no usar más de una capa, ya que agrega complejidad adicional en caso de que algo se rompa y/o si necesita recuperar datos (hablo por experiencia, incluso una capa es lo suficientemente dolorosa como para manejarla allí).

  • rcloneadmite agregar una capa adicional de cifrado a nivel de archivo sobre cualquier almacenamiento en la nube, con o sin cifrado de nombre de archivo. Esta puede ser la opción más simple, y es lo que he elegido personalmente por ahora.

  • acd_clipuede tener (o tener) algo como esto, pero no pude encontrar ninguna información concluyente en línea. Algunos acd_clitutoriales en línea se refieren a usarlo junto con EncFS, que una auditoría de seguridad reciente descubrió que no era seguro .

  • BorgBackup parece tener algún tipo de cifrado incorporado, pero no puedo comentar si es fuerte o no, ya que no lo he usado.

  • La capa de cifrado basada en archivos es otra opción. Si elige configurar su unidad en la nube como una montura FUSE, usarla eCryptFSencima de eso debería estar bien. Hay una pieza de software diferente llamada CryFS, pero no la he investigado en detalle. NO use encfs, como mencioné antes, se encontró que era débil.

Compresión

  • BorgBackup parece tener una opción para usar la compresión, por lo que parecería ser la opción más fácil si decide optar por eso.
  • Si elige una aplicación diferente que admite compresión, intente asegurarse de que tenga compresión 'xz' o LZMA2, ya que tienen una relación de compresión realmente buena (aunque pueden ser demasiado para máquinas realmente débiles).
  • Si elige una aplicación diferente que no admite la compresión, le recomiendo comprimir sus archivos de instantáneas de copia de seguridad en un archivo .tar.xzo .7zarchivos antes de cargarlos en la nube.

Pido disculpas si esto no satisface sus necesidades, pero hágamelo saber a través de comentarios si tiene alguna pregunta (también gracias por señalarme a Borg, puedo probarlo).

Echa un vistazo a duplicados .

Se ajusta a todas sus condiciones si no me equivoco:

  • Funciona con protocolos estándar como FTP, SSH, WebDAV, así como con servicios populares como Microsoft OneDrive, Amazon Cloud Drive y S3, Google Drive, box.com, Mega, hubiC y muchos otros.
  • El cifrado AES se realiza en su dispositivo, luego se almacenan los archivos cifrados
  • además es de código abierto (LGPL)
  • (No repetiré todas las funciones aquí, ya que están muy bien presentadas con solo un clic de distancia)

Combínelo con algunas cuentas de mega.nz (bueno, para terabytes es posible que necesite muchas) y también tendrá copias de seguridad completamente gratis.

Duplicati marca todas las casillas correctas desde la perspectiva de las funciones, pero desafortunadamente, la versión 2.0 ha estado en versión beta durante varios años y la versión estable anterior no es compatible, por lo que no parece ser una opción muy segura.

Acabo de pasar por el proceso de evaluación de varios productos de copia de seguridad con exactamente la misma lista de requisitos. Al final me decidí por Duplicacy ( código fuente ). Cubre todos los puntos que menciona y ofrece la posibilidad de eliminar las copias de seguridad más antiguas para minimizar los costos de almacenamiento. Si tiene varias máquinas, aparentemente puede realizar la desduplicación en esas máquinas si están realizando copias de seguridad en el mismo repositorio de almacenamiento. Tenga en cuenta que aunque es de código abierto, no es una licencia de código abierto estándar y requiere una licencia para uso comercial.

Terminé decidiéndome por restic , respaldando a Backblaze B2 a un costo de $5/TB/mes. Lo he estado usando durante unos meses y ha sido robusto. Cumple con los requisitos anteriores, excepto que no admite compresión (aunque esto está en discusión y es parte de su hoja de ruta v2 ). Admite la deduplicación entre hosts y, en general, me gusta su diseño, consideración y ritmo de desarrollo.

También consideré restic, pero debido a que estoy respaldando principalmente archivos de texto (servidor de correo), la falta de compresión fue un impedimento para mí.