Solución de archivo de video

Nunca he hecho exactamente lo que estás tratando de hacer, pero creo que sé cómo podría hacerlo. Con suerte, esta respuesta es útil, o al menos inicia una discusión de personas que tienen una experiencia más concreta.

Uno de los factores importantes en su elección será comprar algo que alguien sepa cómo administrar. Creo que estaría bien con un dispositivo de servidor de archivos de productos básicos, donde lo administra a través de una interfaz web o algo así, y simplemente conecta discos duros + ethernet + alimentación, y lo configura para enviarle un correo electrónico cuando muere un disco.

Si usa una PC normal, ejecuta Linux (con el excelente software RAID de Linux) y samba y/o NFS para compartir los archivos, puede meter fácilmente 6 discos duros. Con cualquier tarjeta PCIe SATA barata, puede agregar otra sin embargo muchos. Su servidor también tendrá mucho tiempo de CPU de sobra, por lo que puede hacer que codifique video o algo si lo desea. O simplemente vaya realmente barato en la CPU. (Sin embargo, no use una memoria RAM lenta. La copia y la suma de verificación de los datos pueden provocar un cuello de botella en el ancho de banda de la memoria).

RAID6 requiere más CPU, ya que la información de paridad tiene que usar aritmética de módulo elegante, en lugar de solo XOR, pero nuevamente, con gigE como su cuello de botella, y donde no necesita que la máquina tenga mucho tiempo de CPU para cualquier otra cosa, está bien. No necesita una tarjeta RAID costosa, ya que el costo por TB es más importante para usted que quizás el 10% de la velocidad. Las tarjetas RAID a menudo vienen con software para monitorearlas y enviar correos electrónicos cuando es necesario reemplazar una unidad. smartd de smartmontools y/o mdadm también pueden enviar correos electrónicos, si los configura para hacerlo.

gigabit ethernet va a ser, con diferencia, el mayor cuello de botella (100 MB/s). Si obtiene un servidor con varios puertos gige, puede unirlos (múltiples cables conectados al mismo conmutador), de modo que varios clientes a la vez puedan leer y escribir 100 MB/s.

Dado que la mayoría de las veces va a usar esto sobre gigE, y para video (archivos grandes leídos y escritos secuencialmente), algo como los discos duros WD Green sería lo más apropiado. La potencia máxima y de inactividad más baja significa que puede empaquetar más fácilmente una gran cantidad de HD en un estuche sin sobrecalentarse. Tendrá que comprar estuches que puedan contener una gran cantidad de HD, preferiblemente accesibles desde el frente para el intercambio en caliente. Tal vez una caja de servidor de montaje en rack, especialmente. si ya tienes un estante. Nunca he investigado casos de botes llenos de HD, por lo que probablemente hay cosas que me faltan aquí.

Creo que hay chasis externos (con su propia PS) para contener HD adicionales, y es posible que incluso tengan multiplicadores de puertos SATA. Si es así, es posible que pueda conectarlo todo a los puertos SATA integrados de su placa base, ya que tendría 4 o más discos duros en cada uno de los 6 conectores SATA de su placa base. No estoy seguro de cómo funcionan las cosas, así que mejor lee. (incluso las lecturas secuenciales en las unidades actuales no usan el ancho de banda completo de 6 Gb/s SATA, por lo que la interfaz sería un cuello de botella con 3 o más unidades en un solo puerto SATA. Pero gigE es un cuello de botella mayor. Y de todos modos, 6 mobo todos los puertos sata funcionando a toda velocidad serían increíblemente rápidos).

editar: aparentemente no todos los controladores SATA admiten multiplicadores de puerto . por ejemplo, un http://www.newegg.ca/Product/Product.aspx?Item=N82E16817182280 que estaba mirando para mi propio uso tiene una respuesta del fabricante de que los puertos mobo SATA a menudo no admiten multiplicadores de puertos.

editar : Las recomendaciones de FreeNAS HW aconsejan precaución con los multiplicadores de puertos SATA. Aparentemente pueden comerse tus datos. Esa guía de FreeNAS es exactamente lo que debe consultar para obtener información específica sobre el hardware. (Pero si no usa ZFS, entonces toneladas de RAM no son muy importantes. Linux en lugar de FreeBSD probablemente también tendrá una compatibilidad de hardware algo mejor. La administración remota de IPMI será muy valiosa si algo sale mal, aparte de la falla del HW del disco. O incluso entonces, para determinar qué disco falla).

En cuanto a los detalles de la configuración de RAID, sí, sugeriría que RAID5 es probablemente una buena apuesta. Si puede permitirse el lujo de tener al menos una segunda copia de sus datos en algún lugar, como respaldo, entonces no necesita ser demasiado paranoico acerca de la confiabilidad del archivo principal o del respaldo. Si no, entonces probablemente deberías ir a RAID6.

Incluso RAID6 sigue sin ser de ayuda si alguien elimina o sobrescribe accidentalmente el directorio incorrecto en el servidor compartido, o si una falla de la CPU o la RAM conduce a la corrupción del sistema de archivos. RAID solo lo ayuda a leer los datos que se escribieron. Si otros errores conducen a que se escriban datos incorrectos, está en problemas.

ZFS podría ser una buena opción, para una suma de verificación adicional para detectar corrupción. Puede configurarlo para proporcionar niveles de redundancia RAID5 (RAID-Z) o RAID6 (z2). Linux BTRFS hace básicamente lo mismo que ZFS, pero su RAID5/6 incorporado aún no está maduro.

Si termina usando más de 16 unidades, es posible que desee pensar en dividirlas en 2 matrices RAID5 o RAID6 más pequeñas.

Las copias de seguridad fuera del sitio, actualizadas al menos semanalmente desde su servidor de almacenamiento principal, son una muy buena idea. Para este caso especial de copia de seguridad de video, tal vez use el tiempo de CPU en su NAS para transcodificar sus videos a tasas de bits más bajas para la copia de seguridad fuera del sitio, de modo que no necesite tanto espacio fuera del sitio. Luego, si lo pierde todo, tiene todo lo que pueda extraer de las estaciones de trabajo de las personas que hayan copiado allí, además de los videos de menor calidad de su copia de seguridad externa. Ojalá nunca tengas que usarlo.

Ah, otra idea. Los costos de tener tanto almacenamiento disponible en línea todo el tiempo son un factor (tener que comprar un servidor). Posiblemente útil para usar discos duros externos como una segunda copia. O incluso discos duros "internos" que coloca en una estación de conexión. (Parece una tostadora, pero acepta HD SATA en lugar de pan). Inserte HD, sincronice algunos datos en el disco, llévelo a casa para mantenerlo seguro. Luego, si tu estudio se quema, alguien tiene los datos en casa. Esto podría ser más fácil que encontrar un lugar fuera del sitio para colocar un servidor de respaldo para su archivo.

O simplemente pague por las copias de seguridad en la nube de su archivo. En realidad, eso podría tener más sentido, si su conexión a Internet puede manejarlo. (también podría usar la idea de copia de seguridad fuera del sitio con una tasa de bits más baja con copias de seguridad en la nube).

Todo esto es bastante teórico, ya que mi trabajo como administrador de sistemas para algunos pequeños clústeres de beowulf de Linux fue hace varios años.

De todos modos, recuerda que alguien tendrá que administrar esto. Ser el administrador probablemente no signifique horas a la semana cuidándolo, pero necesita a alguien que entienda la configuración y sepa qué hacer si hay un problema. Cambiar una unidad generalmente requiere tocar la interfaz de usuario de administración, no solo cambiar físicamente el hardware.

Tenga un disco duro de repuesto listo para reemplazar uno defectuoso, de modo que sus datos no queden desprotegidos por mucho tiempo. Probablemente desee enviar un correo electrónico sobre una unidad defectuosa a varias personas, de modo que cualquiera que esté cerca pueda reemplazar una unidad defectuosa con la de repuesto. (Si tiene la unidad en la PC o dispositivo NAS, entonces es un repuesto dinámico y se puede usar automáticamente).