Si no desea necesariamente algo que se integre en su administrador de archivos, puede transferir archivos a través de ssh. Soy un gran admirador de cyberduck a través del protocolo sftp como cliente, pero también hay herramientas que le permiten usar un sistema de archivos conectado ssh como una unidad asignada a la red.

• Software de servidor que se ejecuta en Linux: Absolutamente, solo necesita un servidor ssh
• Software de cliente (o simplemente un protocolo) que se ejecuta tanto en OSX como en Windows: Cyberduck para un cliente estilo ftp. Varias opciones como sshfs para la integración del sistema: hablo de los clientes que he probado en el siguiente punto
• Debería tener algo así como un directorio (Dropbox -> Directorio, Red -> Dispositivo -> Directorio): no estoy completamente seguro de lo que quiere decir con eso, pero puede montar un recurso compartido de archivos ssh en muchos sistemas operativos. Tuve buena suerte con winsshfs en Windows y montarlo como una unidad compartida
• Debería ser seguro (Samba no envía datos encriptados): es ssh, no necesito decir nada más
• Debería poder autenticarme con un nombre de usuario o contraseña: está basado en ssh, por lo que o encriptación basada en clave

No tengo un cuadro de OS X para probar, pero sshfs funcionaría con OS X. He probado y he hecho que los dos clientes que mencioné funcionen en Windows

Hay dos posibilidades que se me ocurren aquí:

FTP seguro

Secure FTP le permite acceder a su archivo de forma segura utilizando clientes FTP estándar como FileZilla o Cyberduck. Es útil tenerlo, pero lo encuentro bastante engorroso ya que necesitas un buen cliente FTP para apreciarlo completamente, y puede ser un poco incómodo de configurar.

vpn

Dependiendo del enrutador que use, configurar una VPN puede ser la opción más fácil. Le permitirá acceder a sus datos como si estuviera en su red doméstica y hacerlo de forma segura sin importar dónde se encuentre. Una VPN es útil por una variedad de razones (evitar firewalls, ver sus dispositivos en casa, etc.) y funcionará de forma nativa en prácticamente cualquier dispositivo moderno, incluidos Windows, Linux, OS X, iOS y Android.

Si usa DD-WRT en su enrutador, es cuestión de marcar algunas casillas. También puede configurarlo sin involucrar a su enrutador.