Aqua

Mon proxmox backup server a trouvé le bucket "lisez-next" quand je lui ai demandé mettre le S3 en storage backend. J'y ai encore rien écrit mais du coup je me demande si le S3 Next.ink remarche pour vous ou si c'est toujours cassé ? next.ink indique que c'est toujours HS.

Bonjour, Je documente ici ce que j'ai subit/vécu en essayant d'utiliser le stockage S3 Next.ink dans un environnement serveur amateur. Cas d'usage: Je veux monter le bucket s3 en local sur une machine linux en y rajoutant une couche de cryptage à la volée Je veux que ce montage puisse être passé comme un volume à un conteneur docker. je veux pouvoir manipuler les fichiers en ligne de commande ET via l'utilisation de ce volume dans Nextcloud (partager à des utilisateur.ices, ...) Sans être un fou de perfo, faut éviter les timeouts Première approche: Suite à l'annonce de Next, bon nombre de lecteur.ices ont proposés des méthodes pour expliquer ce qui était possible de faire selon leurs besoins. Je me suis appuyé sur @bingo.crepuscule et un script pondu de sa main (et adapté à mon cas). Le montage et l'utilisation de gocryptfs ont bien fonctionné, mais passer ce dossier à un docker a lamentablement échoué. ou bien j'avais pas fait les bonnes recherches ou bien docker a évolué depuis car... Une deuxième approche utilisant rclone a parfaitement fonctionné. Rclone est une merveille de couteau suisse pour faire à peu près tout ce que fait rsync et bien plus encore. Tout ce qui suit est fait sous root dans une VM Debian 13 dans un proxmox. apt install rclone rclone config # créer un "remote" rclone pour accéder au S3 On se laisse guider, ça roule presque tout seul. Là vous avez un paragraphe dans /root/.config/rclone/rclone.conf On peut monter, synchroniser, explorer ce remote grâce aux commandes habituelles de rclone : rclone mount, rclone sync, rclone ls, etc... On peut aussi monter ce bucket comme un système de fichier perenne avec un coup de /etc/fstab : s3next: /mnt/s3next rclone config=/root/.config/rclone/rclone.conf,allow_other,uid=33,gid=33,umask=0007,x-systemd.mount-timeout=0,vfs_cache_mode=writes,_netdev 0 0 Je vais avoir besoin que ce soit le user www-data qui possède tout ça (d'où le uid/gid). Oui mais moi je veux que les données chez Next soient cryptées... qu'à cela ne tienne, je créé un second remote: rclone config Là je choisi "crypt" dans les options "14 / Encrypt/Decrypt a remote \ (crypt)" et pareil on se laisse guider à la création de clées de chiffrement et on pointe sur la remote S3 créés précédemment avec son nom de bucket : s3next:lisez-next On obtient un truc qui ressemble à ça dans rclone.conf : [s3next] type = s3 provider = Other access_key_id = <truc secret> secret_access_key = <encore plus secret> region = fr1 endpoint = https://s3.fr1.next.ink [s3next_crypt] type = crypt remote = s3next:lisez-next password = <wahou faut pas le dire> password2 = <et en plus c'est salé> On modifie /etc/fstab pour monter ce remote là plutôt que le premier. (pour que rclone puisse servir d'outil de montage internet me dit qu'il faut créer un lien symbolique depuis /usr/bin/rclone vers /sbin/mount.rclone ) Et enfin (et je pense avec le recule que c'est ça qui a fait que la méthode de @bingo.crepuscule a pas fonctionné chez moi). il faut maintenant faire en sorte que ce point de montage rclone (c'est FUSE derrière) puisse être vue/lue/modifié par des conteneurs docker. Au final c'est pas sorcié. Votre usage docker différera peut-être du miens, mais ici j'ai du déclarer un volume en plus dans ma stack et lui ajouter le paramètre :shared Donc un truc comme ça : volumes: - /mnt/s3next:/mnt/s3next:shared On remonte tout ça, redémarre les conteneurs qui vont bien et voilà ! J'ai maintenant mon conteneur qui peut aller mettre des données sur le bucket s3 de Next.ink sans risquer l'interception en plein vol, la perte de données, le hack de moji, etc...

@bingo.crepuscule je vais assayer de détailler un peu dans un poste suivant comment je m'en suis sorti. finalement en effaçant tout ce qui concernait gocryptfs et ton excellent script. Tout s'est fini à base de rclone. Une remote rclone pour monter le s3 de Next.ink, une autre remote rclone pour ajouter la couche d'encryption. Rajouter le volume dans mon docker (avec le partage ":shared").

Last (but not least??) twist : si une copie /upload / déplacement de fichiers vers ce dossier S3 échoue à se terminer alors un paquet de données sont réellement copiées (visibles dans le dossier local et cryptées sur le montage s3fs distant) mais la fonction External Storage de Nextcloud ne scan pas / ne rafraîchit pas le dossier et ces données n'apparaissent pas. il faut faire un occ files:scan %username --path=/path/to/folder pour que ce qui a été copié (rappel, si la copie a échoué tout n'a peut-être pas été copié) apparaisse. Alors que si on fait un upload simple (typiquement de qques mégas) alors le fichier apparait bien dans Nextcloud Files.

Helloooooo Long time no see! Bon après avoir laissé ce "sujet" sur le côté pour faire des choses plus utiles de ma vie (non, en vrai j'ai joué à Enshrouded), j'ai enfin réussi à faire lire ce dossier /mnt/s3next à Nextcloud. Comme Nextcloud AIO a déjà tout prévu, il avait déjà accès à /mnt et je me tapais la tête contre un mur à pas comprendre pourquoi du coup il arrivait pas à voir quoi que ce soit dans /mnt/s3next. Il se trouve, que c'est juste une option fstab à la noix qui était responsable de ça: j'ai juste rajouté "allow_other" à la ligne fstab qui va bien, redémarré le conteneur docker et hourrah ça marche. le conteneur Nextcloud voit maintenant le contenu du dossier, je peux y créer des sous-dossier comme si un s3 était un vrai système de fichier et, comme je voulais faire initialement, je suis capable de donner en tant que External Storage dans Nextcloud des dossier de sauvegarde S3 next.ink tout bien protégé à mes utilisateur.ices \o/ La performance est incertaine pour l'instant. J'ai eu l'impression au début que ça se comptait en kbp/s mais là ça a l'air mieux (sur une connexion fibre domestique) Merci @next merci @bingo.crepuscule !

Bonjour :) J'ai laissé traîner quelques semaines avant de me retaper la tête sur un certain nombre de murs 🤯 Du coup au final merci pour tout :) et voici quelques commentaires (sur la base du 3ème post de ce thread) : BUCKET="lisez-next"C'est le nom du bucket que j'ai. je sais pas si tout le monde a le même mais je suppose que oui. La création du fichier .passwd-s3fs donne un caractère final qui a l'air de pas passer. J'ai du l'éditer pour rajouter un retour chariot. Comme j'avais changé les points de montage du coup le nom des Unit .mount dans le service systemd était plus bon --> mnt à la place de media (pas certain de comment rendre ça paramétrable) Maintenant j'ai un autre souci... bien que le dossier soit bien monté et que j'ai pu créer des sous-dossiers manuellement, leur donner un propriétaire qui va bien, et bien les chemins créés ne plaisent pas à Nextcloud qui refuse d'y créer un stockage externe. A suivre :)

... me suis un peu avancé. J'arrive à monter le S3 directement avec le module External Storage de Nextcloud, à y pousser des fichiers Par contre le script échoue au moment de monter le s3fs: Le montage lui-même ne dit rien (mais "df" me montre bien qu'il n'est pas monté) et l'appel d'après à "is_s3fs_mount" échoue (avec le message d'erreur qui va bien "Erreur: $MOUNT_CRYPT n'est pas un montage s3fs attendu") . le fichier de mot de passe créé a l'air tout à fait correct. ================================================== CLES S3 ================================================== Cles S3 deja presentes. Les remplacer ? (o/N) : ================================================== MONTAGE S3 ================================================== Erreur: /mnt/s3next_crypt n'est pas un montage s3fs attendu zsh: exit 1 ./s3next_install.sh je regarde demain un peu plus en détaille ce que fait la commande de montage et pourquoi elle foire.

Et je viens d'arriver et c'est exactement ce que je cherchais. Un moyen de monter ce S3 localement avec une couche de crypto. Maintenant je vais pouvoir y créer des dossier qui seront autant d'External Storage pour mes utilisateur.ices Nextcloud. Un petit backup externe pour tout le monde \o/ Merci Next, Merci Bingo !