NAS DIY : OMW, TRUE NAS, autre chose ? + Sauvegarde vers FREEBOX DELTA

[Zero.Nicko]

Bonjour bonjour,

 

Je viens de faire une demande de migration de la freebox révolution vers la delta. Le site m'annonçant 3 mois de délai, j'aimerais mettre ce temps à profit pour changer des choses sur mon réseau.

 

Actuellement, j'ai un vieux pc (athlon x3, 4go de ram) qui tourne sous Windows Home Server 2011 (on ne se moque pas :D), il ne me sert que de stockage réseau pour mes films de vacances, mes fichiers musicaux, mes photos, certains documents non-sensible, et de serveur pour plex. Ses disques dur arrivant à saturation, je vais les renouveler dans pas longtemps, et je me dis que quitte à mettre les mains dedans, autant y aller franchement et changer d'OS, ne serait-ce que pour la sécurité globale, et pouvoir accéder à mes partages depuis l’extérieur.

Dans l'idée, je garderais la base du pc, mettrait un petit SSD pour le système, et 3 disques de 2To pour le stockage. Pour la Delta, 1 disque d'1To pour jouer avec les VM et stocker des trucs de manière temporaire, et 3 disques de 2To, en RAID 0.

 

Là ou je demande votre aide, au delà de la distribution pour le nas, sachant que je n'ai pas de grosses connaissances en Linux de manière générale mais je sais suivre un tuto, c'est pour savoir si il est possible depuis OMW ou True Nas (ou autre choses), d'automatiser la sauvegarde complète du NAS (système + données) vers la Delta ? Si oui, quels outils ? Devrais-je faire une VM sur la Delta avec le même os que sur le NAS pour avoir le même service des 2 côtés ou je peux simplement désigner la delta comme une ressource réseau depuis le NAS ?

Pour la configuration/gestion des disques, RAID 0 des 2 côtés ou je suis naïf :D ?

 

Merci d'avoir lu :)

[Aloyse57]

Je ne me moque pas : j'ai encore un WHS 2003 (HP EX475) qui tourne depuis (en fait plus aucune idée, il fait son boulot de backup tertiaire en silence sans broncher 24H/7, dans mon cabanon de jardin (-30°c à +40°c)).
J'ai aussi un AsusStore AH340 qui est juste stocké dans un coin pour prendre la relève un jour.
Pendant un temps j'avais testé OwnCloud. C'était assez facile à mettre en oeuvre, mais je suis un pur Windowsien, alors je reste avec Server Essentials-v1 tant que le PC tient (depuis 2012 24H/7).
Tant que SMB1 est accepté par Windows 10, tout va bien...

[brice.wernet]

Actuellement j'ai cette install:

• I5 9500T
• Proxmox
  • 1 VM pour OpenMediaVault: très simple, très efficace, avec 1 disque dédié (la VM y a un accès direct et exclusif)
  • Quelques autres VM et conteneurs (pfSense, 2xMinecraft, et des outils de dev et de bdd et maintenant du GIS)

Pour la sauvegarde, je la fait avec rsync par-dessus ssh. Avant, c'était un script perso, maintenant c'est OpenMediaVault qui 'en occupe.

Donc du moment que tu peux te loguer en ssh sur la delta, c'est bon - en gros n'importe quelle VM fait l'affaire.

[Zero.Nicko]

Merci pour vos réponses!

Pour Rsync, il en faut donc bien un qui tourne sur chaque "machine" (NAS + Delta) pour pouvoir synchro des 2 côtés.

C'est finalement plus de la redondance, dans le sens ou ça copie ton répertoire à l'identique, plus qu'une sauvegarde type point de restauration si je comprends bien?

 

[L33thium]

j'ai un NAS "DIY" sous OMV dans mon entreprise (une machine assemblée spécialement pour ça).
OMV fait très DIY en effet. Il faut pas mal bricoler avec des plugins communautaires pas toujours très bien finit et pas mal de CLI.

j'ai testé rapidement TrueNAS dans une VM et il parait beaucoup plus propre et efficace à l'usage mais il lui faut un media physique à lui tout seul pour l'OS.
La gestion des container FreeBSD est beaucoup plus rapide, facile et humainement compréhensible que docker que je n'utilise pas sous OMV, donc c'est un joyeux bordel actuellement.

Je compte migrer sous TrueNAS à l'avenir mais je vais devoir changer la carte mère du NAS pour un modèle avec port M2 pour y installer un tout petit SSD 32Go et laisser tout le SATA dédié au stockage.

l'installer sur clé USB est possible mais déconseillé à ce que j'ai lu.

Concernant la sauvegarde, il vaut mieux utiliser les outils de chaque OS pour effectuer la sauvegarde vers un volume du NAS (sauvegarde windows, time machine Apple, etc...)
et le NAS faisant un backup incrémentiel sécurisé vers un/des autre(s) volume(s)/sites (je fais ça avec borg backup sous OMV)

Modifié le 25 avril 2021 par L33thium

[Invité]

TrueNAS permet de définir des tâches rsync.

Dans mon cas, j’ai 2 miroirs pour deux types de donnés différentes (archive et scratch), avec une replication zfs sur mon disque de sauvegarde (donc pas de rsync).

Je ne connais pas la freebox, mais tu peux faire tourner TrueNAS avec un disque attaché en usb, tu peux utiliser la réplication zfs à distance entre ton NAS et la freebox.

le plus simple pour tester, c’est de faire une vm TrueNAS avec des disques virtuels. Tu pourras tester comment ça fonctionne avec la freebox.

pour les disques, ne fait pas de raid physique. Tu fais une pool avec un vdev en miroir.

zpool create mapool mirror ada0 ada1

ça te fait directement ton miroir et ton point de montage sur /mnt/mapool 

tu n’as plus qu’à créer les systèmes de fichiers que tu veux (n’hésite pas à segmenter pour t’organiser)
 

Par contre, TrueNAS, c’est minimum 8 go de ram recommandé, et plus si tu as de gros volumes. Ils disent 1gb de ram par tb. Cela dépend quand même de ton utilisation. J’arrive à 26 tb avec 16 go de ram + 20 go de swap sur disque. Le système ne swap pas, mais c’est juste pour être sur.

pour TrueNAS, tout ou presque doit passer par l’interface, sinon elle ne reflète pas ce qu’il s’est passé par le terminal. Enfin presque (par exemple, elle reconnaît les systèmes de fichiers créés en ligne de commande après une réplication). D’ailleurs, quand tu te longues en ssh, il y a un message qui te prévient.

Un conseil : si tu vas vers zfs, teste et pratique. C’est cool à utiliser et flexible, mais la logique est spécifique. Autant comprendre avant de se faire peur avec la terminologie une fois que t’es données sont sur les disques. 
 

Nota : je suis en train de terminer ma migration Nas4Free vers TrueNAS, d’où tout ces détails 😄

Modifié le 25 avril 2021 par seldo

[Zero.Nicko]

Merci pour vos retours, on dirais donc que c'est TrueNAS qui remporte les suffrages, il va falloir que je me penche sérieusement dessus. Cela-dit il va effectivement se poser le soucis de la ram, heureusement on trouve encore de la DDR3 assez facilement.

 

Il y a 20 heures, seldo a écrit :

pour TrueNAS, tout ou presque doit passer par l’interface, sinon elle ne reflète pas ce qu’il s’est passé par le terminal. Enfin presque (par exemple, elle reconnaît les systèmes de fichiers créés en ligne de commande après une réplication). D’ailleurs, quand tu te longues en ssh, il y a un message qui te prévient.

ça me va bien très bien en fait, je ne suis vraiment pas calé en UNIX ou Linux ou quoi et quand j'y suis confronté, je recopie souvent les commandes sans vraiment comprendre ce que je fait, même si j'essaie.

 

Donc si je résume pour TrueNAS, il prends forcement le disque entier pour s'installer. Mais si le disque est déjà partitionné, ça marche ou il vois pas du tout les partitions?

J'envisage 6To, donc on peux partir du principe que 8Go de ram seront suffisants. Personne n'a tiqué sur le processeur, donc je présume qu'il est suffisant (Athlon II X3 455 3.1Ghz), parce que si il faut tout changer, je me dis que bon, quitte à investir et racheter une machine, autant prendre directement du Q-Nap ou du Syno.

 

Il y a 19 heures, seldo a écrit :

pour les disques, ne fait pas de raid physique. Tu fais une pool avec un vdev en miroir.

zpool create mapool mirror ada0 ada1

ça te fait directement ton miroir et ton point de montage sur /mnt/mapool 

tu n’as plus qu’à créer les systèmes de fichiers que tu veux (n’hésite pas à segmenter pour t’organiser)

 

Mais du coup ça créer le miroir en local sur la machine non?

Comme je suis limité par le nombre de ports sata sur la carte mère, 1 pour le disque système et 3 pour les disques de stockage, soit je pars sur des gros disques, soit des plus petits, mais je déporte la redondance/sauvegarde. C'est là ou l'idée (peut-être complétement idiote) m'est venue d'utiliser la Delta pour cet usage, mais là encore ça se complique car la Delta est limitée aux disques de 2.5", et les disques en 2.5" pour NAS, à part 1 modèle 1To de WD, je trouve rien. Comme 3To c'est vraiment pas assez, je suis partis sur des 2To classiques, comme c'est "que pour la sauvegarde" ce serais moins dommageable si j'en perdais un, je n'aurais qu'à remplacer le défectueux, refaire un raid 0 et relancer une sauvegarde, tant que tout va bien côté NAS, je n'ai pas besoin de pouvoir récupérer les données de la sauvegarde. Donc comme compromis, je me suis dis que 3x 2To sur chaque "NAS" ce serais pas mal.

 

Mais si je comprends bien, TrueNAS te permet de faire donc des pools de disques dur et de "merger" les capacités disques, pour au final te retrouver avec 1 seul "disque" de la somme des capacités c'est bien ça ? Et du coup peux importe si les disques ont des capacités différentes ?

Pour le moment, j'ai un peux moins de 4To de stockés sur la configuration actuelle, peut être que je peux voir plus gros que 6To sur le NAS, avoir le mirror dessus et simplement copier le mirror sur la Delta, d'ici à ce que je sature les 6To de la Delta, on trouveras peut-être des disques 2.5" de plus grandes capacités.

 

De nouvelles pistes de réflexions donc.

Merci

 

[L33thium]

c'est un raid "software" avec zfs, c'est donc géré au niveau du système de fichiers, pas de contrôleur matériel ou de couche supplémentaire à l'OS
comme ce qu'on peut faire avec btrfs sous Linux également.

Perso je suis pas chaud avec le raid 1. Si les disques ont le même nombre d'heures au compteur je pense que le risque de panne simultanée est trop grand.
D'où ma solution avec borg backup, une sauvegarde incrémentiel quotidienne. Le disque de backup reste en veille le reste du temps et ça permet d'avoir une tolérance à l'erreur humaine ou autre.

[Invité]

On 26/04/2021 at 19:39, Zero.Nicko a écrit :

Merci pour vos retours, on dirais donc que c'est TrueNAS qui remporte les suffrages, il va falloir que je me penche sérieusement dessus. Cela-dit il va effectivement se poser le soucis de la ram, heureusement on trouve encore de la DDR3 assez facilement.

 

ça me va bien très bien en fait, je ne suis vraiment pas calé en UNIX ou Linux ou quoi et quand j'y suis confronté, je recopie souvent les commandes sans vraiment comprendre ce que je fait, même si j'essaie.

 

Donc si je résume pour TrueNAS, il prends forcement le disque entier pour s'installer. Mais si le disque est déjà partitionné, ça marche ou il vois pas du tout les partitions?

J'envisage 6To, donc on peux partir du principe que 8Go de ram seront suffisants. Personne n'a tiqué sur le processeur, donc je présume qu'il est suffisant (Athlon II X3 455 3.1Ghz), parce que si il faut tout changer, je me dis que bon, quitte à investir et racheter une machine, autant prendre directement du Q-Nap ou du Syno.

 

 

Mais du coup ça créer le miroir en local sur la machine non?

Comme je suis limité par le nombre de ports sata sur la carte mère, 1 pour le disque système et 3 pour les disques de stockage, soit je pars sur des gros disques, soit des plus petits, mais je déporte la redondance/sauvegarde. C'est là ou l'idée (peut-être complétement idiote) m'est venue d'utiliser la Delta pour cet usage, mais là encore ça se complique car la Delta est limitée aux disques de 2.5", et les disques en 2.5" pour NAS, à part 1 modèle 1To de WD, je trouve rien. Comme 3To c'est vraiment pas assez, je suis partis sur des 2To classiques, comme c'est "que pour la sauvegarde" ce serais moins dommageable si j'en perdais un, je n'aurais qu'à remplacer le défectueux, refaire un raid 0 et relancer une sauvegarde, tant que tout va bien côté NAS, je n'ai pas besoin de pouvoir récupérer les données de la sauvegarde. Donc comme compromis, je me suis dis que 3x 2To sur chaque "NAS" ce serais pas mal.

 

Mais si je comprends bien, TrueNAS te permet de faire donc des pools de disques dur et de "merger" les capacités disques, pour au final te retrouver avec 1 seul "disque" de la somme des capacités c'est bien ça ? Et du coup peux importe si les disques ont des capacités différentes ?

Pour le moment, j'ai un peux moins de 4To de stockés sur la configuration actuelle, peut être que je peux voir plus gros que 6To sur le NAS, avoir le mirror dessus et simplement copier le mirror sur la Delta, d'ici à ce que je sature les 6To de la Delta, on trouveras peut-être des disques 2.5" de plus grandes capacités.

j’ai répondu dans l’ordre de tes questions, mais répondant depuis une tablette, ce n’était pas facile de découper ta citation. J’espère que tu t’y retrouvera. J’ai répondu dans l’ordre de to texte. N’hésites pas à poser d’autres questions si tu en as !
 

le miroir est local à la machine. Tu peux avoir tes disques en usb si tu veux, mais tu tu seras  limité pour les vérifications SMART (en fonction de ton système).

ca peut donc marcher avec sur le même principe sur la delta : un disque en usb.

tu n’auras qu’à définir une duplication du nas vers le disque de la delta via rsync

Trune nas formate le disque entier. Cela dit, il y a une option pour créer une partition swap sur certains volumes. Dans mon cas, j’ai 20 GB de swap sur un miroir, et 0 sur l’autre. Mais tu ne pourras pas laisser 50% d’un disque pour autre chose.

true nas déconseille le boot depuis une clé usb, mais un disque SSD ou physique en usb passe. C’est plus un soucis de support de stockage pas fiable (clé usb) que de port pas fiable. C’est mon cas, SSD en usb car ma machine ne peut booter qu’en usb… ou sur l’une des 4 baies que je réserve pour ma sauvegarde, que je préfère garder pour ma sauvegarde.

Utiliser la delta comme système de sauvegarde n’est pas une mauvaise idée tant que 1) ton disque reste correctement connecté / géré et 2) que le transfert est de bonne qualité (ou sinon tu vas avoir un temps de sauvegarde tellement long que ça en vaudra pas la coup).

true nas fait du raid logiciel, comme indiqué par l33thium dans le message précédent. 
une pool, c’est un espace dans lequel tu peux créer autant de systèmes de fichiers que tu peux sur autant de vdev que tu veux.

esaaye, une fois que tu as compris la flexibilité (et les limitations, comme les perd sui baissent quand ta pool est trop remplie), c’est top !

cet espace, il est composé de vdev, c’est à dire de disques virtuels (Virtual DEvice). Tu peux choisir quel type de virtual device tu as, mais ils doivent tous être identiques (je crois) dans une même pool (sauf des devices spécifiques, comme LOG et quelques autres).

dans ton cas, tu formerai ta pool avec un vdev en miroir Si ta machine le permet, ou si tu changes de machine, tu peux toujours étendre ta pool en formant de nouveaux vdev que tu ajoutes à la volée)

par rapport au risque de panne évoqué par l33thium, j’ai choisi de mélanger western digital et Seagate. Un de chaque marque dans chaque miroir, et deux miroir avec des tailles différentes, dans deux pools (c’est historique). J’ai don 1 WD 8TB, 1 WD 2TB, 1 Seagate  8TB, 1 Seagate 2TB) plus un backup sur un WD 8TB (avant en usb, maintenant en sata pour avoir le smart). Dans mon cas, je surveille, et ça me va pour l’instant  mais c’est vrai qu’il y a toujours risque de panne simultanée dans un miroir car les deux disques ont les mes petits cycles de démarrage et d’arrêt.

La logique pour la taille des vdev miroir, c’est que c’est que le plus petit disque l’emporte pour ton miroir (comme un raid miroir classique). D’un point de vu miroir, au niveau stockage, tu ne gagnes rien par rapport à un miroir raid classique. Par contre, côté zfs, tu gagnes l’agrandissement de ta pool si tu changes de système plus tard (tu rajoutes des miroir (des vdev) que tu ajoutes à ta pool existante). Tu bénéficies aussi de fonctionnalités de zfs comme les snapshot, le scrub, la replication (duplication en français ?) zfs send | receive.

true nas encapsule tout ça dans une interface, et c’est facile à gérer (c’est associé à Caron, donc une fois défini, tu n’as plus à t’en occuper… sinon regarder tes mails pour des rapports d’erreurs, s’il y en a.

le plus simple pour essayer true nas et zfs, c’est une VM. Ça donctionne très bien dans virtual box. tu peux même faire des disques virtuels à partir de fichiers sur ta machine. Et même tester une duplication de ta VM vers la delta !

ca devrait te permettre de te lancer avec tes vraies données en ayant deja fait un test en conditions réelles, ce qui aide. Cela si tu choisis true nas + zfs 😄