Question technique sur ReFS ou BTRFS

[Goldoark]

Bonjour,

Sous Windows 10, avec un RAID 1 en utilisant le nouveau système de fichiers ReFS, j'aimerais savoir si en cas de corruption du checksum d'un fichier (à savoir un CRC64), le fichier intègre est automatiquement reconstitué à partir de son double présent sur le disque en miroir.

J'aurais la même question vis-à-vis du BTRFS sous Linux (qui utilise un CRC32 mais c'est sensiblement la même chose).

Je sais que c'est technique comme question, mais pas moyen de trouver des infos sur le net.

@+ ^^

[percubabs]

hum.. sur un raid1  c'est une copie, il n'y a pas de checksum. non ?

[keneda212]

un raid 1 de base, c'est une duplication de disque hardware ou logiciel. Le type de partition n'a normalement rien a voir avec.

donc avec n'importe quel type de partition, du moment que c'est en raid1 derriere, tu ne peux rien perdre (sauf a cramer 2 disques en meme temps)

[RaphAstronome]

Le 14/09/2016 à 19:44, keneda212 a dit :

du moment que c'est en raid1 derriere, tu ne peux rien perdre (sauf a cramer 2 disques en meme temps)

Sauf si :

• Une surtension, un incendie, une inondation et autres risque physique classique
• Tu supprimes les données par erreur
• Tu te fais pirater (malware ou autre).
• Problème dans le système de fichiers et autres corruption de données dû à un logiciel.
• Un composant quelconque qui décide de faire n'importe quoi (RAM foireuse, contrôleur disque défectueux qui fait n'importe quoi)
• Un bug du système RAID (qu'il soit soft ou hard)
• Si RAID hard, le contrôleur grille et aucune pièce de rechange. Normalement aujourd'hui il y a de la compatibilité entre les version et modèles mais à une certaine époque ce n'était pas le cas. Toujours vérifier que tu pourras trouver une pièce de rechange compatible.

Bref, le RAID c'est bien mais garde toujours une autre sauvegarde.

[keneda212]

a oui c'est sur

théoriquement, je pense qu'il faudrait : 

- un raid

- une sauvegarde locale

- une sauvegarde externe

 

Mais bon, j'ai quand même paumé tout raid 5 à cause d'un mix entre la perte d'un disque et d'une coupure electricité qui a décalé les données du raid... jamais pu récuperer...

 

edit : c'est super chiant les interlignes 1.5 je trouve, ca fait des messages super grand :/

[RaphAstronome]

il y a 20 minutes, keneda212 a dit :

Mais bon, j'ai quand même paumé tout raid 5 à cause d'un mix entre la perte d'un disque et d'une coupure electricité qui a décalé les données du raid... jamais pu récuperer...

À titre indicatif c'était quel modèle de RAID hard ou logiciel dans le cas d'un RAID soft ?

[keneda212]

du soft, sous debian avec mdadm. J'ai tenté durant 1 mois de reconstruire le raid 5 avec divers synchro/décalage mais les valeurs qui me manquaient m'ont été fournie lors de la création des partitions et du raid.... (que j'avais pas conservé). 

maintenant, je note tout au cas ou, mais bon, j'ai surtout laissé tombé le raid5... 3 disques de stockage simple et un raid1 ca me suffit finalement et me tranquillise 

[Goldoark]

Bon, après avoir potassé des pages et des pages de docu, j'ai la réponse. Je la poste ici car ça peut servir.

 

Mon idée, c'est de créer un PC pour le stockage de données à long terme FIABLE pour un particulier.

- En général, quand je fais un PC fixe, j'utilise un disque dur très rapide pour l'OS.

- Pour les fichiers sur lesquels je travaille habituellement et qui sont modifiés régulièrement, j'utilise un système RAID 1. J'utilise un contrôleur RAID 1 (donc RAID 1 "hardware") uniquement quand je manque de slots SATA, sinon j'utilise plutôt du RAID 1 "logiciel" (cad du "mirroring") car je préfère me passer de la carte RAID (si elle lâche, il faut exactement la même, c'est assez ennuyeux).

- Pour les fichiers que je stocke à long terme, que j'archive et auxquels je touche peu/pas, je les mets en général sur 2 disques durs. En effet, je suis confronté à 3 types de problème :

=> Risque de suppression accidentelle, dans ce cas, la copie me permet de récupérer. Normalement, le concept de la "Corbeille" évite cela, mais j'ai trop l'habitude de faire MAJ+Suppr, va falloir que je change ça.

=> Risque de rupture du moteur. Cela nous est tous arrivé, un disque dur n'est assuré que 5 ans par les constructeurs (sauf pour les SCSI des pros, mais bon, je suis un particulier). Au-delà de ces 5 ans, le moteur risque de lâcher. S'il lâche, les données sont perdues (à moins d'envoyer chez un réparateur comme Chronodisk), c'est pour ça qu'on a inventé le RAID.

=> Risque d'altération des fichiers. Soit par hasard (très peu probable, et il existe déjà des mécanismes de contrôle basiques au niveau du disque dur lui-même), soit par head-crash ou autres problèmes dans le genre.

 

Pour prévenir les 2 premiers problèmes, j'utilise 2 disques durs. La probabilité que les 2 lâchent en même temps est si infime qu'on peut estimer que c'est impossible (après, si tu shoots dans ton PC, bah...).

 

Pour prévenir le troisième problème, j'utilise un programme en C/ASM qui contrôle le CRC de chaque fichier une fois par semaine, sur chaque disque dur. Il compare les CRC des copies et me prévient si un CRC est altéré par rapport à ce qu'il est censé être. Et il remplace les fichiers modifiés pour mettre à jour la copie 1 fois par semaine.

 

Ma question était de savoir si un mirroring (RAID 1 logiciel) en utilisant les systèmes ReFS et BtrFS pouvaient remplir ces fonctions nativement. Après analyse, il s'avère que la réponse est non, enfin oui pas complètement, et selon le paramétrage du mirroring. Le problème, c'est que ce n'est pas conçu pour cela. De plus, on ne peut pas récupérer un fichier en cas de suppression accidentelle (cause la plus probable de perte de données).

 

Enfin, mon programme est inadapté, car lorsqu'un programme lit un fichier, il lit la cache, et pas les octets du fichier eux-mêmes. Une altération du bus de transfert a plus de chances de créer une erreur de CRC qu'une altération des cristaux du disque dur.

Il faudrait donc un programme de "Sauvegarde décrémentale" vers un autre disque dur, c'est-à-dire un programme qui contrôle les CRC de manière sûre (en détectant les potentielles erreurs de bus et sans lire la cache, un prog qui lit directement le disque dur), et remplace uniquement les fichiers modifiés.

 

En fait, avec un vocabulaire correct, ma question est : un mirroring en ReFS / BtrFS permet-il ou non de faire une sauvegarde décrémentale en interne sur le disque miroir, avec archivage des données ?

Et la réponse est non, mieux vaut utiliser un logiciel adapté.

J'en cherche un (de préférence open source) sous Windows autant que Linux.

[Goldoark]

Après recherches...

Sous Linux, l'outil classique pour l'amélioration des performances d'un disque dur est : hdparm.
(Il existe des portages pour Windows mais attention une mauvaise commande peut tout casser)

Pour les sauvegardes décrémentales, on utilise la commande rsync.

On l'utilise avec des scripts de lancement selon ce que l'on souhaite (démarrage, horaires spécifiques, taux d'espace libre, etc.). Il est possible de paramétrer rsync pour faire des contrôles de checksum, CRC, MD5, etc.
Il existe aussi un portage  de resync sous Windows (il faudra passer par le planificateur de tâches pour le lancer).

Sous les systèmes Windows, je ne trouve pas d'utilitaire professionnel pour faire du décrémental.

Le meilleur que j'ai trouvé semble être "Iperius Backup". Mais faut voir ce qu'il faut...