[RESOLU] [STOCKAGE] Gestion des disques dans un serveur

[zoic]

Bonjour,

Je possedes actuellement un serveur sous linux composé du materiels suivant :

CM : ASUS Maximus Formula

CPU : E6600

4Go de ram

2*carte sata 4ports promise

1 ssd 30go pour le linux

1 ssd 30go pour le windows server virtualisé

3*2to

4*1.5

1*1to

1*500go

L'utilisation des disques est la suivante :

2to =>Jeux/Logiciel/Manga/Photo perso/Video/perso

2to => Serie TV

2to => Backup Serie TV

1.5to => Films 1

1.5to => Films 2

1.5to => Films 3

1.5to => Backup films 3

1to => public + dossier utilisateur

500go => Backup photo perso/video perso/dossier utilisateur

De plus 3*2to vont bientot arriver pour obtenir le resultat suivant :

2to =>Jeux/Logiciel/Manga/Photo perso/Video/perso

2to =>Backup Jeux/Logiciel/Manga/Photo perso/Video/perso

2to => Serie TV

2to => Backup Serie TV

2to => Films 1

2to => Backup Films 1

1.5to => Films 2

1.5to => Backup films 2

1.5to => Films 3

1.5to => Backup films 3

1to => public + dossier utilisateur

500go => Backup dossier utilisateur

Après reflexion je me dis que je perds beaucoup de place en backup (je tiens a preciser que ce n'est pas du raid0, c'est du rsync lancé automatiquement une fois par semaine à des jours differents pour chaque disque).Je pensais donc faire du raid 5 (apriori en logiciel sur 5 disques de 2to) pour optimiser tout ça mais je me pose plusieurs questions :

L'ajout de disque est-il possible une fois le raid5 construit?

Lors de la perte d'un disque quelle est le temps necessaire à la reconstruction de celui-ci?

Voyez-vous une solution plus optimal pour gerer mes disques (gain de place tout en ayant un bon taux de fiabilité)

En vous remerciant d'avance

[Konrad]

Bonjour,

Pour faire du RAID il faut savoir qu'il existe trois possibilités :

- RAID hardware, c'est ce qu'il y a de plus fiable ; nécessite une carte RAID dédiée qui va faire tout les calculs et entièrement gérer le RAID. L'avantage est que le CPU reste entièrement libre, les inconvénients sont que c'est en général assez cher, et le volume RAID est attaché à la carte contrôleur (si la carte grille il faudra en retrouver une identique).

- fake RAID, c'est-à-dire le RAID proposé par la plupart des cartes mères modernes. Là c'est le CPU qui s'occupe en réalité du RAID, ce qui offre donc de moins bonnes perfs qu'un vrai RAID hardware. De plus le volume RAID dépend alors du chipset de la carte mère : si la carte mère grille, tu devras en acheter une identique pour récupérer ton RAID.

- RAID logiciel, qui peut se faire sous GNU/Linux grâce au formidable outil mdadm. Là aussi c'est le CPU qui s'occupe du RAID. Il y a de nombreux avantages : le RAID est entièrement géré de manière logicielle, un volume RAID ne dépend donc pas d'un chipset quelconque, pratique en cas de changement de config ou de grillage de mobo. Il est aussi possible de créer, étendre ou supprimer des disques du volume RAID sans avoir à redémarrer la machine.

Je conseillerais la dernière solution qui est la plus économique et la moins contraignante.

L'ajout de disque est-il possible une fois le raid5 construit?

Dans les trois cas cités ci-dessus, oui.

Lors de la perte d'un disque quelle est le temps necessaire à la reconstruction de celui-ci?

Dans le cas d'un RAID logiciel, cela dépend de la taille du volume RAID et de la puissance du processeur. Chez moi pour un RAID de 6x1To, mdadm met environ 10h à resynchroniser un disque sur un Athlon64 à 2 GHz.

[zoic]

Merci pour ta réponse.

Effectivement le raid 5 logiciel à l'air le plus adapté

Connais tu le temps pour ajouter un disque à une grappe raid 5 tout en conservant les données déjà présente dessus ?

Que se passe-t-il quand un disque meurt? tout le volume est inaccessible jusqu’à ajout d'un disque pour le réparer?

Quel effet à le raid 5 sur les performances ?

J'ai lu qu'il n'était possible de faire du raid que avec des disques identiques est un nombre impair de disques (3,5,7,9....) est ce vrai en raid 5 logiciel?

[Carpe_Diem]

Pas mal d'info sur le RAID dans ce sujet PCI

[Killator]

Salut Zoic,

Petite remarque comme ça en passant: faire du RAID5 n'équivaut pas à faire une sauvegarde

Trop souvent les gens se considère à l'abri avec des données sur un volume RAID5 et c'est la cata...

Sinon, le temps de reconstruction d'un volume RAID endommagé dépend:

> Du volume de données...

> Si le système continue a être utilisé ou pas...

> De la vitesse des disques et du controleur RAID (car il faut refaire TOUS les calculs de parité)

Dans tous les cas, ça stress beaucoup ton système et si une 2ème "panne" survient à ce moment là... Il ne te restera que les yeux pour pleurer

[zoic]

Effectivement faire du raid 5 n'est pas équivalent à un backup mais le problème c'est que les backup ça prend beaucoup de place donc le raid 5 à l'air d’être un bon compromis (la probabilité que j'ai 2 disques qui tombent en panne en même temps est très faible surtout que il n'ont pas été achetés en même temps et j'ai du Samsung et du western digital).

Bien sur je reste preneur de toute autres solutions si toutefois il en existe...

[Konrad]

Connais tu le temps pour ajouter un disque à une grappe raid 5 tout en conservant les données déjà présente dessus ?

Le temps est équivalent à la resynchro d'un disque, donc plusieurs heures. Là encore ça dépend de la taille du volume, de la puissance du CPU... Difficile de faire des prédictions.

Que se passe-t-il quand un disque meurt? tout le volume est inaccessible jusqu’à ajout d'un disque pour le réparer?

En fait non le volume reste accessible normalement. Le temps d'accès peut être plus long car certaines données peuvent réclamer d'être recalculées à partir des bits de parité. Quand un disque meurt aucune donnée n'est perdue, mais il est bien sûr conseillé de le remplacé au plus vite car la redondance des données n'est plus assurée : si un second disque flanche, tout le volume RAID5 est perdu...

Quel effet à le raid 5 sur les performances ?

Aucune, sauf quand tu écris dessus car les bits de parité doivent être calculés par le CPU. La lecture, elle, a moins d'impact sur les performances (les bits de parité ne sont pas utilisés, sauf si un disque flanche comme décrit plus haut).

J'ai lu qu'il n'était possible de faire du raid que avec des disques identiques est un nombre impair de disques (3,5,7,9....) est ce vrai en raid 5 logiciel?

En RAID 5 logiciel la seule limitation est celle du RAID 5 en lui-même : il faut un minimum de trois disques ou, pour être plus précis, un minimum de trois partitions*. À ma connaissance il n'y a pas de maximum ni de règle de parité (nombre pair ou impair de disques). Utiliser des disques identiques est fortement recommandé pour des raisons de performances, mais pas obligatoire.

* L'outil mdadm fonctionne avec des partitions et non des disques. Il est donc possible de créer 3 partitions sur le même disque pour créer un RAID5, mais ça n'a aucun intérêt à part pour faire des tests ou se familiariser avec l'outil. Il est bien sûr conseillé de faire une partition par disque.

Sinon Killator a raison d'insister sur le fait qu'un RAID5 n'offre pas une sécurité absolue. Si deux disques tombent en panne, adieu les données. Cela a l'air impossible, il faut cependant envisager tous les scénarios. Une coupure de courant ou une alim défectueuse, et plusieurs disques du volume RAID peuvent se retrouver asynchrone, et là impossible de récupérer les données ; c'est pourquoi je recommanderais de brancher le serveur sur un onduleur.

Autre possibilité : souvent plusieurs disques de la même série sont achetés pour construire un RAID, or qui dit même série dit... même durée de vie, les chances que deux disques flanchent en même temps se trouvent donc augmentées. Avec mdadm il est possible d'augmenter la tolérance à la panne en ajoutant des disques de spare (disques "dormants") qui ne sont pas utilisés en temps normal, mais seront activés en cas de panne d'un disque, pour le remplacer automatiquement.

[zoic]

Mon serveur est effectivement sur un onduleur pour prévenir des coupures de courant et l'alim est de réputé de bonne qualité pour éviter les problèmes , le boitier est aussi très bien refroidit.

Même si je fais du raid 5 les données non récupérable (dossiers utilisateurs, photos et vidéos perso) seront toujours dupliqué sur un autre disque au cas ou.

Tout mes disque étant de série différente je limite déjà le risque de 2 disques en panne en même temps.

J'aurais une dernière question : lors de l'ajout d'un disque la partition ne doit pas être automatiquement étendu je suppose donc qu'il faille faire du lvm par dessus le raid 5 pour le permettre?

[Konrad]

LVM est optionnel, en fait le volume RAID est vu (et monté) comme une seule grosse partition. En cas d'ajout d'un disque la partition est bien étendue par mdadm. Bien sûr il est nécessaire de démonter le volume RAID, ensuite d'y intégrer le nouveau disque et de lancer sa synchronisation, et à la fin seulement remonter le volume. En principe toute l'opération peut être faite sans rebooter la machine (sauf au branchement du disque sur la carte mère, si le hot plug n'est pas supporté).

[zoic]

Je te remercie pour ta réponse.

Une toute dernière question confirme tu qu'il est impossible de supprimer un disque d'un raid 5 sans perte des données (si bien sur la taille des données stockées dessus est inférieur à la taille de la grappe après suppression du disque)?

[Konrad]

Je n'ai jamais tenté ce genre de manipulation mais a priori je dirais que c'est tout à fait possible.

Quand tu ajoutes un disque, mdadm redimensionne la partition du volume RAID en l'augmentant. J'imagine que lorsqu'on supprime un disque du volume, il est possible de redimensionner la partition à la baisse.

Tu constateras que mdadm est extrêmement flexible

[RaphAstronome]

J'ai moi aussi 2 petites questions :

Peut t'on passer d'un RAID 5 à un RAID 6 ?

Exemple : j'ai déjà 5 disques dans mon RAID 5 et forcément plus il y a de disques plus il y a des risques de pannes sur 2 d'entre eux. L'idée serait d'ajouter un second niveau de sécurité.

Peut t'on dire à mdadm d'utiliser plus intensément certains disques que d'autres les user de manière différentes et ainsi diminuer le risque de casser 2 disques en même temps ?

[Konrad]

Peut t'on passer d'un RAID 5 à un RAID 6 ?

Exemple : j'ai déjà 5 disques dans mon RAID 5 et forcément plus il y a de disques plus il y a des risques de pannes sur 2 d'entre eux. L'idée serait d'ajouter un second niveau de sécurité.

Pour augmenter le niveau de tolérance à la panne d'un RAID 5 existant, il y a deux solutions :

- ajouter un ou plusieurs disques de spare, qui vont automatiquement prendre la relève dès qu'un disque est défaillant. Cependant cela reste inefficace si deux disques tombent en panne exactement au même moment.

- migrer le RAID 5 vers un RAID 6, ce qui est tout à fait possible avec mdadm.

Peut t'on dire à mdadm d'utiliser plus intensément certains disques que d'autres les user de manière différentes et ainsi diminuer le risque de casser 2 disques en même temps ?

Je n'ai pas connaissance d'une telle option... De toute façon les données sont réparties de manière complexe dans un ensemble RAID 5, difficile donc de savoir a priori quel disque sera le plus utilisé ou le plus "à risque".

[zoic]

C'est intéressant de savoir que l'on peut passer du raid 5 au 6 mdadm est vraiment flexible

Je met ce sujet en résolu j'ai trouvé comment faire pour la gestion de mes disque en perdant le moins de place tout en minimisant les risques :

3 grappes raid 5 :

- deux de 3*2to (donc 4to accessible)

- une de 4*1.5to (donc 4.5to accessible)

Je ne perd que 2to par rapport à une grosse grappe de 6*2to tout en gagnant de la place par rapport à tout backuper et je limite le risque de perte de données (grappe plus petite en séparant bien les contenues)

Je vous remercie pour vos réponses