Gestion du raid sous Linux

[seboss666]

Bonsoir à tous,

J'ai besoin de conseils pour gérer à long terme mon projet. Je suis en train de monter un petit serveur de fichiers, déstiné principalement à diffuser de la vidéo sur le réseau (la XBOX360 étant le support privilégié). Pour l'instant, j'ai opté (plus par hasard que par choix final) pour une Ubuntu Desktop 10.10 32b installé sur une clé USB, et 2 disques durs Samsung 1,5To montés en RAID1 (les numéros de série des disques durs se suivent !).

J'ai un peu souffert pour créer ce RAID1, mais il a l'air de fonctionner. Je m'explique : après avoir lu plusieurs tutos, j'ai fini par me lancer, et ça a donné ça :

-Sur chaque disque, avec l'aide de GParted, création d'une table de partitions puis d'une partition unique en ext4;

-en ligne de commande, j'ai ensuite créé une "grappe" /dev/md0 utilisant les deux partitions sda1 et sdb1 (la clé usb utilisant sdc1);

-Là, j'ai commencé à loucher sur l'utilisation de ce /dev/md0, chaque tuto passant à un truc différent (partition classique, LVM, et un ou deux autres trucs dont je préfère oublier tout de suite le nom). J'ai fini par utiliser GParted, qui m'a dit qu'aucune table de partition n'existait sur /dev/md0 (alors qu'il y en a une sur chaque disque). J'ai donc reproduit la procédure utilisée sur les deux disques, et j'ai maintenant un /dev/md0p1 utilisable en ext4. J’espère ne pas avoir fait de grosse connerie.

Pour l'instant tout marche nickel, mais avant de mettre définitivement tout ça en service, j'ai plusieurs questions auxquelles je n'arrive pas à apporter de réponse par mes propres recherches.

1°/ La clé USB utilisée est d'une lenteur affligeante, rendant tout redémarrage pour le moins fastidieux (ça monte dans les 5 minutes quand même), sans parler des manipulations courantes. Comment puis-je migrer mon install actuelle sur une clé plus rapide sans rien perdre des longues heures de configuration ? (court terme)

2°/ J'ai bien compris comment remplacer un disque quand l'un des deux tombe en carafe. Par contre, si je choisis de changer de distrib (j'aimerais repasser sur du Debian en mode console, bizarrement je préfère dans le cadre d'un serveur), je fais comment pour ne pas avoir à recréer ma grappe, et donc éviter de potentiellement tout paumer ? (long terme)

Autant pour la clé, je pense que je pourrais trouver tout seul rapidement (surtout depuis l'avènement des netbooks et leur absence de lecteur optique), mais l'histoire de changement de distrib me rend perplexe, et j'ai du mal à formuler une recherche qui répond à ma question sur les moteurs de recherches. Si vous avez besoin d'infos en plus, demandez, je ne sais trop quoi mettre pour l'instant.

J'espère que la réponse ne sera pas d'une simplicité affligeante, parce que je ne compte déjà plus les heures de lecture...

[madko]

1) dd if=/dev/<clef actuelle> of=/dev/<nouvelle clef usb> te fera une copie brute de ta clef, mais fait le sur une autre machine, vaut mieux eviter que le linux dessus soit en train de tourner

2) Normalement si tu sauvegarde ton mdadm.conf qui est dans /etc/ c'est bon, j'ai fait le test en passant du centos à une fedora ça marche niquel. C'est du raid logiciel donc c'est très souple, tant que ya pas de changement majeur dans le kernel pour la gestion du raid, le changement de distro ne devrait pas poser de problème.

Sinon les numeros de séries des disques dur n'ont pas à se suivre, tu peux même prendre des disques de marque différente. Pour l'os sur clef usb faut chercher sur le net tu as pas mal de tuto pour préserver sa longévité (genre log en tmpfs), car comme on le sait, le nombre de cycle d’écriture sur ce type de support est limité. Perso j'aurai pas fait de partition sur md0 mais bon ça change rien.

[seboss666]

Je sais que je n'aurais pas eu besoin de créer une partition, mais apparemment, je pouvais pas l'utiliser sinon. C'est le point qui m'a fait bobo au crane en lisant les différents tutos, et j'ai gardé le premier truc que j'ai testé qui a marché.

Ah sinon maintenant GParted reconnait md0p1, mais pas les partitions dans /dev/sda ni sdb (en tout cas le flag raid est coché). Je vais visiblement devoir faire quelques crash tests avant de valider le tout. Du style, installer une autre distrib et voir si je peux monter le raid dans cet état. Sinon, retour à la case départ, et si vous avez une chtite manip rapide voire plus propre (du style, monter /dev/md0 directement, sans repasser par la case "recréer table+partition), je suis preneur. Comme rien n'est définitif, je suis prêt à faire quelques manipulations (quand le temps me le permet).

A noter aussi que la clé USB n'est pas un support définitif. Disons que c'est le seul support "stable" que j'ai sous la main qui me permet d'avoir un système installé sans toucher aux durs. D'où aussi ma question du transfert de distrib. Il y a de grandes chances que ça se finisse autrement d'ailleurs.

[RaphAstronome]

(les numéros de série des disques durs se suivent !)

Il faut mieux éviter ce genre de chose car ça augmente le risque que tous les disques lâchent en même temps.

Il est même parfois recommandé de mettre des disques de modèles différents ce que je fais d'ailleurs dans mon NAS.

Par contre le RAID 0, il faut mieux mettre les mêmes pour les perfs car de toutes façon si un disque lâche, le RAID est mort.

J’espère ne pas avoir fait de grosse connerie.

Non tu t'est juste compliqué la vie.

Il est inutile de formater les disque séparément car ils seront reformatés par le RAID après, il faut juste faire deux partitions de tailles exactement identiques (attention si les modèles de disques diffèrent).

Si tu souhaite juste avoir une seule partition sur ton disque tu pouvais directement formater /dev/md0 en ext4 (ou autre), pas besoin de ce complexifier la situation.

vaut mieux eviter que le linux dessus soit en train de tourner

Le Linux qu'il y a sur la clé ? Oui effectivement il faut le faire à partir d'une autre install et la clé doit être démontée pour ça. D'ailleurs fais un backup de cette clé ça t'évitera d'avoir à reconfigurer quoi que ce soit si elle grille.

[seboss666]

Pour la clé, ça ne sera surement pas définitif, donc elle n'aura pas le temps de "griller". D'où toutes ces questions sur la "portabilité" de mon install.

Si tu souhaite juste avoir une seule partition sur ton disque tu pouvais directement formater /dev/md0 en ext4 (ou autre), pas besoin de ce complexifier la situation.

Je m'en doutais un peu, je pense que je vais donc péter tout ça et refaire au propre.

Par contre côté mdadm.conf, j'ai ça :

# mdadm.conf

#

# Please refer to mdadm.conf(5) for information about this file.

#

# by default, scan all partitions (/proc/partitions) for MD superblocks.

# alternatively, specify devices to scan, using wildcards if desired.

DEVICE partitions

# auto-create devices with Debian standard permissions

CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system

HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts

MAILADDR root

# definitions of existing MD arrays

# This file was auto-generated on Wed, 12 Jan 2011 19:39:43 +0100

# by mkconf $Id$

Si j'ai bien compris, il n'y a aucune inscription en dur de mon installation, et il sniff les superblock au démarrage pour lancer son affaire. Par contre, j'ai ajouté manuellement ma partition dans mon fstab.

En tout cas, j'en comprend un peu plus maintenant. Merci à vous.

[madko]

Ton raid est remonté après un reboot?

Regarde ce que donne mdadm --examine --scan et si c'est intéressant faudra le coller à la fin de ton fichier /etc/mdadm.conf. Habituellement je fais un mdadm --examine --scan >> /etc/mdadm.conf après la création du raid.

[seboss666]

Petite mise à jour de mes pérégrinations (parce que j'ai de nouvelles questions )

Comme j'avais encore plusieurs idées à tester, j'ai tout repris de zéro, ou presque. Exit l'usb, un "petit" 160Go pour le système, et toujours la paire de 1500 pour les données. Et j'ai voulu tenter FreeNAS (vu qu'on peut installer PS3 Media Server dessus). Pas de bol, après un reboot, impossible de lire la config. On va dire que ça m'a un peu gonflé, et que j'avais pas envie de chercher plus loin, retour sous linux.

Ubuntu 10.10 donc, et ce coup-ci, je n'ai pas fait la bêtise de recréer une table de partition. J'ai donc monté directement /dev/md0 en ext4, et tout fonctionne bien au reboot, et tout est inscrit en dur dans les fichiers de config (mdadm.conf et fstab). Je passerais sur le fait que la xbox n'arrive plus à lire aucun fichier de PS3 Media server, alors que l'install est la même que celle sur clé (On verra plus tard, c'est juste pour les MKV, donc en attendant, minidlna).

Ce que j'aimerais faire par contre, c'est pouvoir monter cette grappe depuis, disons, un liveCD. J'ai essayé avec Ubuntu 10.04, mais disons que le /proc/mdstat est plutôt étrange :

Personalities : 
unused devices: <none>

Non il ne manque rien, il n'affiche rien dans personalities, même après installation de mdadm (en mode live toujours). Et j'avoue que je coince un peu.

Donc tout marche bien, mais j'aimerais pouvoir monter la grappe depuis une autre install (sinon, le raid n'a aucun intérêt à mon avis). Ou alors, si je peux monter les disques séparément, je serais obligé de procéder à une resynchronisation, ce que je ne trouve pas très élégant. Si j'ai bien compris évidemment...

[madko]

Tu as scanné les disques pour découvrir le raid?

mdadm --scan --examine

[fabien29200]

Pour monter ton RAID depuis un live cd Ubuntu :

# apt-get install mdadm

# mknod /dev/md0 b 9 0

# mdadm --assemble /dev/md0 /dev/sda /dev/sdb

Adapte les périphériques en fonction de ta configuration.

[seboss666]

Eh ben voilà ! Je savais bien que j'étais une bouse, aussi peu de commandes pour que ça marche, y'a de quoi rager. J'ai testé avec mon fameux 10.04 live, et aussi sur un MCNLive (basé sur Mandriva). Fonctionne à merveille !

Bon, me reste plus qu'à tripoter du côté de PS3 Media Server, et comprendre pourquoi il veut pas faire son boulot correctement. Tiens, pendant que j'y suis, j'ai suivi à la lettre le tuto sur Ubuntu-fr, et la première fois ça a marché, la deuxième fois non. Sachant que c'est Une Xbox 360 qui lit les fichiers (une vraie merde en matière de multimedia, enfin passons), y'a-t-il quelque chose de spécifique que je devrais rentrer dans la configuration (j'utilise pms uniquement en ligne de commande) ?

[seboss666]

Me revoilà, avec une première mise à jour de mon serveur : passage de Raid1 (qui a tourné comme sur des roulettes pendant tout ce temps) à du Raid5, avec un 3ème larron acheté exprès pour l'occasion, et ayant la meêm capacité que les deux autres.

Sauf que là, j'en suis à la phase de resynchronisation (après plusieurs tâtonnements et deux créations avortées). Mais quand j'ai un truc bizarre :

# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdc1[1] sdb1[0]
 	2930269440 blocks super 1.2 level 5, 128k chunk, algorithm 2 [3/2] [uU_]
 	[==================>..]  recovery = 90.8% (1331683968/1465134720) finish=34.3min speed=64828K/sec

unused devices: <none>

Pourquoi met-il obligatoirement un disque en spare ? J'ai déjà eu ce truc lors des deux premières tentatives, et la deuxième fois, j'avais carrément refait tout à zéro, pensant que les messages à propos des partitions précédentes posaient problème (un autre problème avec un raid créé en read-only, que j'ai shooté avant de trouver la solution )

Pour créer la grappe, j'ai utilisé Ce tuto, qui utilise 4 disques, dont un de spare. Mais j'ai explicitement dit de ne pas utiliser de spare (--spare-devices=0), et pourtant, il m'en a reservé un quand même.

J'ai manqué quoi là ? (je vais pas tarder à aller me coucher, en laissant la reconstruction se finir, donc toute manipulation supplémentaire sera faite demain soir).

[fabien29200]

Est-ce que tu as tenté avec un --raid-devices=3 sans mettre de --spare-devices=0 ?

[seboss666]

De retour de taf : j'avais bien spécifié 3 disques, et 0 spare. Et en fait il était marqué en "spare" pendant la reconstruction (étrange), mais après la fin, il est bien marqué online :

# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[0] sdd1[3] sdc1[1]
 	2930269440 blocks super 1.2 level 5, 128k chunk, algorithm 2 [3/3] [uUU]

unused devices: <none>

# df -h |grep md0
/dev/md0          	2,7T  556G  2,1T  22% /home/stockage

Everything's ok ! Bon par contre, c'est la loose, j'ai plus de ports SATA integré pour les futures mises à jour, et je parle même pas de l'absence de place dans le boitier. Quelqu'un connaitrait pas un boitier qui ne proposerait que des baies 3,5" ? (je me charge des extensions)

[RaphAstronome]

Où vois tu un disque en spare ?

Tu as changé ton RAID 1 en RAID 5 ? (c'est possible ?)

[seboss666]

Je n'ai pas collé toutes les infos, mais un 'mdadm --detail /dev/md0 m'indiquait un disque en spare. Au niveau du mdstat, c'est le '[uU_]' (troisième disque non utilisé) qui me renseignait.

On ne peut pas convertir à la volée un RAID1 en RAID5, j'en ai chié comme un malade à tout retransférer sur des disques externes (USB2 power, la misère vu le volume de données), tout péter, ajouter le disque, et créer une nouvelle grappe. Heureusement, j'ai pu lancer le transfert de retour juste avant de partir au taf ce matin, donc j'ai pas attendu ce soir pour remettre en service le dlna et samba.

Je vais pas tarder à y coller en plus mon dossier de VMs, et redéfinir les partages samba (pour l'instant j'en ai qu'un, qui donne accès à tout ).

Sur cette install-là, j'ai pas retenté l'aventure PS3 media server, vu le peu de mkv que j'ai à lire pour l'instant (2 fichiers, royal). Et pour les rares fichiers avec un format exotique (pour la xbox, très facile à obtenir), c'est pas trop grave.

Et avec un disque en plus, le serveur ne fait bizarrement pas plus de bruit (il est encore dans la piaule, j'ai pas encore eu le temps de faire les travaux pour la pièce dédiée).