LVM besoin de quelques info pour mise en prod.

[theocrite]

Je voudrais réinstaller un server de sites web pour mettre de nouvelles fonctionnalités.

Une m'interesse particulièrement, c'est LVM. L'utilisation de LVM me permettra de créer une LV (Logical volume ~ partition) de 20Mo (ou plus) à chaque fois que quelqu'un désire créer un compte. Le but est d'éviter les abus (comptes de 1-2Go par exemple).

Le problème c'est que LVM est assez récent (c'est la version 1.0.2 je crois). J'aimerait savoir si quelqu'un a déjà testé la création automatisée d'un grand nombre de LV (200->400) répartit dans 2-3 VGs (Volume Group). Je n'ai qu'un seul volume physique, donc pas besoin d'extend, de supression ou de gestion de plusieurs disques pour le moment. Et surtout est-ce que c'est STABLE ?

Une deuxième chose que j'aimerais savoir, c'est si dans un environement de production la perte de performance due au pointeurs LE->PE et à la fragmentation éventuelle des données est négligeable davant le nombre d'opération effectuées, ou est ce que les utilisateurs vont sentir un ralentissement notable ? Sachant que la connection est une rénater et donc que la vitesse est limitée surtout par la bande passante et pas par les opérations sur le serveur.

On m'a parlé aussi d'un démon qui permettra de vérifier les tailles des dossiers et de prendre des décision en fonction. Quelqu'un connait ?

Merci au personnes qui pourront m'éclairer.

[gauret]

J'ai jamais utilisé LVM mais je m'y intéresse beaucoup. Sache déjà que LVM va changer de version avec le noyau 2.6 pour une version beaucoup plus évoluée, et même si je pense que la compatibilité sera conservée, je sais pas trop ce que ça va donner.

Au vu de ton problème, il semblerait que tu cherches surtout à gérer des quotas. Dans ce cas, pas besoin de passer par LVM, Linux le fait tout seul, à condition que tu utilises pas un système de fichiers en ext3. Perso, je te conseille XFS, il est assez terrible, et il gère les quotas dynamiques.

Ensuite, la lecture d'un HOWTO sur les quotas sous Linux te donneras toutes les infos que tu veux (en gros c'est quelques fichiers à éditer et des options à placer dans fstab)

Voilà, a+

Gauret

[theocrite]

La future version du noyau va sortir dans 6 mois, c'est beaucoup trop long. Je dois refaire le serveur courant de la semaine.

J'ai parlé de XFS à d'autres admins du serveur, mais ca ne semble pas satifaisant parce que malgré ses qualités indéniables, c'est assez récent et pas beaucoup utilisé en prod. C'est pourtant ce qu'il nous faut. LVM nous offre aussi des garanties d'évolutivité et de sécurité.

Pour ce qui est de HOWTO, nous avons déja plusieurs milliers de pages de HOWTO de nombreux truc dans un local. C'est pas un problème.

Merci pour ta réponse Gauret, t'es vraiment un dieu de Linux.

P.S. Je recherche toujours quelqu'un qui a déja utilisé LVM, pour me renseigner sur les performances/stabilité/adaptabilités de LVM. Même si c'est dans un evironement pas en prod et à petite échelle.

[gauret]

La future version du noyau va sortir dans 6 mois, c'est beaucoup trop long. Je dois refaire le serveur courant de la semaine.

Oui bien sûr, je te conseillais pas d'attendre le 2.6 (surtout si ils nous refont le coup du 2.4... ;-) ), ce que je voulais dire c'est que je sais pas ce qu'il en sera de l'évolutivité de la chose si tu te lances maintenant dans du LVM.

J'ai parlé de XFS à d'autres admins du serveur, mais ca ne semble pas satifaisant parce que malgré ses qualités indéniables, c'est assez récent et pas beaucoup utilisé en prod.

Récent ?? C'est le système de fichiers de chez SGI (Silicon Graphics) si je me souviens bien, et qui a été mis sous GPL. C'est donc le fs de IRIX, un UNIX qui a déjà un âge correct il me semble. Et c'est pas mal utilisé en prod pour les serveurs de fichiers Samba parce que Samba sait gérer les ACL à la NT grâce à XFS (Je crois que c'est possible avec ext3 aussi maintenant d'ailleurs).

C'est pourtant ce qu'il nous faut. LVM nous offre aussi des garanties d'évolutivité et de sécurité.

Ah bon dans ce cas, si tu es sur de l'évolutivité de LVM...

Moi j'avais juste l'impression que tu étais parti pour prendre un rouleau compresseur pour écraser une mouche, c'est tout... ;-)

Pour ce qui est de HOWTO, nous avons déja plusieurs milliers de pages de HOWTO de nombreux truc dans un local. C'est pas un problème.

Ca sert toujours ! Et il y a TLDP si y'a un manque :-) Ne jamais sortir sans lui

Merci pour ta réponse Gauret, t'es vraiment un dieu de Linux.

humm, euh, disons que je fais ce que je peux :-)

A+

Gauret

[Dark26]

je pense aussi qu'un sytème de quota est surement meiux enfin bon

[Sandeman]

Les LVM passent en V2 dans le 2.6 et il semble que ça soit assez acrobatique pour passer de v1 à v2. Je reste prudemment en 2.4.21+LVM+XFS pour l'instant.

Pour les problèmes de comptes, je ne connais pas le nombre de comptes que tu as a créer, mais je t'imagine mal créer un LV par user, maintenir la fstab et tout le tintouin en conséquence.

Un système de quotas est effectivement plus approprié.

Cependant LVM+XFS est un bon choix : tu créé un LV pour le /home (un disctinct pour le /home/root ). Tu le formate en XFS (ou en reiser), comme ça ça te permet de faire un lvextend puis un xfs.growfs pour t'adapter aux besoins de tes utilisateurs.

J'utilisais déjà XFS en 1997 sur des stations SGI, ça me semble un bon gage de stabilité. Et puis les fonctions de réparations sont assez impressionantes. Seul petit défaut, le patch sur le 2.4 a tendance à créer des rejects quand tu veux appliquer un autre patch (mosix, netraverse ...). Heureusement le 2.6 l'intégrera en natif :)

My 0,2 Bogomips contribution

[Sandeman]

J'oubliais....

Pour répondre complètement à ta question : niveau "garanties", l'évolution naturelle de tout ça est EVMS, avec IBM derrière pour faire avancer le tout. Je pense que ça a un bonne avenir

My 0,1 Bogomips contribution

[theocrite]

Oui bien sûr, je te conseillais pas d'attendre le 2.6 (surtout si ils nous refont le coup du 2.4... ;-) ), ce que je voulais dire c'est que je sais pas ce qu'il en sera de l'évolutivité de la chose si tu te lances maintenant dans du LVM.

Bah, de toutes façons, il faut 6 mois après que les distribs soient sorties pour qu'on considère que ce soit stable et qu'on le mette sur un serveur de test. Ce n'est qu'après si nos test nous semblent satisfaisants que nous passons en prod.

De toute facons la version du LVM est adaptée au noyau si on change de noyau, on change de LVM, donc pas de problème de compatibilité. C'est totalement transparent pour l'utilisateur. Donc la seule mise a jour est coté serveur (donc que si on change le noyau).

Récent ?? C'est le système de fichiers de chez SGI (Silicon Graphics) si je me souviens bien, et qui a été mis sous GPL. C'est donc le fs de IRIX, un UNIX qui a déjà un âge correct il me semble.  Et c'est pas mal utilisé en prod pour les serveurs de fichiers Samba parce que Samba sait gérer les ACL à la NT grâce à XFS (Je crois que c'est possible avec ext3 aussi maintenant d'ailleurs).

Vu que tout le monde a l'air assez unanime sur ce point, je vais me renseigner et étudier la faisabilité de l'utilisation de XFS.

Ah bon dans ce cas, si tu es sur de l'évolutivité de LVM...

Moi j'avais juste l'impression que tu étais parti pour prendre un rouleau compresseur pour écraser une mouche, c'est tout... ;-)

C'est pas faut, mais on en est tout a fait conscient. Mais on ne paye pas le rouleau compresseur ni l'essence. Qui plus est, le rouleau compresseur n'est pas réèlement (a priori) moins performant que la tapette à mouche (en terme de performances pas de place)

Merci pour ta réponse Gauret, t'es vraiment un dieu de Linux.

:oops:

humm, euh, disons que je fais ce que je peux :-)

pas de modestie. Tout le forum, je pense, est daccord avec moi.

Pour les problèmes de comptes, je ne connais pas le nombre de comptes que tu as a créer, mais je t'imagine mal créer un LV par user, maintenir la fstab et tout le tintouin en conséquence.

Un système de quotas est effectivement plus approprié.

Nous avons en gros 2-3 partitions logiques qui vont héberger chaqune 100-200 comptes au grand maximum. Les comptes déja présents seront créés avec un script pour automatiser tout ça, et les suivant seront fait au cas par cas avec ssh et ligne de commande.

Enfin, c'est comme ça que c'est prévu pour le moment. Meci pour votre aide. J'vais y travailler tout de suite.

[coyotito]

je pense qu'il manque une infos importante que Theocrite a oublie de fournir : l'acces des comptes se fait par WebDav donc c Apache qui lit et ecris les données!!!! donc toutes les données des comptes appartiennent au user nobody et group nobody ce qui rend plus que delicat l'application des quotas par compte (impossible???)

c'est pour ca que l'on a pense a la solution des lvm pour creer des comptes a taille définie

maintenant tous conseils ou sugestions sont les bienvenus

merci d'avance

[gauret]

je pense qu'il manque une infos importante que Theocrite a oublie de fournir : l'acces des comptes se fait par WebDav donc c Apache qui lit et ecris les données!!!! donc toutes les données des comptes appartiennent au user nobody et group nobody ce qui rend plus que delicat l'application des quotas par compte (impossible???)

c'est pour ca que l'on a pense a la solution des lvm pour creer des comptes a taille définie

maintenant tous conseils ou sugestions sont les bienvenus

merci d'avance

DAMN ! Ah oui effectivement pour les quotas c'est raté, sauf bidouille infâme (du genre un chmod dans cron)

Hmm, solution pas évidente tout ça, d''autant plus que je connais pas bien WebDAV. En tout cas avec FTP ça se serait très bien passé (oui, c'est pas sécure, je sais)

A+

Gauret

[Poulpatine]

Je fais un vieil up mais bon :) .

J'aurais juste une petite question sur les LVM.

Comment ça se passe si dans mon LVM je perd un disque dur, ça entraine la corruption de toutes les données ou seulement celles qui se trouvaient sur le disque dur ?

Merci

[16ar]

Hello,

j'ai eu le malheur de perdre un disque dur comme ca (par ma faute )

Explication :

config :

2 disques dur, 2 PV sur chaque.

1 VG contenant les 4 PV

1 LV sur le VG contenant la totalité des données (environ 120 Go)

Les flags des PV sur le deuxieme disque dur indiquaient : ReiserFS (je les avait formatté comme ca auparavant)

Du coup, a l'install d'Ubuntu, il a detecté des partoches en ReiserFS sur ce disque et a créé des ligne dans le fstab a cet effet.

Résultat, a chaque démarrage, Ubuntu faisait un fsck sur les 2 PV du disque dur 2.

Résultat, a chaque démarrage, Ubuntu me mettait dans une console root etant donné que le fsck avait foiré (normal, fsck.reiserfs s'attendait a des inodes correct, toussa... Pas des données dont les inodes sont sur un autre disque/patoche a cause du LVM).

Résultat, au bout d'une semaine, j'en ai eu marre, et j'ai fait ce qui était demandé par fsck : faire un fsck.reiserfs --rebuild-tree pour réparer les 2 PV... Evidemment, j'ai pas vérifié que ct les partoches du PV. Evidemment, ca m'a reconstruit un arbre correct, mais que pour les données qui existait sur chaque PV, et j'ai eu une table d'inode valide pour chaque partition.

1 ou 2 boot plus tard, je me rends compte de mon erreur (etant donné que le LVM avait reécrit sur les PV, et donc qu'ils n'etaient a nouveau plus valides, je me suis retapé un fsck + console root) et du coup, je fais un fsck --rebuild-tree, mais ce coup ci, sur la partoche LV (data) de mon LVM.

Ca m'a récupéré quelques merdes, mais pas tout...

Bilan, j'ai 40 Go de données dans mon lost+found, et j'ai toujours pas la motivation de chercher les données dedans... (meme un ls freeze 4-10 sec pour afficher le repertoire lost+found ...)

Solution réelle a mon problême : virer les PV de mon fstab qui avait été glissé la par l'autodetection d'ubuntu et qui ne devaient pas y être.

Donc en gros, sur mes 120 Go de données, 40 Go ont été retrouvé mais foutu en vrac dans lost+found, 20 Go qui étaient sur le disque dur 2 étaient correctes et dans le bon répertoire.

le reste des données étaient sur le disque 1 et sont intactes.

Je dois quand même signaler qu'une bonne partie des mes livres Donjons et Dragons en pdf (environ 120 Mo de pdf par livre) sont corrompues. Est ce que des morceaux des bouquins ont été stocké sur le 2 eme disque ? Ou est ce que la totalité etait sur le 2 eme disque ? Ca je ne sais pas, en tout cas, j'ai quand même une grande partie de mes données en bon état. En tout cas, les données de mon disque 1 n'ont pas été altérées je pense.

Tu te trouveras avec des repertoires rouges indiquant un probleme dans les pointeurs lorsque les données étaient sur le deuxieme disque.