NAS, Switch 10Gb et surtout : modules SFP+

[Fab'z]

Hello !

J'ai acheté 2 SSD M.2 Samsung 980 de 500Go. J'ai voulu tenter des pti' bench' sur des liens 20Gb. Synology ayant effectué leurs bench' avec des ssd sata dans toutes les baies, je me suis dis qu'avec du M.2 en RAID 0 j'aurai pu aller un peu plus loin...

Juste avant je test avec les liens actuels (10Gb en direct iSCSI MTU 9000sur un volume brute NVMe en RAID 0, DSM 6.2.4)

Bon, ba c'est pas foufou mais le lien fibre est bien mieux rempli qu'auparavant. Je m'attendais à mieux.

J'ai ensuite pété mon réseau pour créer des liens 20Gb partout. Bond de fibre sur le NAS en LACP et MTU calé a fond, LACP sur le switch et activation de la prise en charge des jumbo frames, installation d'un Windows Server 2019 sur un pti SSD pour créer un Teaming en LACP Dynamique sur le PC. Heureusement que j'ai une carte fibre Intel 🙂 l'OS ne détecte même pas la carte 1 Gb de la carte mère. J'ai rien installé de particulier en dehors de Crystal Disk Mark, j'ai bien des liens 20Gb partout, chaque port est bien actif coté switch, test de ping pour vérifier les MTU, ok ok.

Et ben c'est relou !

 

Pas moyen de faire fonctionner tout ça sur 20Gb et les perf' sont pas très différentes 😞

La config du LACP est très limité sur le switch, je me dis que ça doit venir de là... mais j'en suis pas trop sûr. Ca vient peu être de la gestion des volumes sur DSM, déjà qu'il faut les formater d'une certaine manière pour qu'ils soient reconnu. Je sais pas comment ils ont réussi à agréger les liens. DSM 7 peut être... bref !

On est loin des perf' d'un seul SSD :

 

Si certain ont des idées je suis preneur. Sinon tant pis, J'ai pris 2x500Go au cas ou pour garder un seul SSD sur un seul lien 10Gb direct et l'autre pour le PC. Le SSD présent est pas ouf (MX500 sata M.2), je le garderai pour stocker des jeux et je garde le NVMe pour le système. Je me contenterai de perf' mono SSD qui sont tout à fait honorable pour un petit home lab.

 

Modifié le 7 juin 2021 par Fab'z

[patos]

Ben dis donc, tu t'emmerdes dans la vie 😄

Un lien agrégué 20G, c'est une erreur. Pourquoi ?

-Pour du iSCSI, un coeur CPU tient environ 3,5G de charge en débit fichier, sans accélération matérielle. C'est dû au trafic TCP/UDP qu'il faut gérer (les checksums etc..). Avec une carte accélératrice, tu peux monter à 10G, mais tu viens de perdre 1000€HT. En multithread sans carte, tu peux atteindre 8 à 9G. Tu n'as pas besoin de plus de 10G.

-2x10G n'est pas plus rapide que 10G. Les paquets mettent le même temps de trajet: tu peux seulement en passer plus à la fois. Pas de bol, ce type de protocole n'est pas à l'aveugle mais a besoin de réponse du client (1G en download prends environ 30M en upload pour le contrôle). Les réponses n'étant pas plus rapides, tu ne gagnes pas en débit. Si tu veux gagner, il faut du 25G. Non, du 40G ne ferait pas mieux l'affaire (car c'est 4x10G dans un SFP).

-LACP. L'acronyme d'emmerdes en réseau. Pour être relativement tranquille, il faut que ton switch possède une dégradation vers un port réseau classique si le LACP merde. En gros, si un port tombe, le LACP fonctionne toujours, mais si le LACP côté client ou serveur se met en vrac, have fun pour le diagnostic... Avec la dégradation (fallback), tu peux débrancher un câble et comme ça il agit comme un port normal.

Un port 10G c'est cher. Alors 2 ports 10G pour 10G, c'est naze 😄

 

Du coup, parlons NAS de merde: tes performances sont excellentes:

- Q8T1-1M séquentiel = concours de zizi. Dans la vie, on se la tape sur la chaise.

- Q1T1-1M séquentiel excellent

- Q32T1-4K random = la vie. Au delà de 100M sur cette statistique, ton matos est bon. Par contre le cache SSD fait tout parce que le Q32T1 force les purges de cache... Donc ton raid5 finit carpette (d'où les performances nazes sans le SSD )

- Q1T1-4K random = la vie saturée. Il est plus qu'excellent vu le comportement de ce test. N'oublie pas que ce test consiste à vouloir transférer un fichier de 100M par la poste tarif éco.

 

Bref, y'a des baies à 50K€ qui ont de moins bonnes performances que ton nas (mais elles, les performances sont constantes du premier au dernier Go). Alors soit très content ainsi 😄

 

[Fab'z]

@patos Hello !

Je te rassure c'est juste pour les chiffres que j'ai essayé l'agrégat 10Gb 😉 Mais j’ai mal lu le protocole de test de Syno, leur bench est fait sur de l’agrégat iSCSI. Donc faut que je recommence avec le MPIO et le MCS pour réussir a réunir les conditions pour atteindre les chiffres annoncés. Je suis juste curieux de savoir si je peux dépasser ces chiffres avec du M.2 NVMe plutôt qu'un RAID de SATA.

Dans les faits je suis autour des 900€ TTC, cartes réseaux 2x10G switch et fibres. 😄 Après j'avais pas un choix fou pour avoir des cartes certifié Windows ou VMware en mono SFP+...

Mais je pense que je me plante depuis longtemps. C'est trompeur d'avoir affiché la somme des vitesses des agrégats alors qu'en fait on peu pas avoir un unique transfert à cette vitesse cumulé. Sauf avec quelques tours de passe passe en l’occurrence mais j'ai pas trouvé beaucoup de sites qui parlent de cette fausse idée du LACP. Je l'utilise au boulot pour avoir un lien de secours depuis des switchs d'accès Aruba IO vers des coeurs en Aruba 2930F stacké, je suis pas hyper fan du spanning tree. J'ai suivi les conseils d'un presta... bon. On verra si c'est si chiant que tu le dis.

 

Dans tous les cas je suis content des perf'. Maintenant j'ai bien 2 tiers de stockage sur le NAS (pour ceux que ça intéresse) ça me permet d'utiliser des SSD en plus alors que les 2 ports M.2 du PC sont déjà occupés. J'utilise les ports SATA du PC pour mes vieux SSD. le double SFP+ me servira quand même, une interface pour accéder au réseau classique et l'autre pour du direct SCSI. Il devrait tout tenir normalement. D'ailleurs les bench' ont fait chauffer le proc' ^^ il a pris 12°C dans les essais. 😛

Super content 🙂

 

[patos]

il y a 30 minutes, Fab'z a dit :

@patos Hello !

Je te rassure c'est juste pour les chiffres que j'ai essayé l'agrégat 10Gb 😉 Mais j’ai mal lu le protocole de test de Syno, leur bench est fait sur de l’agrégat iSCSI. Donc faut que je recommence avec le MPIO et le MCS pour réussir a réunir les conditions pour atteindre les chiffres annoncés. Je suis juste curieux de savoir si je peux dépasser ces chiffres avec du M.2 NVMe plutôt qu'un RAID de SATA.

Dans les faits je suis autour des 900€ TTC, cartes réseaux 2x10G switch et fibres. 😄 Après j'avais pas un choix fou pour avoir des cartes certifié Windows ou VMware en mono SFP+...

Mais je pense que je me plante depuis longtemps. C'est trompeur d'avoir affiché la somme des vitesses des agrégats alors qu'en fait on peu pas avoir un unique transfert à cette vitesse cumulé. Sauf avec quelques tours de passe passe en l’occurrence mais j'ai pas trouvé beaucoup de sites qui parlent de cette fausse idée du LACP. Je l'utilise au boulot pour avoir un lien de secours depuis des switchs d'accès Aruba IO vers des coeurs en Aruba 2930F stacké, je suis pas hyper fan du spanning tree. J'ai suivi les conseils d'un presta... bon. On verra si c'est si chiant que tu le dis.

 

Dans tous les cas je suis content des perf'. Maintenant j'ai bien 2 tiers de stockage sur le NAS (pour ceux que ça intéresse) ça me permet d'utiliser des SSD en plus alors que les 2 ports M.2 du PC sont déjà occupés. J'utilise les ports SATA du PC pour mes vieux SSD. le double SFP+ me servira quand même, une interface pour accéder au réseau classique et l'autre pour du direct SCSI. Il devrait tout tenir normalement. D'ailleurs les bench' ont fait chauffer le proc' ^^ il a pris 12°C dans les essais. 😛

Super content 🙂

 

Le LACP est une bonne idée entre équipements dédiés: switchs du même fabricant (mieux: modèle), équipements testés. Là où c'est une mauvaise idée, c'est quand on s'en sert pour du stockage réseau.

Le réseau iSCSI possède le protocole MPIO dans le milieu professionnel: il te permet qu'une ou plusieurs IPs soient connectés à une ou plusieurs IPs, ce qui multiplie les chemins comme des petits pains et permet, grâce à la gestion des chemins, d'avoir de la redondance. Windows 10 ne supporte le MPIO qui sur la version Volume Licence (Enterprise je crois). Sinon c'est Windows Server, et là tu peux faire péter les scores ^^

Quand tu fais du réseau de bâtiment, le LACP est entre équipements qualifiés. Sinon, y'a les liens administratifs qui sont pas mal (deux liens ON entre deux switchs sans spanning tree: un lien est actif l'autre non. En cas de problème, instant up de l'autre et retour à l'original dès que ça le peut. L'avantage est qu'il n'y a pas de LACP à gérer en face !).

Par contre, le LACP, c'est top sa mère pour le réseau de datacenter par contre. Surtout avec les équipements qui font du MLAG: du LACP entre un équipement d'un côté et deux de l'autre (exemple: DELL S4112T). Redondance totale, débits de cons avec l'utilisation de tous les chemins, etc... J'ai jamais réussi à saturer mes LACP à 4x40GB (pourtant j'y ai mis du coeur ^^ )

[Fab'z]

Mes bench ont été fait sur du Windows Server 2019. Je sais pas faire de teaming autrement avec une Intel X722.

 

Je connaissais pas le MLAG, c'est justement ce que je met en place en ce moment dans le principe visiblement. C'est principalement pour de la redondance, je bosse sur des petites infra industrielles en 1GB. J'aurais jamais dans les mains du matos qui ira plus vite que 10Gb (qui sert tout au plus pour de la synchro Datacore).

C'est bon à savoir que ça marche bien 🙂

[patos]

Il y a 10 heures, Fab'z a dit :

Mes bench ont été fait sur du Windows Server 2019. Je sais pas faire de teaming autrement avec une Intel X722.

Windows server ça change tout.

Sur ton NAS, tu mets deux IPs sur deux cartes réseaux différentes, les deux joignables en iSCSI. Pas de LACP: des ports normaux (sauf un vlan si besoin est).

Sur ton serveur, tu dissocies les 2 cartes et leur mets 2 IPs distinctes: pas de LACP pas de teaming. Rien (sauf un vlan si besoin est).

Sous du Windows Server, il faut activer la fonctionnalité Multipathing I/O (MPIO). Reboot. Ensuite, dans ce module, tu actives le support du iSCSI logiciel. Reboot. Ensuite dans le module iSCSI Software Initiator, tu connectes ton lecteur. Tu vas dans tes cibles favorites et efface tout. Tu retournes là ou tu connectes ton lecteur et sur ton disque, tu ajoute un chemin en cochant "support de chemin multiples". Reboot. Ensuite tu retournes dans l'initiateur iSCSI et tu rajoutes à nouveau des chemins avec les 2 IPs de tes cartes réseaux vers les 2 IPs de ton NAS, à chaque fois en cochant les 2 cases (dont celle qui dit chemin multiples). Tu obtiens donc 5 chemins enregistrés: 4 spécifiques, et 1 avec l'IP source automatique et une des IPs du NAS. Une fois fait, tu retourne dans ton périphérique sur l'intiateur iSCSI dans la gestion des chemins et passe en mode "alterné circulaire".

Félicitations, tu as possède le débit maximal de ton NAS par rapport à ton poste.

[Fab'z]

Bon et bien c'est désastreux 😄

 

 

Quand j'enlève un lien je retrouve mes bench' d'avant. Quand j'ai les deux j'ai un peu plus de perf' en écriture mais en lecture c'est la cata...

Je creuse, d'autres combinaisons à tester.

[patos]

Peut-être que ton NAS n'aime pas le multi-chemins également.

Tu devrais laisser finir le test, tu peux avoir d'excellentes surprises en Q32T1/Q1T1 qui sont clairement les plus importants à l'usage.

[Fab'z]

Hop c'est bon 🙂

 

J'ai simplement scindé physiquement le réseau. J'aurai pu faire un VLAN mais j'ai remis ma conf' initiale. Une interface NAS/PC vers le switch, et une interface directe NAS/PC. J'ai rien changé au reste et boum ça déboite !

Je dépasse donc légèrement les chiffres annoncé par Synology, bien qu'on ne connaisse pas les détails exact du protocole de test. Par contre en aléatoire 4K Q32T1 je suis à 104k en lecture mais 75k en écriture. Et là encore je n'avais qu'un seul SSD. Mes tout premiers tests grimpaient un peu plus avec un RAID0 de NVMe. Bon par contre le proc' a chauffé encore, un bon 60% de charge ^^

 

Moralité l'agrégat faut que ça reste au boulot pour les besoins de résilience entre équipements réseaux. Le SSD en stockage brute et non en cache ça marche bien sans que ça soit compliqué à faire soit même (faut juste réussir a trouver l'info). Le 10Gb ça tabasse bien 🙂 Après on peu passer sous les 500€ de budget assez facilement pour ceux qui se fiche de la fibre optique et des cartes certifié pour environnement professionnel (combo CR NAS/switch/CR PC 10Gb).

 

👍