NAS, Switch 10Gb et surtout : modules SFP+

[Fab'z]

Hello ! 🖖

Je compte remplacer sous peux un DS414 et le déporter sur un site distant. Le successeur sera visiblement le tout nouveau Syno' avec un Zen 1. Ma liste de course commence donc avec ça :

1x DS1621+
1x carte réseau 10Gb E10G17-F2
1x Switch Aruba 1930 24G 4 SFP+
1x modules SFP+ J9150D (trouvable à 100€ sur Amazon)
2x jarretières OM2 LC/LC de 1m.

 

Le but étant d'avoir 1 port fibre du NAS vers le switch en distribution et un autre port fibre en direct du NAS vers un futur nouveau PC (en jumbo frame) pour un SAN iscsi. Je n'ai pas encore tous les éléments pour le PC mais il y aura une condition a remplir : Il faudra que la carte réseau soit compatible Windows 10 et ESXi 7.

 

Il me manque donc dans l'équation :

1x carte réseaux SFP+ pour le PC
1x module SFP+ pour le PC
2x modules SFP+ pour le NAS...

 

J'aurai besoin de lumière sur le sujet car je suis un peu frileux sur la partie SFP+ et la compatibilité. Vu que c'est a titre personnel j'ai pas envie de me rater sur les modules pour que tout fonctionne vu le prix que ça coute. Exit les carte 10Gb Asus ou Trend Net car visiblement l'Aquantia n'est pas supporté chez VMWare. Peu être de l'occasion ? je sais pas... quelles marques ?

Merci pour vos retours 🙂

[Fab'z]

Un des truc qui me trouble un peu par ex, ce sont les cartes intel X520-DA2/SR2... y'en a une qui fonctionne avec des DAC et pas l'autre ? c'est pas sensé fonctionner pour les deux un SFP+ ?

[Aloyse57]

Le truc c'est qu'il faut savoir si vous devez utiliser une fibre Single mode ou Multiple, une SR (300m) ou LR (10km)., de la fibre ou du RJ45. Les longueurs d'onde ne sont pas les même.

Commencez par trouver quel type est utilisé sur le NAS, car lui vous ne pouvez pas changer sa carte 10Gbs.

Ensuite vous pourrez choisir les tranceivers en prenant compte du type de connecteur 10Gbs : RJ45 ou fibre. Si c'est une fibre, quel type de connecteur (LC,...), puis SM/MM, SR/LR,...

DA=Cuivre

SR=Optique

J'ai acheté hier une ASUS, une TPLink, une Intel X520-DA, des tranceivers LR/LC et de la fibre LC Multi pour faire un test IRL et voir comment ça se passe 😅 pour brancher un PC sur mon switch 10Gbs Dell (infra ESXi/SAN déjà en 10Gbs).

Divulgâcheur

 

 

[Fab'z]

Hello 🙂
Merci du retour.

C'est du multimode (SR). Tous les équipements seront dans la même pièce. Je me suis verrouillé sur le switch Aruba car il y a 4 SFP+ pour 180€ TTC (exit le 10Gb en RJ45). Les SFP+ acceptent les DAC et les module fibre optique donc faut que je choisisse. Mais coté carte réseau PC c'est un peu le doute car justement la X520-DA serai pas fichu de prendre autre chose que des DAC... (d'ou le nom) il faudrait prendre une X520-SR2 en théorie.

Coté carte réseau NAS, la E10G17-F2 de Synology prend des DAC et des modules fibres dont la référence HPE/Aruba J9150B (donc D ?) (qui sont bien des modules 850nm)

La difficulté c'est que j'aurai un PC en dual boot ESXi/Windows 10 donc la carte ASUS c'est mort et la TPlink c'est du RJ...

Carte réseau PC avec module SFP ou DAC... peu ont prendre des câbles DAC si ça part vers un matériel d'une marque différente ou pas ?

Il y a quoi sinon comme bonne marque de carte SFP+ ?

[Fab'z]

Bon ba j'ai posé la question au fournisseur de ma boite ^^

J'ai trouvé des fiches technique de carte Intel disant que ça prenait des DAC et module optique... alors bon.

[Fab'z]

Hop ! A tout commandé. J'ai pas réussi a avoir de réponses ni sur le net ni auprès de fournisseurs... ça sera la loterie. J'espère pas avoir cramé 1000€ pour rien...

[Fab'z]

Bon ! 🙂

Voilà un pti' recap' de ce que j'ai pris :

1x DS1621+ (LDLC 915€)
1x Pack 4x4To HDD RED Pro CMR 7200tm (Materiel.net 580€)
1x carte réseau 10Gb Synology E10G17-F2 (LDLC 290€)
1x carte réseau 10Gb Intel X722-DA2 (Amazon US 365€)
2x modules SFP+ compatible HPE J9150D (fs.com) 20€
2x modules SFP+ compatible Intel E10GSFPSRX (fs.com 15€)
2x jarretières OM2 MMF 50/125 LC/LC de 1m. (fs.com 3,60€)
2x jarretières OM2 MMF 50/125 LC/LC de 3m. (fs.com 4,20€)

1x Switch Aruba 1930 24G 4 SFP+ (Fournisseur partner gold HPE du boulot 190€) pas encore reçu.

Total 2430€ environ

 

Alors déjà j'ai testé les modules SFP+ sur les switch Aruba du taf car j'ai pas encore le mien. Bonne nouvelle ma crainte est balayé, tous les modules fonctionnes dans tous les sens. Les compatible HPE et Intel fonctionnent dans le switch, dans la carte synology et dans la carte intel 🙂 super ! Dans tous les cas j'ai bien du 10Gb de reconnu.

Par contre petite frayeur pour la carte Intel, elle a pas été reconnu de suite sur mon vieux PC. J'ai activé une fonction dans le bios c'est remonté au démarrage suivant. Bon. Mais en tout cas pas de driver à installer, pilote Windows de base comme prévu, la carte étant certifié pour tous les OS que je souhaitais. Ca fonctionne 🙂 

 

Configuration du RAID5 sur le NAS, création de LUN en thick et mappé via la carte fibre. La le NAS est chez moi donc pas de switch, branché en direct de carte à carte sans agrégat. De toute façon j'ai rien d'autre que la grappe disque dans la boite pour l'instant donc j'aurai du mal à blinder l'interface.

hop quelques bench'

scores curieux...

La j'ai recommencé après avoir tout redémarré.

Et cette fois j'ai bien calé les MTU a 9000 partout.

 

Dans le premier cas je pense que j'avais les MTU en auto et pas bien calés. 2eme cas j'étais en 1500 des deux coté et en derniers en full jumbo frame. Le proc' du NAS bronche pas 🙂  sauf mon vieux PC de 12 ans qui avec 1,5 coeurs de saturé pendant les tests. En copie de fichier je dépasse difficilement 200Mo/s... ba oué j'ai un vieux machin, PCIe 2.0 et SATA 2. Les SSD datent un peu

 

Ca marche pas mal 🙂 demain je tests la carte intel dans le NAS pour voir si ça passe... et pour le reste ba j'ai pas encore de PC, il arrivera en 2021, quand il y aura des 3080 et des zen 3 a prix décent et disponible.

[patos]

En raid5, t'as des performances de merde. C'est le cache qui s'est alimenté qui fait que tu as de bonnes performances après.

Ton seul point noir est le dernier test: le Q31T1 4K random est le plus important des tests. Perso, j'aurais un cache SSD bien configuré, avec un bon ssd, j'aurais 200mo/s en écriture. C'est TRES important: tu prends deux nvme 250go type evo plus et tu les laisse en cache écriture. Là, t'aura un gain.

Mais je ne sais pas si on peut mettre le SSD qu'on veut, avec Synology.

[Fab'z]

Ba ça reste des perf' de 3 disques cumulés, c'est pas si mal. Le cache m'intéresse pas trop, j'ai l'espoir qu'avec DSM 7 on puisse utiliser les M.2 en stockage brute. J'ai pas besoin de grosse perf' sur la grappe mécanique, c'est que pour du stockage simple. A coté je me ferrai une grappe SSD en RAID 0 pour la virtu. De toute façon après j'ai prévu 2x1To nvme dans le futur PC pour Windows et ESX.

Mais bon, je testerai peu être le cache quand même par curiosité. C'est juste pas prévu pour l'instant. On doit pouvoir mettre ce qu'on veux en M.2, un copain a mis 2 970 pro dans un 918+ je crois.

Merci pour le retour, j'en prend note.

Modifié le 4 décembre 2020 par Fab'z

[patos]

Ce sont des perfs à 4 disques cumulés 😉

Moi je ne ferais pas le NVMe à part mais m'en servirait que en cache. Ca permet de mixer capacité et performance.

Prends deux 970 evo plus, et tu alloues ce que tu veux en cache d'écriture, sans cache lecture: tu va avoir des vraies performances, y compris pour ton simple "stockage". En plus tu pourras y caler les VMs dessus 😄

Perso j'aime pas les NAS, donc je ne saurais t'en conseiller la configuration, mais pour faire des HomeNAS, je peux t'assurer que c'est important 😉 Si on pouvait installer un *nux LVM sur un NAS, je m'en prendrais un d'emblée ^^

[Fab'z]

C'est possible 😄 je compte pas la parité.

LVM c'est déjà ce qu'utilise Synology me semble t-il, surtout pour leur RAID SHR. Sinon avec un OMV ya plein de possibilité, enfin debian tout court. J'avais mis un Proxmox sur le dernier micro Proliant pour un copain, c'était top. Bon par contre ça manque de baie...

Mais du coup pourquoi t'aime pas les NAS ? Parce que c'est conçu pour de la sauvegarde fichier au lieu de bloc ?

 

[imrage]

Il y a 4 heures, patos a écrit :

Ce sont des perfs à 4 disques cumulés 😉

Moi je ne ferais pas le NVMe à part mais m'en servirait que en cache. Ca permet de mixer capacité et performance.

Prends deux 970 evo plus, et tu alloues ce que tu veux en cache d'écriture, sans cache lecture: tu va avoir des vraies performances, y compris pour ton simple "stockage". En plus tu pourras y caler les VMs dessus 😄

Perso j'aime pas les NAS, donc je ne saurais t'en conseiller la configuration, mais pour faire des HomeNAS, je peux t'assurer que c'est important 😉 Si on pouvait installer un *nux LVM sur un NAS, je m'en prendrais un d'emblée ^^

On peut sur les nas Qnap avec  port vga ou hdmi (ou carte graphique si port pcie) . C'est ni plus ni moins qu'un micro serveur, tu a accès au bios et peut faire se que tu veux. 

Il y a plein de tuto sur les nas Qnap. 

[patos]

Pourtant la parité est lue également ^^

Tu as répondu toi-même à la question de pourquoi j'aime pas les NAS quand tu as dis "j'ai l'espoir qu'avec DSM 7 on puisse utiliser les M.2 en stockage brute".

Si t'as un Windows, Storage spaces + partage de fichiers / docker+Minio. Si t'as un Linux, LVM+Docker+Minio/SMB réponds à tous les besoins. Mais ce n'est pas clef en main comme un NAS (même si une Centos 8 avec Cockpit activé poutre des mamans ourses pour sa simplicité).

 

Il y a 2 minutes, imrage a écrit :

On peut sur les nas Qnap avec  port vga ou hdmi (ou carte graphique si port pcie) . C'est ni plus ni moins qu'un micro serveur, tu a accès au bios et peut faire se que tu veux. 

Il y a plein de tuto sur les nas Qnap. 

Je suis raciste, j'aime pas QNAP ^^ (j'en ai jamais été content en fait, malgré que j'en ai eu plusieurs à gérer). Mais merci pour l'info 🙂

[Aloyse57]

Content de voir que pour toi ça a fonctionné. Moi, ça m*rde plein pot. Les cartes sont installées (aucune reconnue nativement par W10) mais les tranceivers que 10GTek que j'ai choisi pourtant recommandés pour mon switch Microtik n'établissent pas la connexion. La led Link est allumée, mais ça ne communique pas. J'ai pris des tranceivers SFP et ceux là fonctionnent (mêmes cartes PCI, même switch, même fibre). J'ai commandé des tranceivers Microtik pour tester (2 tranceivers MTK= 8 tranceivers 10Gtek 😖). Me suis aussi acheté un testeur de fibre, car 1 des trois était erratique (connecteur avec du jeu après test).

 

[Fab'z]

Il y a 7 heures, Aloyse57 a écrit :

Content de voir que pour toi ça a fonctionné. Moi, ça m*rde plein pot. Les cartes sont installées (aucune reconnue nativement par W10) mais les tranceivers que 10GTek que j'ai choisi pourtant recommandés pour mon switch Microtik n'établissent pas la connexion. La led Link est allumée, mais ça ne communique pas. J'ai pris des tranceivers SFP et ceux là fonctionnent (mêmes cartes PCI, même switch, même fibre). J'ai commandé des tranceivers Microtik pour tester (2 tranceivers MTK= 8 tranceivers 10Gtek 😖). Me suis aussi acheté un testeur de fibre, car 1 des trois était erratique (connecteur avec du jeu après test).

 

Hello !

Merde ! Fais chier pour toi... par contre moi la carte a pas fonctionné du premier coup, faudrait activer la fonction hot plug dans le bios pour que ça passe dans l'OS apparemment. C'était spécifié dans une doc Intel en tout cas pour les X722-DAx... bien qu'en désactivant cette fonction je l'ai encore 🤔. Je suis pas hyper sûr de ce que j'ai fait pour qu'elle apparaisse dans Windows, en tout cas elle est apparu dans le bios sous le nom IBA 40G Slot 300(et 301) v1102. Après avoir redémarré en quittant le bios c'est là que je l'ai vu remonté dans le gestionnaire de périphérique.

J'ai reçu une fibre un pti' peu marqué/écrasé mais elle fonctionne quand même. J'ai pris des LC/LC duplex 50/125 OM2, les 4 ont fonctionné. Pour les SFP+; je me suis embêté à sélectionner des modèles compatible avec le switch et avec la carte Intel. J'en ai pris que 4 au début car je savais pas si l'un ou l'autre marcherai avec la carte Synology. Au final n'importe lequel marche n'importe ou et ça c'est cool. Tout vient de fs.com.

J'ai testé aussi des Tranceivers Aruba 1Gb (J4858D) avec un 10Gb à moi (compatible J9150D )et ça marche pas. Théoriquement les 10Gb sont censé encaisser 1/10Gb mais bon c'est pas grave et c'est peu être normal.

 

Si tu fais une boucle déjà dans ton switch avec tout tes SFP ça passe ? ou c'est vraiment la carte réseaux qui les prend pas ?

Modifié le 6 décembre 2020 par Fab'z

[patos]

Il y a 8 heures, Aloyse57 a écrit :

Content de voir que pour toi ça a fonctionné. Moi, ça m*rde plein pot. Les cartes sont installées (aucune reconnue nativement par W10) mais les tranceivers que 10GTek que j'ai choisi pourtant recommandés pour mon switch Microtik n'établissent pas la connexion. La led Link est allumée, mais ça ne communique pas. J'ai pris des tranceivers SFP et ceux là fonctionnent (mêmes cartes PCI, même switch, même fibre). J'ai commandé des tranceivers Microtik pour tester (2 tranceivers MTK= 8 tranceivers 10Gtek 😖). Me suis aussi acheté un testeur de fibre, car 1 des trois était erratique (connecteur avec du jeu après test).

Donnes les marques / modèles exacts de tes SFP stp?

 

Il y a 59 minutes, Fab'z a écrit :

J'ai reçu une fibre un pti' peu marqué/écrasé mais elle fonctionne quand même. J'ai pris des LC/LC duplex 50/125 OM2, les 4 ont fonctionné. Pour les SFP+; je me suis embêté à sélectionner des modèles compatible avec le switch et avec la carte Intel. J'en ai pris que 4 au début car je savais pas si l'un ou l'autre marcherai avec la carte Synology. Au final n'importe lequel marche n'importe ou et ça c'est cool. Tout vient de fs.com.

FS.COM, ça poutre en matos fibre pour 99% des usages. Le % restant est hyper spécifique (longueurs limites, beaucoup de jarretières, etc..)

Je crois avoir eu un module foireux pour une centaine achetée chez eux.

 

il y a une heure, Fab'z a écrit :

J'ai testé aussi des Tranceivers Aruba 1Gb (J4858D) avec un 10Gb à moi (compatible J9150D )et ça marche pas. Théoriquement les 10Gb sont censé encaisser 1/10Gb mais bon c'est pas grave et c'est peu être normal.

Le port dans lequel tu mets le SFP/SFP+/SFP28 peut s'adapter en termes de vitesse (100/1000/2500/10000/25000 selon ton switch/routeur) mais le SFP lui même ne peut pas. Tu achètes un SFP 10G? Il fait 10G, point. On ne négocie pas dans le monde des fibres.

[Fab'z]

Ah oui ok.  😉
Logique.

[Aloyse57]

Le switch est un Microtik CRS309-1G-8S+IN.
Les tranceivers SFP+ : 10Gtek 1.25G/10G SFP/SFP+ AXS85-192-M3
Les tranceivers SFP  : 10Gtek ASF85-24-X2-D

Mes probs sont résolus : en discutant avec vous, j'ai décidé de tout reprendre à Zéro. Ecumé les forums/web sur mon matériel, mes tranceivers sont bien notés compatibles, mes fibres testées, le loopback (fibre branchée dans les 2 ports du tranceiver) ok. J'en ai déduit que ça devait être le switch qui était défectueux-> reset total pour test avant retour à l'envoyeur-> tada tout est opérationnel !!! 🥳

J'ai acheté 2 tranceivers super chers pour rien 😓, mais là tout de suite, je m'en fiche 😉

 

[Fab'z]

Hello !

Me voilà de retour avec un test tout bête : croisement de carte réseau 10Gb. Bonne surprise 🙂 ça fonctionne farpaitement !

La carte Intel X722-DA2 fonctionne bien dans le NAS DS1621+ sans aucun changement dans le système. Elle a repris la config de l'autre, 10Gb... RAS.
Même chose dans le PC, la carte Synology E10G17-F2 est reconnu sans rien faire dans Windows 10 sous le nom de Mellanox ConnectX-3 Pro.

Donc c'est plutôt cool, je m'attendais pas a autant de compatibilité sur les équipements fibre. Il y aurai eu encore moins cher sinon, car il existe une carte SFP+ chez QNAP qui est compatible Windows (à voir dans un Syno ^^)

[Aloyse57]

Oui, on dirait que finalement les constructeurs ont décidé de minimiser les coûts entre-eux aussi, donc tout est compatible avec tout (à vérifier, il doit bien y avoir un chien galeux dans le tas).

Ce n'était pas le cas avec les SFP, mais avec SFP+, je crois / j'espère que ça va devenir la norme et quel que soit le fournisseur, ça fonctionnera.

Dans mes tests, maintenant, j'ai du Microtik, des tranceivers Mircrotik, 10GTek, Ubiquity, Dell et tous fonctionnent avec tout que j'échange les tranceivers entre eux ou pas.

Derniers tests à faire : mettre un tranceiver d'une autre marque à chaque bout de la fibre pour voir si ça fait quelque chose de mal ou pas (pour l'instant je mets les mêmes à chaque bout).

[Fab'z]

Bon ba au moins tout fini bien pour nous deux.😊

J'ai refais la même commande de SFP+ et quelques fibres de longueurs différentes du coup. Le transfert est fait, ménage fait dans la logithèque, rebascule des données sur l'ancien en hyper backup OK... tout roule. Il me reste a finaliser le site distant quand on pourra bouger de chez nous.

[imrage]

Je doit recevoir mon nas sous peut aussi (QNAP TS-h866). Pour le switch, passage du cisco (ils on augmenté les prix) au ZyXEL XS1930-12HP. suffisant pour  5 bornes Wifi et deux serveurs, le reste étant sur un autre switch (ARUBA 2540).

Je vous tiendrais au courant de me test dans un billet.

[Aloyse57]

J'ai fait un autre test : j'ai mélangé des tranceivers de marques différentes à chaque bout de la fibre, qui ne sont même pas de la même marque que la carte ou le switch, et ça fonctionne.

Switch Microtik, tranceiver Ubiquiti, fibre AmazonBasic, tranceiver 10Gtek, carte PCI-E Asus.

Puis des mélanges avec ces matériels : carte PCI-E Trend, tranceiver 10Gtek, fibre marque chinoise, tranceiver Microtik, carte PCI-E Intel, cable SFP+ Cisco (avec tranceivers intégrés).

Maintenant que mes tests de transferts avec le matériel ont démontré le gain qu'on peut avoir dans mon entreprise, on recâble toute l'infra en 10Gbs. Avant on avait juste la partie ESXi+Datastore, maintenant on aura tous les switchs (ubiquiti) en plus. La facilité de mise en oeuvre et le coût somme toute très accessible ont bien aidé la décision.
Perso, j'ai été tellement impressionné que le Père-Noël va m'offrir un Ubiquiti USW-Pro-24-POE 😁

 

[Fab'z]

Pti' UP avec un test d'un autre PC.

MTU 1500

 

MTU 9000

 

Simplement avec une machine récente j'arrive à des résultats bien meilleurs en lecture. Le proc' n'était pas au taquet cette fois ci. Par contre j'ai une grosse chute en 4K Q32T1...
Après j'ai pas relevé la version initialement utilisé de DSM, il y a eu une update ou deux entre temps spécialement pour les NAS sous Ryzen.

@Aloyse57 J'espère que ça tourne bien dans ta boite 🙂

[Aloyse57]

Il y a 4 heures, Fab'z a écrit :

@Aloyse57 J'espère que ça tourne bien dans ta boite 🙂

Oui super. Je me suis même branché tous les PC de mon Dept.IT en Fibre 10gbs.

Et pareil chez moi : mon PC et mon serveur sont en 10Gbs fibre.