[ITX] Carte mère gérant le multigig

[aurejac]

Bonjour à tous,

Je cherche un petit conseil matériel

J'ai actuellement un petit setup dans mon entreprise, ça c'est construit de manière anarchique au fil des années (ma boite est née la même année que NXi) , j'ai des machines dédiées presque chacune à un role, mais certaines ont jusqu'à 7 rôles : 

• un mini PC Jetway sous openWRT (pour overthebox)
• un NUC7 sous W2016 comme controleur de domaine + serveur TSE + Mailstore en Remote App
• un NUC6 sous W8 avec Netcam studio pour la vidéo surveillance 
• un Brix sous debian pour 3cx, et le même en backup...
• un mac mini 2012 quad core comme serveur logiciel métier / partage de fichiers / serveur gestion compta / serveur de mails / webmail / serveur calendriers / controleur Unifi
• le même miroré 1 fois par jour en serveur de backup
• un mac mini 2014 comme serveur Netboot et outil de diag "officiel apple "

 

J'ai aussi un NAS maison en OMV et  4 vieux mac pro recyclés  en NAS 10 Gbits (8 HDD de 4 To en raid6) qui servent à backupper chaque poste de travail, aussi en 10 Gbits, mais là est pas le sujet.

 

Bon tout fonctionne bien mais c'est 8 machines à gérer, les plus vieilles machines ont 8 ans et je voudrais passer tout en VMs ou dockers sous ProxMox avec 3 machines en cluster qui auraient un stockage Ceph distribué sur des SSD NVMe. But :  1 VM = 1 role, ce serait plus simple pour moi, et 1 inter sur 1 machine n'interromp pas forcément plusieurs rôles.

 

Par contre niveau matériel je galère un peu à trouver l'idéal. En fait on est en 2020 et je veux faire un setup pour les 7-8 ans à venir et voudrais pas rester bridé en 1 Gbits.

Il me faut trois machines avec :

• conso électrique réduite (idéalement 10W en idle et 30-40W en full par machine)
• encombrement réduit (taille mini = NUC       taille maxi = serveur rack 1U pas trop profond, ma baie fait 60 cm)
• puissance necessaire pas délirante, pas besoin de plus que des core i5 9xxx
• de préférence port ethernet multi-gig 5 Gbits, sinon 10 Gbits (consomme plus)
• pas besoin d'alim redondante (j'ai des onduleurs inline, température jamais élevée dans la baie, les alims sautent jamais et le cluster est là pour ça)

J'ai identifié 3 candidats : 

• mac mini 2018 : petit, puissant, économe, option 10 Gbits OK, mais puce T2 et stockage soudé (beurk beurk beurk)
• SuperMicro E300-8D : assez petit, économe, robuste, 10 Gbits en SFP
• sinon construire des PC en mini ITX avec par ex. des CM ASRock B365M et core i5-9400 + carte PCIe multigig

Avez-vous des suggestions ? Je ne trouve aucune carte mère mini ITX avec du multigig intégré... je cherche mal ?

[Carpe_Diem]

Juste une idée mais qui me paraît jouable chez ce spécialiste du nano : Zotac et ses derniers nés
- ZBOX M série Edge MI643
- ZBOX M serie MA621 Nano
- ZBOX C serie CA621 Nano

Et il y en a plein d'autres chez eux mais sauf erreur, ils sont tous en 2 ports 1 Gb et je n'ai pas vu de mono port en 5 ou 10 Gb au format ITX.
Quid de la necessité en réseau local (si j'ai bien compris).

[aurejac]

Il y a 6 heures, Carpe_Diem a écrit :

Juste une idée mais qui me paraît jouable chez ce spécialiste du nano : Zotac et ses derniers nés
- ZBOX M série Edge MI643
- ZBOX M serie MA621 Nano
- ZBOX C serie CA621 Nano

Et il y en a plein d'autres chez eux mais sauf erreur, ils sont tous en 2 ports 1 Gb et je n'ai pas vu de mono port en 5 ou 10 Gb au format ITX.
Quid de la necessité en réseau local (si j'ai bien compris).

Merci c'est intéressant aussi, mais effectivement pas de multigig non plus...

Mon besoin est que dans l'entreprise j'ai 5 techniciens qui font beaucoup de NetBoot (outils de diags) Netinstall, on stocke aussi pas mal d'image disques (genre ISO officiels).. Bref ça pompe un peu trop si chaque noeud Proxmox n'est que sur 1 Gbits. Et puis je garde les machines 7-8 ans, donc je veux prendre un peu d'avance.

Je peux bien faire de l'agrégation de plusieurs liens Gbits mais sinon je vais attendre encore quelques mois que des CM avec du multigig sortent, ça va bien se développer.

[Carpe_Diem]

J'ai eu bo chercher, je n'ai rien trouvé de mieux que https://www.anteor.com/ qui propose jusqu'à 4 ports Gb Ethernet dans une boiboite complète.
Mais bon, c'est pas ta recherche.
Alors, juste un idée comme ça : pourquoi pas un switch Ethernet et derrière des ordis avec 2 à 4 ports Gb Ethernet ?

Tu parles en mois, je parlerais plutôt en années. Les belles évol comme tu le voudrais avec du 10 Gb Ethernet, c'est plus comme dans les années 2000-2010, c'est de + en + lent à sortir. Juste une impression, mais bon...

[refuznik]

Je comprends pas trop la question une carte 10Gb ça coute pas cher. Et d'ailleurs on commence aussi à avoir des nas (asustor, terramaster ou qnap) et des switchs avec des port 5 Gb ou 10 Gb voir les dossier sur INpact Hardware.  Par contre si tu veux mettre en place des VM et surtout du ceph, tes 3 machines doivent avoir au minimum pas mal de ram, un bon proc à la base sinon ça risque de franchement ramer (voir les préco de proxmox à titre indicatifs https://www.proxmox.com/en/downloads/item/proxmox-ve-ceph-benchmark) bon après tu déportes si tu veux le stockage ça ce n'est pas le problème vu que tu utilise proxmox.

[aurejac]

Il y a 38 minutes, Carpe_Diem a écrit :

J'ai eu bo chercher, je n'ai rien trouvé de mieux que https://www.anteor.com/ qui propose jusqu'à 4 ports Gb Ethernet dans une boiboite complète.
Mais bon, c'est pas ta recherche.
Alors, juste un idée comme ça : pourquoi pas un switch Ethernet et derrière des ordis avec 2 à 4 ports Gb Ethernet ?

Tu parles en mois, je parlerais plutôt en années. Les belles évol comme tu le voudrais avec du 10 Gb Ethernet, c'est plus comme dans les années 2000-2010, c'est de + en + lent à sortir. Juste une impression, mais bon...

Tiens marrant Antéor j'avais bossé avec eux il y a quelques années, ils revendaient du Shareband (agrégation de liens internet).. Bon depuis il y a eu l'Overthebox !

Encore une fois c'est une question de place, j'ai une armoire 52U qui est bien pleine...(et j'ai déjà 3 switchs dont 1x 52 ports L3 1x 16 ports 10 Gbps et 1x MX510T, mais ils sont tous presque full)

 

En tout cas on trouve pratiquement rien, c'est effectivement lent l'adoption du nBase-T.

Je m'attendais à des annonces au CES mais nada... Non seulement pas de cartes mères à cette norme (à part le Helios64 !) mais on ne trouve presque rien en carte PCIe 2,5 Gbps ni 5 Gbps..

Le seul truc que j'ai trouvé c'est sur Aliexpress des cartes 2,5Gbps PCIe à 22€ : https://fr.aliexpress.com/item/4000253340957.html

 

Bon de toutes façons j'ai encore un peu de temps avant de maitriser Proxmox / Ceph, en attendant  je vais continuer à me former avec les NUCs

Quand je serai prêt si il n'y a rien de nouveau je prendrai des Supermicro E300-8D, si je calcule le coût total de possession (=achat, conso en électricité sur 8 ans, coût d'entretien et revente) c'est le moins cher.

Et par contre, pour des tests  je vais probablement me monter 3 machines avec des xeons x56xx d'occase, des boitiers uATX et des cartes mères chinoises en X58 à 35€ :

https://fr.aliexpress.com/item/4000430620352.html

 

[aurejac]

Il y a 3 minutes, refuznik a écrit :

Je comprends pas trop la question une carte 10Gb ça coute pas cher. Et d'ailleurs on commence aussi à avoir des nas (asustor, terramaster ou qnap) et des switchs avec des port 5 Gb ou 10 Gb voir les dossier sur INpact Hardware.  Par contre si tu veux mettre en place des VM et surtout du ceph, tes 3 machines doivent avoir au minimum pas mal de ram, un bon proc à la base sinon ça risque de franchement ramer bon après tu déportes si tu veux le stockage ça ce n'est pas le problème.

C'est pas ça le problème, j'ai déjà 1 switch 10Gbits pour les "stations" (que j'éteins à 20h et rallume le matin), un switch multigig MS510TX qui alimente les bornes Wifi et a des ports de libres (comme il est en uplink 10 Gbits j'ai pas de goulot d'étranglement, les bornes sont des AC wave 2), et j'ai un 52 ports L3 pour les machines normales.

 

Mon premier problème c'est un problème de place. Je dois remplacer 7 machines qui prennent quasi pas de place (ce sont des NUC ou mac mini)

je voulais en remplacement mettre des machines compactes et qui chauffent pas, j'ai en gros que 4 U pour mettre les machines dans la baie donc je peux pas mettre 3 serveurs en 3U chacun.. 

 

Et sinon pour ce qui est du 10 Gbits contre le 5 Gbits, j'aurais préféré du 5 Gbits car ça consomme quand même 2x moins que le 10 à la fois au niveau du transceiver PHY côté serveur, et aussi bien sûr du côté du switch ! Je peux pas passer en SFP car les SFP 10 Gbits sont déjà utilisés pour l'uplink entre les switchs avec des cables DAC.

 

ça me gène pas d'être en 10 Gbits pour les stations et les NAS de backup car aucun n'est allumé 24/24 (le switch 10 Gbits est même éteint de 20h à 8h).

Mais par contre je voudrais juste mettre mes noeux Proxmox en 5Gbits pour rester sur le MS510 qui est allumé 24/24.

Pour la RAM c'est pas trop un problème j'ai déjà fait des essais avec 16Go sur chaque noeud et je suis très large (certaines VM ne consomment vraiment rien : le controleur unifi, 3cx, le serveur netboot, serveur gestion etc)

 

Bref pour mes serveurs le 1 Gbps est un goulet d'étranglement, et le 10 Gbits m'impose des machines trops grosses trop gourmandes, j'aurais adoré des petits PC type "NUC" avec du 5 Gbits, ou du mini ITX à la limite (mais sans riser pour carte PCIe).

A défaut je vais partir sur les Supermicro E300 si leur carte 10 Gbits gère bien le mode NbaseT 

[Carpe_Diem]

Alors alors, p'tet que :
- Gigabyte MB10-DS3  
- Supermicro x10sdv-tln4f
- Asrock  D1541D4I-2L2T  ; X11SDV-8C-TLN2F  

Je sais pas si ça t'aide mais bon, c'est du ITX avec du 10 Gbe (j'ai pas osé chercher les prix..... )
Sinon, y'a aussi chez Tyan mais j'ai pas fouiné chez eux.