Améliorer le débit du réseau local

[Jarodd]

Bonjour,

Je suis en train de transférer du contenu de disques durs externes vers un NAS.

Les disques durs sont branchés en USB sur mon pc (Ubuntu 16.04), lui-même branché au réseau local sur un boitier CPL (500 Mbps), en ethernet.

De l'autre côté, le NAS est aussi branché sur un boitier CPL identique, en ethernet.

Je ne suis pas très fort en réseau, mais d'après moi, le débit maximal théorique devrait être de ~60Mo/s ?

Problème, je tourne environ à 3 Mo/s, les bons jours. Ayant plusieurs To à transférer, ça prend des plombes... Je voudrais savoir si mon estimation est bonne, et ce que je peux faire pour améliorer ce débit.

Merci pour votre aide.

[refuznik]

Tu utilises quel commande pour faire tes transferts ?

[Jarodd]

Soit le copier coller dans Nemo, soit avec DoubleCommander. J'ai les mêmes débits avec les deux.

[refuznik]

Ton problème peut avoir multiples causes.
- Fichier fortement fragmenté.
- Multiples défauts de cache ce qui implique des accès disques, et surtout si tu as un cache suffisant.
- Peut-être un problème d'alignement entre les blocs physiques et logiques ? Ton disque externe utilise t'il des blocs physiques de 512 octets ou bien de 4Kio ?

Que donne déjà le transfert d'un fichier de ton ordi (disque interne) sur le nas ?

As tu testé une copie avec la commande rsync ou mv pour voir si il y avait de l'amélioration ?

 

[cadegenere]

Les boitiers CPL n'ont un débit que "théorique", c'est rarement le cas dans la réalité, et ça dépend fortement de ton installation électrique et de la distance entre les deux.
J'ai 2 boitiers 500 Mbps aussi, et quand je suis à 200 Mbps entre les 2 c'est les bons jours...
Un autre appareil ailleurs sur le réseau électrique peut aussi te mettre le bazar (micro-onde, machine à café, etc...).

[Aloyse57]

Et disque USB2 (débit moyen=20Mo/s) ou USB3 (120Mo/s).

Et quand on copie depuis un disque USB, c'est un accès au disque à la fois sinon, le débit s'effondre.

Le NAS, le PC ce sont des SATA2 ou SATA3 ? La connexion du PC et du NAS : Fast Ethernet (100Mb=12Mo/s) ou Gigabit (1000Mb=125Mo/s) ?

[Jarodd]

il y a une heure, refuznik a écrit :

Ton problème peut avoir multiples causes.
- Fichier fortement fragmenté.
- Multiples défauts de cache ce qui implique des accès disques, et surtout si tu as un cache suffisant.
- Peut-être un problème d'alignement entre les blocs physiques et logiques ? Ton disque externe utilise t'il des blocs physiques de 512 octets ou bien de 4Kio ?

Que donne déjà le transfert d'un fichier de ton ordi (disque interne) sur le nas ?

As tu testé une copie avec la commande rsync ou mv pour voir si il y avait de l'amélioration ?

 

J'ai oublié de préciser que j'utilise plusieurs disques externes (c'est un peu l'objet de la manip => tout centraliser sur un NAS). J'ai le même débit quel que soit les disques, idem depuis mon disque interne (SSD). Ce sont de gros fichiers, principalement des vidéos de plusieurs  centaines de Mo.

Les blocs, je n'en ai aucune idée, où je peux vérifier ça ?

mv c'est pareil que cp. rsync je n'ai pas essayé, je ne sais pas l'utiliser le NAS (il faut probablement installer et configurer des paquets ?).

Il y a 40 minutes, cadegenere a écrit :

Les boitiers CPL n'ont un débit que "théorique", c'est rarement le cas dans la réalité, et ça dépend fortement de ton installation électrique et de la distance entre les deux.
J'ai 2 boitiers 500 Mbps aussi, et quand je suis à 200 Mbps entre les 2 c'est les bons jours...
Un autre appareil ailleurs sur le réseau électrique peut aussi te mettre le bazar (micro-onde, machine à café, etc...).

Oui je sais que c'est théorique, mais entre 60 Mo théorique et 3 Mo en pratique, y'a une belle marge. 200 Mbps (25 Mo/s) me conviendrait, ça serait 10 fois plus rapide...

Comment on peut savoir s'il y a (et lequel) appareil peut mettre le bazar ?

L'installation électrique est a priori bonne ? La maison date des années 2000. La distance, c'est entre les deux boitiers CPL ? Le pc est DD sont à l'étage, le NAS au rdc. Mais au dépaer je NAS était à côté, branché sur le même boitier CPL, et c'était pareil.

[Jarodd]

Il y a 8 minutes, Aloyse57 a écrit :

Et disque USB2 (débit moyen=20Mo/s) ou USB3 (120Mo/s).

Et quand on copie depuis un disque USB, c'est un accès au disque à la fois sinon, le débit s'effondre.

Le NAS, le PC ce sont des SATA2 ou SATA3 ? La connexion du PC et du NAS : Fast Ethernet (100Mb=12Mo/s) ou Gigabit (1000Mb=125Mo/s) ?

Tous les disques sont USB3.

Par accès, tu veux dire le nombre de copies simultanée ? Je fais quasiment du fichier par fichier. D'où l'utilisation de DoubleCommander, je mets en file d'attente car c'est tellement long que je ne reste pas à côté du pc pour les lancer les uns après les autres...

Le NAS c'est un Syno DS119J, le site officiel ne précise pas si c'est du 2 ou 3.

La connexion : j'utilise des câbles ethernet "Cat.5E" (je ne sais pas si cela répond à la question)

[refuznik]

Il y a 10 minutes, Jarodd a écrit :

J'ai le même débit quel que soit les disques, idem depuis mon disque interne (SSD). Ce sont de gros fichiers, principalement des vidéos de plusieurs  centaines de Mo.

Donc on oublie pour l'instant les disques en usb. Tu as un goulot d'étranglement soit à cause du cpl soit à cause du nas. Je pencherais d'ailleurs sur ce dernier 256 Mo de ram et il doit pas avoir un gros cache de transfert. Le disque du nas est monté en nfs ou cifs je suppose.

[cadegenere]

Est-ce que tu peux tester en branchant le NAS directement sur ton pc ?

[Jarodd]

Il y a 1 minute, refuznik a écrit :

Donc on oublie pour l'instant les disques en usb. Tu as un goulot d'étranglement soit à cause du cpl soit à cause du nas. Je pencherais d'ailleurs sur ce dernier 256 Mo de ram et il doit pas avoir un gros cache de transfert. Le disque du nas est monté en nfs ou cifs je suppose.

Je ne saurai dire ! Dans Nemo il apparaît en disque monté à l'adresse afp://login@DS119J.local. Je ne connaissais pas ce protocole afp, il est apparu ainsi quand j'ai installé le NAS pour la première fois, je n'ai pas cherché plus loin. Faut-il passer par autre chose ?

Il y a 2 minutes, cadegenere a écrit :

Est-ce que tu peux tester en branchant le NAS directement sur ton pc ?

Directement, c'est-à-dire avec un câble ethernet ?

[cadegenere]

Il y a 2 minutes, Jarodd a écrit :

Directement, c'est-à-dire avec un câble ethernet ?

Eventuellement avec un switch, ou sinon oui directement.

[refuznik]

Il faudrait que tu installes si ce n'est fait Synology Assistant qui permet de monitorer les ressources pour voir comment il réagit à un transfert sur un gros fichier.

Je dois reconnaitre que syno fournis pleins de trucs interessant  https://www.synology.com/fr-fr/support/download/DS119j#utilities

Après quelques recherches sur google plusieurs personnes parlent de lenteur avec cette gamme de syno. principalement quand ce sont de gros fichiers ce que l'on peut voir aussi ici https://www.eteknix.com/synology-diskstation-ds119j-1-bay-budget-nas-review/8/   <-- l'exemple ici est mauvais car il test avec pleins de petits fichiers et pas un seul gros.

Vu qu'il utilise pleins de protocoles ce serait bien de tester avec un dossier partagée type smb, un type cifs et un serveur ftp voir avec les utilitaires que synologic proposent pour voir lequel s'en sortirait le mieux.

 

 

 

 

[Jarodd]

Il y a 1 heure, cadegenere a écrit :

Eventuellement avec un switch, ou sinon oui directement.

Ok j'essayerai ça ce soir.

 

Il y a 44 minutes, refuznik a écrit :

Il faudrait que tu installes si ce n'est fait Synology Assistant qui permet de monitorer les ressources pour voir comment il réagit à un transfert sur un gros fichier.

Je dois reconnaitre que syno fournis pleins de trucs interessant  https://www.synology.com/fr-fr/support/download/DS119j#utilities

Après quelques recherches sur google plusieurs personnes parlent de lenteur avec cette gamme de syno. principalement quand ce sont de gros fichiers ce que l'on peut voir aussi ici https://www.eteknix.com/synology-diskstation-ds119j-1-bay-budget-nas-review/8/   <-- l'exemple ici est mauvais car il test avec pleins de petits fichiers et pas un seul gros.

Vu qu'il utilise pleins de protocoles ce serait bien de tester avec un dossier partagée type smb, un type cifs et un serveur ftp voir avec les utilitaires que synologic proposent pour voir lequel s'en sortirait le mieux.

J'utilise Syno Assistant, mais à part voir l'adresse ip ou mac, je ne vois pas comment il peut servir pour mesurer le débit ?

[refuznik]

N'ayant pas de syno. je me fis à ce que dis la doc "...view monitored resources of your DiskStation".

[brice.wernet]

Je ne connais pas AFP et pas trop les CPL mais...

Le débit réseau n'est pas tout… Un mauvais ping (et ça arrive avec le Wifi et le CPL) peut te pourrir la vie, surtout avec des protocoles "cablés" comme CIFS(SMBv1 en tout cas) ou AFP par dessus un CPL. De plus, je ne connais pas le fonctionnement des CPL mais je doute que ce soit full-duplex. Donc un paquet retour du NAS empêche un paquet de partir de l'ordinateur.

Imaginons que ton ping soit de 1ms avec des paquets réseau de 1.5ko. Chaque seconde, tu peux donc transférer au maximum 1.5Mo...

--> Change de protocole, quitte à faire du FTP ou du NFS (d'ailleurs fait un test de transfert FTP d'un seul gros fichier pour chronométrer et vérifier s'il y a un changement)

--> Vérifie les options du CPL, du NAS (et peut-être de l'ordi), si tu peux activer des "jumbo frames".

 

Par ailleurs, les tests que tu cites font mention d'un "folder encryption": aurais-tu activé une option de ce type (cryptage des données)

 

[L33thium]

Le CPL est une catastrophe à éviter tant que possible.

C'est beaucoup trop sensible à la qualité, longueur de ligne et perturbations électromagnétiques. Ça peut aussi être perturbé par les boîtiers CPL des voisins en immeuble. Si en plus on change de pièce, il faut traverser les disjoncteurs, prises, multiprises et c'est la cata.

De mon expérience personnelle avec des boîtiers tplink ça ne marchait que que sur la même ligne électrique dans le mur, si changement par les disjoncteurs, plus rien (installation électrique de moins de 10 ans). Il a fallut aussi débrancher les boîtiers télécommandés RF des lumières et malgré ça on avait qu'une faible BP et une énorme perte de paquets.

Je recommande vivement de tirer un câble Ethernet si possible, sinon d'installer des répéteurs wifi si la portée du point d'accès n'est pas suffisante.

[Jarodd]

Il y a 6 heures, cadegenere a écrit :

Est-ce que tu peux tester en branchant le NAS directement sur ton pc ?

Je viens de faire ce branchement : NAS <- ethernet -> pc

Dans Réseaux, je ne vois pas le NAS. Avec Synology Assistant, aucun NAS n'est détecté.

Je n'ai peut-être pas bien compris ce qu'il fallait faire ? (je n'ai pas de switch)

[Chromosome3]

 

Il y a 3 heures, Jarodd a écrit :

Je viens de faire ce branchement : NAS <- ethernet -> pc

Salut,

 

Heu... sur ce branchement il faut que tu reconfigures ton réseau, le NAS ou le PC doit faire serveur et attribuer les IP, on va pas rentrer la dedans. Ta box ne fait pas routeur ? Elles le font toutes avec en général 4 prises ethernet au cul.

 

J'ai un réseau à base de cafouillazibule de CPL branchés sur switch etc... avec des machines qui vont d'un ibook G4 avec 512 de ram en passant par 2 pi, un eeepc701 et ma machine standard, branché sur la box (mini 4K) en mode NAS. Le server free rame quand je transfère en interne dessus mais j'ai branché un vieux disque SATA dans un boitier en usb et je soupçonne le server free d'être limité, tout le reste a des débits décents pour leurs niveaux de performances hein^^.

 

Si comme la majorité des "français" tu as une box, elle fait routeur, il faut le configurer dans l'interface d'admin, c'est pas appliqué en standard en général, mettre l'attribution des IP en DHCP si tu veux pas te faire chier ; puis tu branches ton NAS et ton PC à la box en ethernet et roule ma poule.

 

[Jarodd]

Il y a 7 heures, Chromosome3 a écrit :

Salut,

Heu... sur ce branchement il faut que tu reconfigures ton réseau, le NAS ou le PC doit faire serveur et attribuer les IP, on va pas rentrer la dedans. Ta box ne fait pas routeur ? Elles le font toutes avec en général 4 prises ethernet au cul.

Si elle le fait sûrement, le problème c'est que je suis hébergé, ce n'et pas "ma" box, et on a perdu les identifiants, je ne sais pas comment ils ont fait mais l'interface de la box n'est plus accessible sur l'adresse locale. Je me suis assez pris la tête sur le sujet pour ne pas le remettre sur la table

[Jarodd]

Je viens de tester le transfert en FTP. Je suis toujours à 3 Mo/s.

[brice.wernet]

OK, alors autre question: en lecture depuis le NAS, tu as quel débit?

Si ton débit en écriture est mauvais mais que le débit en lecture est bon, c'est certainement au NAS (système de fichier, cryptage, …)

Par exemple, sur un vieux NAS Western digital (en 2010 ou 2011...), il y avait un horodatage des dernières modifications de fichiers qui était "sûre", donc horodatage mis à jour à chaque écriture, donc 2 déplacements de tête par écriture. J'avais désactivé cette option en SSH et le débit en écriture explosait.

[Chromosome3]

Re

 

Après mon joyeux commentaire d'hier et relecture de ce qui a été dit, une question me taraude.

 

La box est forcément en routeur puisque vous êtes en réseau interne, c'est bien elle qui attribue les IP ou le réseau interne n'est pas branché sur internet et dans ce cas quelle machine gère le réseau ?

 

Je tenterai le branchement en ethernet au cul de la box du NAS et de la machine sur Ubuntu si premier cas.

 

La remarque de brice.wernet est aussi une bonne explication

 

 

[Jarodd]

Il y a 53 minutes, brice.wernet a écrit :

OK, alors autre question: en lecture depuis le NAS, tu as quel débit?

Si ton débit en écriture est mauvais mais que le débit en lecture est bon, c'est certainement au NAS (système de fichier, cryptage, …)

Par exemple, sur un vieux NAS Western digital (en 2010 ou 2011...), il y avait un horodatage des dernières modifications de fichiers qui était "sûre", donc horodatage mis à jour à chaque écriture, donc 2 déplacements de tête par écriture. J'avais désactivé cette option en SSH et le débit en écriture explosait.

Quand tu lis "en lecture", c'est quand je lance une vidéo par exemple ? Dans ce cas le fichier est bien lu, je n'ai pas de saccade. Mais je n'ai pas de débit précis.
Sinon en "lecture" quand je copie un fichier du NAS vers mon pc, je suis aux alentours de 25 Mo/s.

Il y a 53 minutes, Chromosome3 a écrit :

Re
Après mon joyeux commentaire d'hier et relecture de ce qui a été dit, une question me taraude.
La box est forcément en routeur puisque vous êtes en réseau interne, c'est bien elle qui attribue les IP ou le réseau interne n'est pas branché sur internet et dans ce cas quelle machine gère le réseau ?
Je tenterai le branchement en ethernet au cul de la box du NAS et de la machine sur Ubuntu si premier cas.
La remarque de brice.wernet est aussi une bonne explication

 

 

Alors je n'ai pas assez de compétence résea pour te répondre. Ce que je sais, c'est que le NAS a toujours la même IP, même quand je le redémarre. Je ne sais pas si c'est lui qui "choisit" de conserver l'IP, ou si c'est la box qui lui donne toujours la même...

Je testerai ce soir ta proposition de tout brancher à la box.

[Jarodd]

Je reviens à la charge 🙂 J'ai testé la connexion directe entre le NAS et le PC. Mais du PC, je ne vois pas le NAS dans les réseaux disponibles... Si je rebranche le NAS au réseau local, il réapparaît.

Je cherche toujours une solution/la cause du problème car c'est vraiment lourd de transférer plusieurs centaines de GO à 3Mo/s. J'ai un montage auto au démarrage, la copie se fait en quelques secondes, puis bloque à 99% pendant plusieurs minutes (le temps que le fichier soit "vraiment" transféré au complet, je suppose). Et cela ne fait planter Nemo/Nautilus, car les transferts s'empilent si je ne fais pas gaffe.