Comparer deux arborescences

[namewithn0man]

Bonjour !

Je prévois une copie de 300 Go de données assez critiques d'un serveur A (sous Windows 2003) à un serveur B (sous Windows 2008R2).

Comment vérifier, à la fin de la copie, que tout s'est bien passé ?

Il me faudrait un logiciel permettant de calculer un CRC rapide (pas besoin de vrai hash MD5) pour chaque fichier, en local et sur un disque réseau, sur deux arborescences qui devraient être en principe identiques.

Et en open source !

Merci par avance

[TeKa]

Quand on copie de la donnée en environnement Microsoft, autant utiliser ça :

http://en.wikipedia.org/wiki/Robocopy

:)

[namewithn0man]

Oui c'est bien ce qu'on va utiliser

Mais je voudrais pouvoir vérifier à posteriori que tout s'est bien passé

merci

[TeKa]

Bah le but de robocopy, c'est de ne pas avoir à faire de vérifications ensuite, il suffit de lire la log d'exécution.

Ensuite si tu n'as vraiment pas confiance, il me semble que winmerge fait de la comparaison de répertoires, mais je n'ai jamais essayé :

http://winmerge.org/about/

:)

[Edtech]

Tu as HashCheck Shell Extension http://code.kliu.org/hashcheck/ qui permet de créer un fichier de hash et de vérifier ensuite par comparaison. Très simple à utiliser et gratuit.

Sinon, beaucoup plus poussé, Beyond Compare http://scootersoftware.com/ qui permet d'analyser chaque document.

[Krapace]

Pour la copie j'utilise Teracopy. Il gère la liste de fichiers et compare le CRC.

[namewithn0man]

Bah le but de robocopy, c'est de ne pas avoir à faire de vérifications ensuite, il suffit de lire la log d'exécution.

L'idée est de vérifier que les fichiers n'ont pas été endommagés durant le transfert : c'est un autre niveau de vérification au bit près, qui représente une "preuve" auditable

Tu as HashCheck Shell Extension http://code.kliu.org/hashcheck/ qui permet de créer un fichier de hash et de vérifier ensuite par comparaison. Très simple à utiliser et gratuit.

Sinon, beaucoup plus poussé, Beyond Compare http://scootersoftware.com/ qui permet d'analyser chaque document.

Semblent en effet intéressants, je ne connaissais pas, mais me paraissent plus adaptés pour un fichier donné "fichier par fichier" plutôt que pour une arborescence lourde. La technique serait alors de mettre toute l'arboresence dans un seul fichier d'archive (par exemple 7zip en mode "storage" sans compression pour aller au plus vite et ne pas s'éterniser sur l'arrêt du service), qui serait copié et ainsi vérifié avant de le décompresser. Inconvénient majeur : si le fichier est en effet abîmé lors du transfert, il faut tout recommencer à zéro et la durée d'indisponibilité ne pourra pas être maîtrisée. Alors qu'avec une vérification fichier par fichier, il suffira alors de reprendre le transfert des fichiers échoués seulement.

Beyond Compare est payant.

Pour la copie j'utilise Teracopy. Il gère la liste de fichiers et compare le CRC.

Oui mais il est payant à ma conaissance...

A mon tour j'ai trouvé ça : http://support.microsoft.com/kb/841290

File checksum integrity verifier . C'est pas open source mais c'est à l'origine développé (je crois) par Mark Russinovich de SysInternals, ce qui est une belle marque de fabrique. Utilisable de manière récursive

fciv.exe -r c:\MonRepertoire >> avant_copie.txt

puis après la copie pareil

fciv.exe -r c:\MonNouveauRepertoire >> apres_copie.txt

Puis ouvrir apres_copie.txt avec un éditeur genre Notepad++ et substituer "c:\MonNouveauRepertoire" par "c:\MonRepertoire", et enregistrer le tout dans un fichier a_verifier.txt

Les fichiers avant_copie.txt et a_verifier.txt devraient alors être identiques, ce qui pourra être vérifié avec WinMerge

Attention, les fichiers .txt feront tout de même quelques centaines de Mo.

Enfin: UltraCopier propose un comparatif de UltraCopier, TeraCopy, SuperCopier et CopyHandler

http://ultracopier-f...opyhandler.html

(OK l'auteur est juge et partie mais il présente tout de même un point de vue intéressant)

Voilà ! Coucou et merci à tous

[Krapace]

The paid version of the program includes the following features:Copy/move to your favorite folders.Save reports as HTML and CSV files.Select files with the same extension/folder.Remove the selected files from the copy queue.More features coming soon!

Pour ce que tu cherche t'a pas besoin de la version payante :)

[digital-jedi]

Bonjour,

Visiblement, tu as déjà eu toutes les réponses que tu souhaites.

Par contre, je souhaitais rebondir sur ta réponse :

Oui mais il est payant à ma connaissance...

Cela me fait toujours sourire quand quelqu'un répond qu'il ne souhaite pas payer une version professionnelle alors que celle-ci est obligatoire si l'usage du logiciel est fait à des fins professionnelles, ce qui est ton cas.

Nous tombons malheureusement dans la génération du tout gratuit ou du sacro-saint open source où, parce que la gratuité existe à certains niveaux, nous devenons obtus à tout achat de licence.

TeraCopy is free for non-commercial use only. For commercial use you need to buy a license.

Cette mention est faite sur (quasi) tous logiciels gratuits que tu pourrais trouver sur le net...

[namewithn0man]

Bonjour,

Visiblement, tu as déjà eu toutes les réponses que tu souhaites.

Par contre, je souhaitais rebondir sur ta réponse :

Oui mais il est payant à ma connaissance...

Cela me fait toujours sourire quand quelqu'un répond qu'il ne souhaite pas payer une version professionnelle alors que celle-ci est obligatoire si l'usage du logiciel est fait à des fins professionnelles, ce qui est ton cas.

Nous tombons malheureusement dans la génération du tout gratuit ou du sacro-saint open source où, parce que la gratuité existe à certains niveaux, nous devenons obtus à tout achat de licence.

TeraCopy is free for non-commercial use only. For commercial use you need to buy a license.

Cette mention est faite sur (quasi) tous logiciels gratuits que tu pourrais trouver sur le net...

- Dérive trollesque en vue capitaine !

Bonjour aussi,

Hors de question d'utiliser un logiciel "free for non-commercial use only" puisque c'est pour un usage en entreprise, et qui plus est, un samedi.

Est-ce bien honnête de la part d'un éditeur de faire payer un programme qui copie des fichiers et calcule un hash MD5 ou autre, technique qui n'a pas été conçue par ledit éditeur - sur le dos de laquelle il se fait pourtant son beurre ? Reverse-t-il un seul centime, ou au moins prend-il la peine de citer l'inventeur ?

Tu dénonces la "génération du tout gratuit ou du sacro-saint open source".

Au contraire, j'hallucine en constatant qu'une majorité de gens, hélas, est prête à payer (sous toute forme) pour des logiciels, plus médiocres les uns que les autres. (Tiens, pourquoi d'un coup je pense à l'AppStore ?)

Est-ce bien normal de devoir supporter une pub pour pouvoir avoir le privilège d'allumer la led de son smartphone ? Ou de copier des fichiers ? En calculant un hash de base ?

Enfin : jamais je ne confierai mes données ni à fortiori celles de mon entreprise à un logiciel dont le code source n'est pas disponible et dont l'auteur est inconnu au bataillon. Cela dit je ne mets pas non plus une grande confiance dans l'éditeur du système d'exploitation utilisé dans ce cas précis, même s'il est relativement connu.

- Et de toute façon OpenBSD 5.1 c'est mieux que Windows 8.

ps. quant à la correction d'une faute de frappe, franchement...

[digital-jedi]

Ton point peut se comprendre aussi, mais pour moi tu tombes exactement dans le cas sacro saint open source.

Tu dénonces la "génération du tout gratuit ou du sacro-saint open source".

Au contraire, j'hallucine en constatant qu'une majorité de gens, hélas, est prête à payer (sous toute forme) pour des logiciels, plus médiocres les uns que les autres. (Tiens, pourquoi d'un coup je pense à l'AppStore ?)

Parce que le code n'est pas disponible, c'est de la merde ou alors tu ne fais pas confiance (il y a des boites d'audit ou de test pour ce 2eme point). La protection de la propriété intellectuelle passe avant tout par la protection des sources, donc pas d'open source. Exemple :

Même si tu es pro OS libre, tu as bien un antivirus sur un PC Windows qui doit traîner quelque part. Tu lui fais à peu près confiance à ton antivirus et il te protège bien depuis des années, et pourtant personne n'a jamais vu le code. Si tu dois payer sa version antivirus professionnel sur Windows, pareil tu ne verras pas le code. Tu n'auras accès qu'aux audits ou tests de robustesse. Et pourtant, la qualité est là. Le code peut avoir des défauts qui seront corrigés dans la release suivante, mais le code doit rester protégé.

Tu parles de simples lignes de code, mais pourtant le bouzin doit quand même arriver à digérer 300Go entres autres sans se planter. Pourquoi une entreprise qui crée un code ne serait-elle pas rémunérée ? Sachant que partager son code sur une application simple, c'est se le faire dérober.

[Krapace]

Ton point peut se comprendre aussi, mais pour moi tu tombes exactement dans le cas sacro saint open source.

Tu dénonces la "génération du tout gratuit ou du sacro-saint open source".

Au contraire, j'hallucine en constatant qu'une majorité de gens, hélas, est prête à payer (sous toute forme) pour des logiciels, plus médiocres les uns que les autres. (Tiens, pourquoi d'un coup je pense à l'AppStore ?)

Parce que le code n'est pas disponible, c'est de la merde ou alors tu ne fais pas confiance (il y a des boites d'audit ou de test pour ce 2eme point). La protection de la propriété intellectuelle passe avant tout par la protection des sources, donc pas d'open source. Exemple :

Même si tu es pro OS libre, tu as bien un antivirus sur un PC Windows qui doit traîner quelque part. Tu lui fais à peu près confiance à ton antivirus et il te protège bien depuis des années, et pourtant personne n'a jamais vu le code. Si tu dois payer sa version antivirus professionnel sur Windows, pareil tu ne verras pas le code. Tu n'auras accès qu'aux audits ou tests de robustesse. Et pourtant, la qualité est là. Le code peut avoir des défauts qui seront corrigés dans la release suivante, mais le code doit rester protégé.

Tu parles de simples lignes de code, mais pourtant le bouzin doit quand même arriver à digérer 300Go entres autres sans se planter. Pourquoi une entreprise qui crée un code ne serait-elle pas rémunérée ? Sachant que partager son code sur une application simple, c'est se le faire dérober.

Une société qui reprend ce code et le cache au sein d'un de ses produits risque gros. GPL ou CC, les licences de l'open source ne laisse pas bcp de marge de manœuvre...

[namewithn0man]

Ton point peut se comprendre aussi, mais pour moi tu tombes exactement dans le cas sacro saint open source.

et je crains que nos avis soient assez inconciliables...

Même si tu es pro OS libre, tu as bien un antivirus sur un PC Windows qui doit traîner quelque part. Tu lui fais à peu près confiance à ton antivirus

Faire des suppositions sans disposer d'un minimum de connaissance au sujet de quelqu'un est un exercice bien périlleux !

Ne sachant pas ce qu'implique être "pro" OS libre, je me glorifierai pas moi-même d'un tel titre... Je ne fais absolument pas confiance à un antivirus propriétaire :

- considérant qu'il s'agit d'un logiciel s'exécutant avec les droits les plus élevés, ayant accès à toute la machine et se connectant à Internet... Le mouchard idéal, en somme... Au pire, l'endroit rêvé pour en mettre un,

- stupéfait de la réactivité avec laquelle la plupart des firmes répondent à l'émergence de nouveaux codes malicieux, qui fait d'elles des suspects de premier ordre quant à une éventuelle connivence avec les créateurs de ces codes eux-mêmes (à part le FUD habituel, quoi de mieux pour stimuler le marché ?)

- un peu désabusé quant à la faiblesse bien humaine de résister à de sombres sirènes mercantiles, je me dis que s'il existe une possibilité moyennement honnête de gonfler des recettes, il est plus que probable qu'elle soit déjà exploitée depuis longtemps...

mais le code doit rester protégé.

Ce n'est pas le cas de ClamAV qui est en source ouverte et qui protège nombre messageries électroniques. J'attends de voir aussi avec un certain intérêt ce que donnera le projet DAVFI.

Sachant que partager son code sur une application simple, c'est se le faire dérober.

Hélas il est parfois bien difficile de faire respecter ses droits... Il y a eu déjà plusieurs affaires autour du non-respect des licences open source (de mémoire, des firmwares de petits routeurs maison...) qui n'ont pas été un franc succès...

Une limite que je concède volotiers à l'open source : c'est bien beau de pouvoir relire le code - mais si personne ne le fait ou n'a la compétence pour le faire...

Enfin, je ne suis absolument pas réticent à payer en entreprise pour quelque chose dont j'apprécie la valeur (et pas nécessairement pour du matériel). Je préfère mettre des sous pour former du personnel en interne, qui sera ensuite capable d'intervenir sur ce qui est mis en place, plutôt que d'acheter une boite noire, dont l'éditeur décide à ma place la manière dont je dois l'utiliser.

Un comprimé de C9H8O4* et au lit !

* = aspirine, en open source

[digital-jedi]

Okay. On dérive, on dérive et je te pourris ta thread.

As-tu trouvé ton logiciel miracle par rapport à ton besoin ?

[namewithn0man]

Non, fciv.exe plante hélas trop régulièrement (une dizaine de fois sur mon échantillon de 400000 fichiers qui fait 250 Mo au total) : buffer underrun (Windows 2003-32 bit), "le programme s'est arrêté" sans plus d'explication + buffer underrun (Windows 2008 R2, planatges encore plus fréquents). Je suis un peu déçu, je m'attendais à mieux de la part de SysInternals...

A l'avenir, j'utiliserai plutôt un MD5 basique en ligne de commande (par exemple http://www.fourmilab.ch/md5/ ), que je scripterai comme il faut.

[homic]

As-tu essayé Winmerge ?

[FunnyD]

sinon tu peux essayer celui la http://eljuky.com/Utilitaires/Traqueur.htm, espérant que cela réponde à ta demande