Procédure de tests et benchs

[Quarky]

Bonjour @ tous.

Nous avions parlé il y a quelques temps de la nécessité de mettre en place un topic regroupant l'ensemble des outils de benchs pour Mac. Il s'agirait en fait de créer une procédure de tests que chacun pourrait effectuer pour comparer nos bêtes.

Cela servirait concrètement à voir les gains après ajout de RAM par exemple

Récupération et utilisation des outils

La première étape vise à télécharger et installer chacun des programmes de test. Puis les éventuels paramétrages et la lancement. Je vais vous décrire les différentes étapes pour chaque outil.

Petite précision, chaque programme ici spécifié est en version Universal Binaries pour que les deux plateformes existantes puissent trouver une version optimisée.

Recommandations

Pour pouvoir comparer nos résultats, il convient que tous effectuent ces tests dans les mêmes conditions. En pratique vous devrez fermer toutes les applications lancées

Et pendant les analyses, laissez tourner l'ordi sans l'utiliser.

1- Xbench

Rendez-vous sur le site officiel et cliquez sur « Download » en haut à droite. Le fichier est un dmg, c'est donc une installation « classique ».

Lancez ensuite Xbench, cochez toutes les cases si ce n'est déjà fait et appuyez sur « Start ».

Une fois le test fini, un flèche verte avec la mention « Submit » apparaît. Cela va nous permettre de communiquer et partager nos rapports. Un clic vous ouvrira une nouvelle page web qui reprend vos résultats et les compare à une autre machine.

En face du nom de votre machine, utilisez le lien « unset » pour ne garder que vos valeurs.

Il vous reste alors à conserver le score et le lien de la page

2- OpenMark

Le site officiel donne le lien de téléchargement.

Le fichier est dans ce cas, un zip. Désarchivez le et lancez le programme.

Vous voyez une « boule » qui tourne avec deux valeurs : un nombre de triangles et le nombre d'images par seconde (Frame per second ou FPS).

Le bench se lance via le menu : "Run Benchmark" et patientez.

OpenMark vous donne alors un score à conserver et rappelle votre réoslution et votre carte graphique.

Vous pouvez aussu compléter : avec la molette de la souris ou le défilement via deux doigts au trackpad (pour les portables), changez le nombre de triangles et notez 3-4 couples de valeurs. Pensez aussi à marquer votre résolution et la référence de votre carte graphique pour ne pas oublier de les joindre lors du rapport final.

3- Cinebench

Une nouvelle fois, on se reporte au site officiel de manière à s'assurer de récupérer la dernière version publiée. On dézippe alors l'archive pour lancer le programme.

Il faut d'abord remplir les champs à gauche : dans l'ordre le modèle de votre machine, la fréquence du processeur, la version de votre OS, le modèle de votre carte graphique et votre pseudo.

Puis cliquez sur « Start all tests ». Une fois les tests tous terminés, cliquez sur « -> To Clipboard » et collez le tout dans n'importe quel éditeur de texte temporairement ou en l'enregistrant.

Attention, ne gardez que l'essentiel, c'est-à-dire les lignes contenues entre la deuxième et la troisième ligne de « ****** » tout en laissant la version de Cinebench (tout en haut).

4- Benchmark Tool for PCI (merci G r i b o u i l l e)

Téléchargez le depuis ce lien et suivant les instructions suivantes :

1 - Passer les performances processeur en Highest

2 - Décompresser l'archive (double clique ou tar -xjf)

3 - Clique droit sur l'archive et comme application choisir le Terminal (s'il le propose pas il faut choisir en haut afficher toutes les applications, par défaut c'est que celles qui sont recommandés)

4 - Lui donner les droits d'execution (apparament ça fonctionne sans cette étape)

Dans le terminal ou comme vous voulez il faut le passer en +x ou 755/777.

cd ~/Desktop

chmod 777 gbench_1.0.sh

5 - Double cliquer sur gbench_1.1.sh

Récupérez alors le rapport.

Une fois toutes les analyses effectuées, vérifiez que vous avez bien tous les résultats et passez au post suivant pour connaître la manière de les publier.

PS : si vous voulez vous pouvez proposer un autre test

[Quarky]

Comment soumettre vos résultats

Le but est ici d'avoir la même manière de faire pour tous.

Donc voici le code à utiliser, il vous suffira d'insérer les bons résultats aux bons endroits

de veiller à mettre vos rapports entre balises [ code ]

[b]Benchmark Tool for PCI[/b]
Rapport

[b]Xbench[/b]
Score : 
[url=]Lien du rapport[/url]

[b]OpenMark[/b]
Carte graphique :
Résolution :
Score :
Couples de valeurs

[b]Cinebench[/b]
Rapport modifié

[Quarky]

- Réservé -

[White-Rabbit]

moi je veux bien tester ce que tu veux, mais sache que je suis allergique à la ligne de commande ....

[Quarky]

Ne t'en fais pas : je compte bien détailler toutes les étapes pour une utilisation accessible à tous, qu'importe ses connaissances.

Par contre faut des outils

[White-Rabbit]

c'est quoi un outil ?

[Quarky]

Ben il faut qu'on mette en place ensemble une procédure avec différents tests.

[Killator]

Voici ce que mes premières recherches m'ont permis de trouver :

- Xbench

- Cinebench

Sinon j'avais pensé à un script shell lourd.

Vous voyez quoi d'autre vous ?

Pas de soucis pour les tests à base de soft, c'est pratique est assez fiable... (même référentiel)

Par contre, je ne suis pas contre un script shell lourd, mais il faudrai fournir dans ce cas un truc tout con à executer...

Voir même un truc déjà compiler par nos soins... Genre calcul du nombre des nombres de Fibonacci de 0 à 1000 en algo récursif...

Nos machines auraient de quoi s'amuser

[PoSKaY]

Je préfère les softs pr les tests.

Si il faut faire un script shell lourd, pas de problème mais vous pourrez faire un tuto pas à pas !

Sinon ce qui pourrait êre sympa ça serrait de voir la vitesse d'encodage de iTunes, ça serrait plus représentatif d'une utilisation de tous les jours.

[G r i b o u i l l e]

Je veux bien écrire un script pour benchmarquer la puissance de calcul pure.

Si j'ai le temps je l'écris cette après-midi. :)

[Quarky]

Ok

De mon côté, je vais poursuivre mes recherches mais je crois qu'au niveau soft on est limité à cinebench et Xbench

D'autres idées sinon ?

[White-Rabbit]

ya pas des tests graphique genre 3d mark ?

[Quarky]

Cinebench permet apparemment de tester les perf graphiques entre autres.

- edit -

Pour tester la puissance de calcul, il y a Linpack.

Le benchmark linpack permet de tester les performances en calcul flottant d'une machine ; l'un en simple précision (spr) et le second en double précision (dpr).

Sinon j'ai retrouvé IOzone pour le disque dur.

[CRISTOBOOL2]

des logiciels de benchs y'en a plein mais plus ou moins bien :

en "petit soft" :

Haxial Benchmark teste un peu tout RAM...(que PowerPC)

http://www.versiontracker.com/dyn/moreinfo/macosx/19544

cocoa Bench teste la vitesse des applis cocoa donc objective-C (que PowerPC)

http://www.macupdate.com/info.php/id/10837

Speedx teste que la vitesse CPU(que powerPC)

http://www.versiontracker.com/dyn/moreinfo/macosx/12561

Speedrun teste un peu tout RAM... (que PowerPC)

http://www.macupdate.com/info.php/id/8639

openmark test les capacitées openGL de la carte graphique (universal)

http://www.macupdate.com/info.php/id/15242

en soft plus sophistiqué :

Geekbench teste un peu tout (universal et existe en version PowerPC seule pour tester rosetta)

http://www.macupdate.com/info.php/id/20855

BenchUT2003 qui nécessite UT2003 teste donc les capacitées de jeu (que PowerPC)

http://www.macbidouille.com/news/2003-07-25/#6226

Altivecfractal teste les SIMD donc les capacitées vectorielles (universal)

http://www.versiontracker.com/dyn/moreinfo/macosx/10540

Cinebench c'est du rendu cinema 4D (universal)

[Quarky]

Waooowwww super CRISTOBOOL2 ! :cartonrouge:

Là, on a fait un sacré bond. Bon je vais regarder tout ça. Un grand

[CRISTOBOOL2]

mais de rien ; sinon le test linpack que tu donnes est en java ce qui permet de tester la machine virtuel java c intérressant.

dans les tests que j'ai donné personnellement je trouve que les meilleurs sont :

-Openmark qui teste vraiment la performance pure du GPU et qui est très peu influencé par les drivers de la carte

-Cinebench car il teste sur du vrai rendu d'un vrai soft qu'il est mutlithreadé aussi (il vaut meiux regarder le temps de calcul que le score par contre car selon les versions l'indice du score différe un peu`; et puis ça vaut rien pour les G4 ça n'a été optimisé que pour G5)

-altivecfractal car il teste bien les capacités en SIMD

en plus ces trois là sont universal.

et puis le test linpack pour la machine java c'est pas mal.

[G r i b o u i l l e]

Hop, j'ai fini mon petit script, je le poste ce soir.

J'ai pu le tester sur :

G4 400Mhz - 512Mo SDR || résulat : 23

G4 800Mhz - 1024Mo SDR || résulat : 13,6

G4 1,25Ghz - 1,25Go DDR || résulat : 8,9

( j'edit ce soir pour tester sur mes machines perso )

OpenMark tourne sur Mac?

[CRISTOBOOL2]

comment il est fait ton script ?

[White-Rabbit]

je peux tester sur mon mac mini (intel) si tu veux

mais interdiction aux lignes de commandes

[G r i b o u i l l e]

Je suis gentil tu peux le lancer sans ligne de commande du tout

il se touve ici : http://www.gribouille.eu/users/pci/gbench_1.1.bz2

1 - Passer les performances processeur en Highest

2 - Décompresser l'archive (double clique ou tar -xjf)

3 - Clique droit sur l'archive et comme application choisir le Terminal (s'il le propose pas il faut choisir en haut afficher toutes les applications, par défaut c'est que celles qui sont recommandés)

4 - Lui donner les droits d'execution (c'est là que white rabbit nous quite Mais apparament ça fonctionne sans cette étape)

Dans le terminal ou comme vous voulez il faut le passer en +x ou 755/777.

cd ~/Desktop

chmod 777 gbench_1.0.sh

5 - Double cliquer sur gbench_1.1.sh

6 - Poster le tout sur PCI

##########################################
####### Benchmark Tool for PCI 0.1 #######
###### Copyright G r i b o u i l l e #####
######### General Informations ###########
##########################################
Computer : Power Macintosh
Darwin Kernel Version 8.8.0
FSB : 900 Mhz
CPU(s) : 1800 Mhz
Physical CPU(s) : 2
Logical CPU(s) : 2
Active CPU(s) : 2
RAM : 4096 Mb
----------- Benchmark Started ------------
Score is : 6.428 (lower is better) 
------------ Benchmark Ended -------------

PS : pour le code, il fait une boucle sur la compression en gzip d'un fichier, la boucle tourne cinquante fois puis il nous retourne une moyenne. Il n'écrit pas le fichier sur le disque dur, donc ça se base uniquement sur le couple RAM/CPU. De par le principe c'est Universal Binaries et 0% compatible Linux.

[White-Rabbit]

voilà, clic et paf!

Bench de mon mac mini intel 1.66ghz, 1go ram

##########################################

####### Benchmark Tool for PCI 0.1 #######

###### Copyright G r i b o u i l l e #####

######### General Informations ###########

##########################################

Computer : i386

Darwin Kernel Version 8.8.1

FSB : 664 Mhz

CPU(s) : 1660 Mhz

Physical CPU(s) : 2

Logical CPU(s) : 2

Active CPU(s) : 2

RAM : 1024 Mb

----------- Benchmark Started ------------

Score is : 8.124 (lower is better)

------------ Benchmark Ended -------------

logout

[Opération terminée]

[G r i b o u i l l e]

deux autres pour la route :

##########################################
####### Benchmark Tool for PCI 0.1 #######
###### Copyright G r i b o u i l l e #####
######### General Informations ###########
##########################################
Computer : Power Macintosh
Darwin Kernel Version 8.8.0
FSB : 800 Mhz
CPU(s) : 1600 Mhz
Physical CPU(s) : 1
Logical CPU(s) : 1
Active CPU(s) : 1
RAM : 1024 Mb
----------- Benchmark Started ------------
Score is : 7.413 (lower is better) 
------------ Benchmark Ended -------------

et

##########################################
####### Benchmark Tool for PCI 0.1 #######
###### Copyright G r i b o u i l l e #####
######### General Informations ###########
##########################################
Computer : Power Macintosh
Darwin Kernel Version 8.8.0
FSB : 133 Mhz
CPU(s) : 1067 Mhz
Physical CPU(s) : 1
Logical CPU(s) : 1
Active CPU(s) : 1
RAM : 256 Mb
----------- Benchmark Started ------------
Score is : 9.594 (lower is better) 
------------ Benchmark Ended -------------

[White-Rabbit]

c'est quoi tes machines?

[G r i b o u i l l e]

PowerMacG5 Bipro 1,8

PowerMacG5 Monopro 1,6

iBook G4 1,0

J'ajouterais le type de machine dans le script :o)

[White-Rabbit]

ok ça roule