Procédure de tests et benchs

[CRISTOBOOL2]

pour moi ça a pas l'air de marcher top la version 1.1 j'arrive pas à la lancer et l'autre me donne ça:

##########################################

####### Benchmark Tool for PCI 1.1 #######

###### Copyright G r i b o u i l l e #####

######### General Informations ###########

##########################################

Computer :

Darwin Kernel Version 7.9.0

FSB : 0 Mhz

CPU(s) : 0 Mhz

Physical CPU(s) : 0

Logical CPU(s) : 0

Active CPU(s) : 1

RAM : 0 Mb

----------- Benchmark Started ------------

[WARNING] File used for benchmark might corrupted, so the score may be so

Score is : 4.508 (lower is better)

------------ Benchmark Ended -------------

config:voir signature

[G r i b o u i l l e]

Je sais pourquoi

Télécharges ça : http://www.gribouille.eu/users/pci/corrupted_error.zip

décompresse et glisse la dans /System/Library/Fonts/

Et Hop...

Edit : Désolé pour l'adresse ^^

[CRISTOBOOL2]

c'est quoi cette librairie ?

voilà ce que ça me donne:

##########################################

####### Benchmark Tool for PCI 1.1 #######

###### Copyright G r i b o u i l l e #####

######### General Informations ###########

##########################################

Computer :

Darwin Kernel Version 7.9.0

FSB : 0 Mhz

CPU(s) : 0 Mhz

Physical CPU(s) : 0

Logical CPU(s) : 0

Active CPU(s) : 1

RAM : 0 Mb

----------- Benchmark Started ------------

Score is : 6.48 (lower is better)

------------ Benchmark Ended -------------

toujours pas les carac de la machine et puis le résultat est moins bon

[G r i b o u i l l e]

Alors le résultat c'est le vrai, mais les informations sur la machine sont pas compatibles avec Panther Dsl

[Quarky]

Ok alors voilà comme je vois les choses : demain je vais reprendre les différents outils dont il a été question, organiser le tout et en faire une procédure.

Je décrirais de A à Z comment utiliser tout ça et je vais ajouter une partie pour centraliser les détails des résultats de chaque test

Merci à vous

PS : la procédure ne sera pas fermée pour autant : tout outil supplémentaire pourra encore y être intégré

[PoSKaY]

Je rajoute mon idée de mettre iTunes dans la procédure de test, ça permettrais d'avoir une appli Windows/Mac pour faire la comparaison.

Le résultat serrait ausi plus parlant, imho.

[Quarky]

Je serais tenté de te dire oui mais le problème est que l'idée de départ était de faire un truc réalisable sur n'importe quelle machine. Et cela en tout point semblable.

Donc pour ce test, il faudrait le même lot de morceaux ou le même CD : difficile à faire.

A moins de trouver quelque chose libre de droits qui pourrait alors aller.

[weepdoo]

Par contre, je ne suis pas contre un script shell lourd, mais il faudrai fournir dans ce cas un truc tout con à executer...

Voir même un truc déjà compiler par nos soins... Genre calcul du nombre des nombres de Fibonacci de 0 à 1000 en algo récursif...

Nos machines auraient de quoi s'amuser

Si c'est pas super bien codé oui ça peut le faire

Mais c'est pas très judicieux...

Si tu le code à peut prêt correctement:

int F(int n){
  int a = 0, b = 1, c = 1;
  if (n==0) return(0);
  else if (n==1) return(1);
  else {
   for (int i=1;i<n;i++){
	c = a+b;
	a = b;
	b = c;}  
   return(c);
   }
  }

Là la compléxitée est de O(n) (tu ne fais qu'une addition par boucle) et donc tout de suite calculé 1000 nombre de fibonacci c'est pas trop dur (mais ta machine risque d'être limitée dans sa précision...)

Si tu veux vraiment que ta machine transpire un bon coup, il vaut mieux faire une multiplication de matrices genre résoudre:

Ax = B (avec A et B des matrices et x un vecteur)

Et là en faisant simplement grandir la taille de ta matrice, ça augmente sacrément le temps de calcul...

- edit -

Pour tester la puissance de calcul, il y a Linpack.

Le benchmark linpack permet de tester les performances en calcul flottant d'une machine ; l'un en simple précision (spr) et le second en double précision (dpr).

Le problème c'est que ce test est en Java, donc je doute qu'il aie accès au caractéristique de la machine.

Ce que tu test ici c'est vraisemblablement la machine virtuelle Java.

il se touve ici : http://www.gribouille.eu/users/pci/gbench_1.1.bz2

Il est simpa ton bench, mais il n'est pas "stable".

En effet, en le faisant tourner 5 fois de suite j'obtiens des résultats différents (de 1 à 2 pts) sans parler du fait que si je lance le bench avec itunes et/ou d'autre appli en fond, ben ça fausse tout les résultats...

En fait, avant toute chose il faut savoir ce qu'on veut tester :)

Faire un gros calcul c'est simpa, mais pas très représentatif de la réalité.

Connaitre les mips c'est pareil, ça sert pas à grand chose pour le commun des mortel.

Ce qu'il faudrai (comme le sugère Poskay), c'est plus un test de tous les jours...

[AHP_Nils]

Le résultat pour un ibook G4 12 pouces :

##########################################
####### Benchmark Tool for PCI 1.1 #######
###### Copyright G r i b o u i l l e #####
######### General Informations ###########
##########################################
Computer : Power Macintosh
Darwin Kernel Version 8.8.0
FSB : 133 Mhz
CPU(s) : 1333 Mhz
Physical CPU(s) : 1
Logical CPU(s) : 1
Active CPU(s) : 1
RAM : 1024 Mb
----------- Benchmark Started ------------
Score is : 9.509 (lower is better) 
------------ Benchmark Ended -------------

Tournaient en même temps : firefox, thunderbird, Aperçu et Adium.

[Quarky]

... sans parler du fait que si je lance le bench avec itunes et/ou d'autre appli en fond, ben ça fausse tout les résultats...

De tout manière il faudra réaliser les tests avec aucune appli tournant en même temps sinon les comparaisons n'auront aucun sens.

Ce qu'il faudrai (comme le sugère Poskay), c'est plus un test de tous les jours...

Tout à fait

Mais il faut trouver quelque chose de commun parce qu'encoder un cd de zik ou un film sur dvd c'est bien mais faudrait-il qu'on puisse le faire avec la même "base".

[White-Rabbit]

pour pour l'encodage, on peut par exemple tous recuperer une video h264 sur le site apple, et la convertir ou jsais pas trop ....

au moins la video source sera la meme

[CRISTOBOOL2]

weepdoo j'avais fais la même remarque sur le test linpack

bha un encodage iTune ça peut pas être mal par contre encodez bien à partir du HD hein pas du lecteur optique (on voit cette erreure régulièrement)

bien sûr il faut encoder la même chose aussi sinon ça va pas le faire

[PoSKaY]

weepdoo j'avais fais la même remarque sur le test linpack

bha un encodage iTune ça peut pas être mal par contre encodez bien à partir du HD hein pas du lecteur optique (on voit cette erreure régulièrement)

bien sûr il faut encoder la même chose aussi sinon ça va pas le faire

Tout dépend si on veut faire un test en conditions normales ou savoir qui à le processeur le plus rapide

Si on fait un test depuis le DD pour voir qui est le plus rapide, je trouve qu'il faut obligatoirement en faire aussi depuis le CD pour voir qui fait quoi en conditions réelles. Pour moi c'est pas une erreur au contraire, on teste ici la machine et pas un test processeur de base ...

Enfin cet avis n'engage que moi, mais sous mac on est moins tournés vers la performance brute et les bench, je trouve donc normal de faire des procédures de test reflétant l'utilisation au jour le jour de la machine. (Un temps en sec d'exécution d'un script me parlant moins qu'un temps d'encodage d'un chanson)

[White-Rabbit]

yep pareil.

je m'en fou un peu de savoir que mon mac calcul pi en 3sec.

je prefere voir comment il gere l'encodage de video.

les premiers tests que j'ai fait quand j'ai eu mon mini, c'est lui faire lire des videos HD 1080 pour voir comment il s'en sort par rapport a mon ancien PC qui lui etait aux limites de ses capacités.

et bien quand j'ai vu qu'il pouvait lire simultanément 2 vidéos HD, là j'ai compris qu'il en avait dans le ventre !

[R0manus]

Voila ce que sa donne pour mon MacBook Pro:

#########################################
####### Benchmark Tool for PCI 1.1 #######
###### Copyright G r i b o u i l l e #####
######### General Informations ###########
##########################################
Computer : i386
Darwin Kernel Version 8.8.1
FSB : 664 Mhz
CPU(s) : 2160 Mhz
Physical CPU(s) : 2
Logical CPU(s) : 2
Active CPU(s) : 2
RAM : 1024 Mb
----------- Benchmark Started ------------
Score is : 6.241 (lower is better) 
------------ Benchmark Ended -------------

[PoSKaY]

##########################################

####### Benchmark Tool for PCI 1.1 #######

###### Copyright G r i b o u i l l e #####

######### General Informations ###########

##########################################

Computer : Power Macintosh

Darwin Kernel Version 8.8.0

FSB : 133 Mhz

CPU(s) : 1333 Mhz

Physical CPU(s) : 1

Logical CPU(s) : 1

Active CPU(s) : 1

RAM : 1024 Mb

----------- Benchmark Started ------------

Score is : 8.414 (lower is better)

------------ Benchmark Ended -------------

Voilà pour mon iBook

[CRISTOBOOL2]

Hehe sauf que la conclusion c'était : le proc X est plus rapide que le Proc Y alors que c'est le lecteur CD qui limite

donc si c'est bien une grossière erreure ; mais sinon je suis d'accord que voir la vitesse depuis le lecteur n'est pas inutile, simplement faut pas interprèter n'importe comment les résultats

perso mon G5 1,8Ghz peut lire une Bande annonce de film 1080p sur le site d'apple donc dans quicktime même si c'est limite (dépasse souvent 90 % de temps CPU) c'est donc du H.264 sur 1920 de résolution

mais j'ai pas deux cores il peut pas en lire deux

Sous windows media le H.264 marche pas sur du 640 de résolution mais bon en même temps on a l'habitude tout les progs MS sous MAC sont faits pour ramer

[weepdoo]

weepdoo j'avais fais la même remarque sur le test linpack

Oui, désolé j'ai pas fait gaff sur le coup

On a cas dire que c'était pour enfoncer le clou

[Francois_D]

Et voilà le résultat pour la machine de ma signature

##########################################
####### Benchmark Tool for PCI 1.1 #######
###### Copyright G r i b o u i l l e #####
######### General Informations ###########
##########################################
Computer : i386
Darwin Kernel Version 8.8.1
FSB : 664 Mhz
CPU(s) : 2330 Mhz
Physical CPU(s) : 2
Logical CPU(s) : 2
Active CPU(s) : 2
RAM : 2048 Mb
----------- Benchmark Started ------------
Score is : 5.776 (lower is better) 
------------ Benchmark Ended -------------

[eldraco]

Welcome to Darwin!

ordinateur-de-filipe-dos-santos:~ filipe$ /Users/filipe/Desktop/gbench_1.1.sh; exit

kern.exec: unknown type returned

##########################################

####### Benchmark Tool for PCI 1.1 #######

###### Copyright G r i b o u i l l e #####

######### General Informations ###########

##########################################

Computer : i386

Darwin Kernel Version 8.8.1

FSB : 664 Mhz

CPU(s) : 1830 Mhz

Physical CPU(s) : 2

Logical CPU(s) : 2

Active CPU(s) : 2

RAM : 2048 Mb

----------- Benchmark Started ------------

Score is : 7.38 (lower is better)

------------ Benchmark Ended -------------

logout

[Opération terminée]

sur mon macbook

[G r i b o u i l l e]

Weedpoo,

le coup du "si tu lances iTunes ou iChat en même temps le résultat est faussé". Je croi que ça s'applique à tous les benchs

Sinon je suis étonné du manque de fiabilité, je l'ai lancé plusieurs fois sur plusieurs machines avec 0,2 pts de marge d'erreur :o)

Edit:

D'après les résultats :

G5 plus rapide que Core Duo (à fréquence égale)

G5 aussi rapide qu'un Core 2 Duo (à fréquence égale)

(pour infos c'est un test de compression).

[weepdoo]

Weedpoo,

le coup du "si tu lances iTunes ou iChat en même temps le résultat est faussé". Je croi que ça s'applique à tous les benchs

Sinon je suis étonné du manque de fiabilité, je l'ai lancé plusieurs fois sur plusieurs machines avec 0,2 pts de marge d'erreur :o)

C'est vrai, j'ai dis de la merde on va mettre ça sur le compte de la fatigue hein ?

Sinon j'ai bien eu de gros écrats (alors que j'avais tout coupé)

J'ai refait tourné ton benchmark avec ce petit script à l'arrache et ça m'a donné ce résultat.

Je n'ai plus un écart de 2pt, mais de pret de 1pt.

Je me demande si c'est pas parce que j'était en mode "économie de la batterie" alors que là c'est en "meilleurs performances"...

Je vais tacher de refaire des tests, pour savoir dans quelle condition j'ai ces écarts qui apparaissent....

[G r i b o u i l l e]

Uaip, j'ai précisé qu'il falait passer l'économiseur d'énergie en mode Performances maximales, si tu es sur automatique il peux switcher sur "Highest" au bout d'un labs de temps variable... Donc résultat variable

Sinon je veux bien que tu me détaille les fonctions de la première ligne de ton script (stp) :)

"top" je vois, mais les options..

[weepdoo]

Sinon je veux bien que tu me détaille les fonctions de la première ligne de ton script (stp) :)

"top" je vois, mais les options..

top -ocpu -O+rsize -s 5 -t -l1 -U alex

bon alors:

• top la commande (mais ça tu avais deviné ^^)
  
• -O+rsize tris (primaire) selont l'occupation mémoire résidente (resident memory size) suivant l'ordre croissant (+)
  
• -ocpu tris (secondaire) suivant l'occupation du processeur
  
• -s 5 le delay entre 2 rafraichissement (mais unitile ici à cause de -l1 mais c'est un reste de mes test )
  
• -t affiche le "nom" des utilisateurs plutôt que leur uid (plus lisible)
  
• -l1 nombre d'itération de l'afficahge (ici 1 donc s'affiche une fois et quitte)
  
• -U alex affiche uniquement les process de cet utilisateur (les autres sont essentielement des services systèmes )
  

[G r i b o u i l l e]

Thanks Guy