Ortho4XP

[wyperion]

Bonjour

Je vois qu'il à été question dans ce "thread" d'une version "Multicore" de Ortho4XP.
S'agit t-il d'une version qui est optimisé pour fonctionner avec un Xeon comme le mien (6 coeurs donc 12 cores) ?
Ou peux-t-on trouver cette version ?
Ou alors il faut lancer le calcul de plusieurs tuiles à la fois ?

Merci,

Wyperion

[olivierpe]

Salut ;-)

Il te suffit de la récupérer sur le DropBox d'Oscar, c'est la version en cours. Par défaut elle tournes sur 4 threads (ou coeurs, à voir...) si j'ai bien compris, c'est déja un gros gain, mais tu peux surement à 6 (voir 12) pour profiter de ton Xeon !

[wyperion]

Merci, j'ai récupéré la dernière version, J'ai bien la nouvelle option pour choisir ce qu'on fait après la "completion" que je n'avais pas avant
Par contre, l'utilisation processeur ne dépasse toujours pas les 9% (c'est python qui les utilise) lors des calculs lors des 3 premiers "Step".
Au Step 3, il monte à 20% (python + convert). A cette phase, ça semble effectivement plus rapide qu'avant, mais c'est encore loin d'utiliser 100% du processeur.
Voici la copie d'écran de l'occupation processeur à l'étape 3:

[Oscar Pilote]

Bonjour,

Depuis le début le programme utilise des processus parallèles pour essayer de gagner du temps, dans une des dernières
versions j'ai simplement changé la manière dont le travail est réparti afin d'améliorer les points où j'avais vu les goulots.

Wyperion, dans ton exemple c'est le téléchargement qui est limitant (connexion réseau?), il est donc normal que tes coeurs ne soient pas sollicités
à fond (il faut bien que le boulot à faire leur vienne de quelque-part).
Tu verras tes coeurs tourner au rouge si par exemple tu refais une tuile avec des orthos que tu as déjà téléchargées (par exemple
parce que tu voudrais en changer le contraste ou la luminostié).

Avec Bing et une bonne connexion je vois les 4 coeurs de mon ordi à 100% pratiquement pendant toute l'étape 3 lorsqu'elle est faite la première
fois (et cela dure maintenant environ 11 minutes pour du ZL16 et 45min pour du ZL17). Je n'ai pas testé sous windows mais il est probable
que cela soit du même ordre de grandeur.

[wyperion]

Merci de ta réponse Oscar. Le téléchargement est certainement un facteur limitant, mais j'ai un bon débit car je suis cablé avec 30MB/sec. Mais pour être sur, j'ai relancé la même tuile sans faire le ménage.
Les résultats sur le processeur sont les mêmes.
Peut-être une particularité de Java sur Mac ?

[olivierpe]

C'est curieux car je compile sur Mac et sur Windows (I7 dans les 2 cas), et j'ai exactement le même comportement dans les deux environnements, à savoir des cœurs qui tournent à peu près à fond dans les phases de conversions dès lors que les fichiers sont présents (j'ai une connexion pas terrible à 12 Mb). Je fais aussi tourner des tuiles sur des fermes de serveurs par groupe de 24 et là encore, tous mes coeurs sont à fond... Ce sont des machines Unix (Aix en l'occurence). Donc il doit y avoir un souci quelque part, et ce serait intéressant qu'on le trouve parce qu'un Xeon, ça doit dépoter en principe !

[milan]

Bon, juste pour info, les couleurs dans Bing, c'est un peu n'importe quoi

Cela signifie-t-il que les paramètres que tu affichais pour le fichiers config ne sont pas véritablement bons
?

[olivierpe]

Je suis en train de me prendre la tête avec ça, tu n'imagines même pas. J'ai enfin trouvé une routine dans Photoshop pour déduire les valeurs correctives à appliquer, mais c'est une tannée.
Donc j'ai tout recommencé. Les valeurs que je mets au fur et à mesure dans mon tableau évoluent en effet, raison pour laquelle j'ai tout retirer sauf la Corse qui est terminée et qui me convient (enfin !). En gros, c'est pas possible de le faire en batch aveugle comme je le pensais. On est obligé de s'intéresser aux tuiles pas groupes pour avoir quelques chose qui ne soit pas complètement déconnant. Les Alpes en revanche sont très correctes nativement (avec le réglage indiqué un peu plus bas pour éviter les artefacts dans l'eau).

Bon, c'est empirique tout ça, et ça prends un temps fou, mais au moins, on arrive à ce qu'on veut !

[wyperion]

C'est curieux car je compile sur Mac et sur Windows (I7 dans les 2 cas), et j'ai exactement le même comportement dans les deux environnements, à savoir des cœurs qui tournent à peu près à fond dans les phases de conversions dès lors que les fichiers sont présents (j'ai une connexion pas terrible à 12 Mb). Au bureau, je fais tourner des tuiles sur des fermes de serveurs par groupe de 24 et là encore, tous mes coeurs sont à fond... Ce sont des machines Unix (Aix en l'occurence). Donc il doit y avoir un souci quelque part, et ce serait intéressant qu'on le trouve parce qu'un Xeon, ça doit dépoter en principe !

Effectivement, c'est très intriguant
Avec un logiciel comme Handbrake (conversion video) ou comme FinalCutPro X (montage video), mon Xeon est pourtant bien utilisé à 100%, avec tous les cores à fond.
Il y a un truc que je ne dois pas bien faire avec Ortho4XP.
Je repose donc la question pour être sur: Pour utiliser tous vos cores, lancez vous plusieurs calcul de tuiles à la fois ?

[Oscar Pilote]

Je repose donc la question pour être sur: Pour utiliser tous vos cores, lancez vous plusieurs calcul de tuiles à la fois ?

Non, mais cela ne veut pas dire que tu ne peux pas le faire. Mais je persiste à penser que c'est au niveau réseau qu'est le goulot chez toi. Pour
le vérifier il faut faire le test que je t'ai indiqué. Ceci dit chez toi combien de temps dure l'étape 3 d'une nouvelle tuile Bing ZL16 ou ZL17 par exemple ?

[olivierpe]

Là par exemple, je compile 42+009 avec le Mac
Les fichiers orthos sont déja présents.

[olivierpe]

Après moultes essais, j'ai enfin un truc potable pour la Corse. Donc ça passe par des modifs notoires sur le point blanc. Le problème est que toute la Corse n'a pas la même colorimétrie, du coup, c'est pas facile de raccorder les tuiles. C'est pas parfait, mais c'est correct, même si ça fait un peu Corse irlandaise

Enfin j'ai la procédure qui va bien maintenant, donc je vais pouvoir reproduire ça pour le reste (je mets dans mon tableau les valeurs que j'utilise A TITRE INDICATIF, à vous de voir si ça vous plait ou pas, c'est toujours améliorable !)
C'est quand même un beau jouet que tu nous a filé Oscar ;-)

[wyperion]

Non, mais cela ne veut pas dire que tu ne peux pas le faire. Mais je persiste à penser que c'est au niveau réseau qu'est le goulot chez toi. Pour
le vérifier il faut faire le test que je t'ai indiqué. Ceci dit chez toi combien de temps dure l'étape 3 d'une nouvelle tuile Bing ZL16 ou ZL17 par exemple ?

J'ai fais le test Oscar (Post #2525) est j'arrive au même résultat même quand les Orthos sont déjà téléchargés.
Il faudrait que je refasse un test pour te donnée une idée exact, mais l'étape 3 d'une nouvelle tuile en Z17 peux durer bien plus d'une heure.
Ceci dit, c'est pas bien grave car c'est la qualité du résultat qui compte, et je suis ravi des nouvelles tuiles que je fais grâce à ton programme, surtout avec un zest de Z18
Le pire, c'est que j'ai l'impression de gagner en FPS par rapport à avant...

[olivierpe]

Le pire, c'est que j'ai l'impression de gagner en FPS par rapport à avant...

Ce n'est pas une impression ;-)
Les images, même si elles sont grosses, consomment moins de ressources que le moteur autogene de X-Plane, c'est vraiment tout benef' !

Pour info, sur mon i7 4 coeurs (Mac) refaire une tuile avec les orthos déja téléchargés, c'est 8 minutes.

[wyperion]

Ce n'est pas une impression ;-)
Les images, même si elles sont grosses, consomment moins de ressources que le moteur autogene de X-Plane, c'est vraiment tout benef' !

Pour info, sur mon i7 4 coeurs (Mac) refaire une tuile avec les orthos déja téléchargés, c'est 8 minutes.

J'avais déjà les tuiles de zonephotos avant, donc j'avais déjà remarqué que c'était mieux que l'autogene d'Xplane ;).
Par contre, j'ai effectivement un problème avec le calcul des tuiles car le deuxième calcul reste assez long (il indique pourtant bien que les différentes parties sont déjà téléchargées). Normal d'ailleurs si j'utilise pas tous les cores.