Comparatif prévisions saisonnières/réalité observée

[Invité Guest]

Pour faire suite à une idée soulevée par Cérébra, j'ouvre ce topic afin que nous mettions ensemble au point un système de comparaison et d'évaluation des prévisions saisonnières, qui concernerait (en distinguant évidemment ces différents registres) les sorties brutes de modèles saisonniers, ainsi que les productions de différents organismes professionnels et sites amateurs. Du gros boulot en perspective : toutes les personnes de bonne volonté sont conviées pour apporter leur pierre à cet édifice ! /emoticons/wink@2x.png 2x" width="20" height="20">

Pour commencer, un peu de recherche doc : Treizevents m'a dit il y a quelques minutes sur msn que le met-off mettait à disposition les archives de ses prévisions saisonnières (3 prévisions par an pour l'hiver, soit une réactualisation chaque mois de l'automne météo) !

[Invité Guest]

Je reporte un post de Karott qui concerne ce topic :

la fiabilite des modeles est faible et l'idee de Cerebra de les comparer objectivement (comme a fait 13vents pour les indices NAO, QBO et phase solaire) serait tres interessante. Moi je verrai un tableau comme ceci : en lignes les echeances de previsions (1 mois avant, 2 mois avant etc) et en colonnes les differents modeles. La derniere ligne serait la realite observee. Il faudrait un tableau par mois d'hiver (un pour les previsions pour novembre, un pour decembre, un pour janvier etc). Mais evidemment il faut quelqu'un pour le remplir. Soi un "independant" qui se farcit tout le boulot, soit mettre le tableau en acces libre (chacun contribue) ou en acces restreint (les previsionistes saisonniers testés le completent eux memes )...

[florent76]

Je reporte un post de Karott qui concerne ce topic :

Bonne idée, mais je ne pense qu'il va vous falloir retrousser les manches. Pour ma part, je veux bien jouer le jeu, mais déjà tous les prévisionnistes saisonniers français ne passent pas forcément régulièrement sur le forum, ensuite ils n'auront pas obligatoirement de temps à consacrer à un tableau supplémentaire par rapport aux prévisions qu'ils diffusent. Ensuite, pour toutes les prévisions émises à l'étranger, il n'y a pas de secret, il faudra aller à la pêche régulièrement sur les sites concernés...Plus important, il va falloir bien réfléchir à la présentation de la chose, car beaucoup de prévisionnistes émettent successivement 2, 3, voire 6 prévisions pour un mois donné au fur et à mesure qu'il se rapproche dans le temps ! Enfin, il faudra bien spécifier ce qui est mesuré : soit toujours prendre la même zone pour tous afin d'opérer sur une base comparable, soit bien définir de quelle zone il s'agit. Parfois, il faudra aller chercher la vérification en chiffre qui n'est pas toujours diffusé ou précisément calculée par le prévisionniste même si j'ai essayé de faire avancer les choses à ce sujet en France au moment où j'ai constitué l'annuaire que vous connaissez en n'entrant dans celui-ci que les prévisions qui étaient vérifiées ensuite !

Florent.

[Invité Guest]

Cerebra :

Comparé les modèles et l'idée de Yann moi perso je crois cette comparaison difficile. Même si c'est une bonne suggestion.

je commencerais d'abord à repertorier les prévisionnistes saisonniers à dresser une grille comparative des prévisions mois par mois, pour les températures, les précipitations et l'ensoleillement. Une grille qui résumerait les prévisions de chacuns à laquelle serait acolée la date de réalisation de la prévision, qui mentionnerait toutes les réactualisations et permettrait ainsi de voir quel prévisionniste s'en est le mieux sortis à 6 mois, à 3 mois puis à 1 mois.

Pour te répondre sur la comparaison des prévisions établies par les modèles. Je dirais que ça me parait moins difficile que pour celles des prévisionnistes amateurs. Si on prend les prévisions du met-off par exemple, les anomalies de températures attendues sont spatialisées à l'échelle de l'Europe et du Monde, dès lors il est simple de les comparer aux anomalies réellement observées. En outre, ces variations d'échelle devraient permettre de tenir compte dans nos évaluations des configurations et récurrences synoptiques, et de leurs décalages (cf de post de run999h sur l'autre topic).

Pour ce qui concerne les sites amateurs, un gros défi à surmonter est d'arriver à placer sur une même grille d'analyse comparative des informations extrêmement diverses dans leur nature (informations qualitatives, quantitatives), leur contenu, leur niveau de précision, leur présentation. En plus, il me semble que ces prévisions sont très rarement spatialisées. Il est donc évident qu'il nous faudrait réfléchir à dégager un certain nombre d'indicateurs autorisant une comparaison.

Florent :

beaucoup de prévisionnistes émettent successivement 2, 3, voire 6 prévisions pour un mois donné au fur et à mesure qu'il se rapproche dans le temps !

Je sens qu'on va passer beaucoup de temps à chercher nous mêmes ces informations ! C'est pourquoi il me parait important que nous soyons nombreux pour se répartir le boulot... /emoticons/happy@2x.png 2x" width="20" height="20">

[CyrilD44]

Ce pourquoi je suis très réservé pour ce genre d'idées est que la comparaison des sites de prévisions saisonnières se transforme en une compétition (voire une concurrence !) entre ces sites justement.

Or, la recherche sur les prévisions saisonnières a beaucoup de mal à progresser malgré les efforts entrepris.

Il est nécessaire de se serrer les coudes.

Les principaux sites de prévisions saisonnières sont déjà recensés sur cette url http://www.science-climat.info/liens.php : une liste qui doit être remise à jour (Jerome Cerisier n'en fait plus depuis un bon moment, d'autres ne sont plus mis à jour).

Pour ma part, les internautes peuvent avoir accès aux archives de mes prévisions saisonnières : je n'ai donc rien à cacher.

[Invité Guest]

Ce pourquoi je suis très réservé pour ce genre d'idées est que la comparaison des sites de prévisions saisonnières se transforme en une compétition (voire une concurrence !) entre ces sites justement.

C'est vrai que c'est un risque, je suis d'accord avec toi sur ce point, Cyril. D'ailleurs, la question se pose de l'utilité d'une comparaison entre prévisions saisonnières amateurs. C'est pourquoi, tout en permettant la participation d'amateurs qui souhaiteraient soumettre à évaluation leurs prévisions, sans doute vaudrait-il mieux circonscrire nos comparaisons prévisions/réalité aux prévisions des modèles ainsi qu'à celles des prévisionnistes professionnels.

[williams]

Oui mais seul quelques previonnistes mettent l'historiques des previsions des ces derniers mois. Donc pour faire ces tableaux soit il faudra le faire d'annee en annee ces prochaines années(ce qui sera long) soit avoir l'historique des previsions des années precedentes de chaque previsionnistes.

Williams

[Emma]

Pour faire suite à une idée soulevée par Cérébra, j'ouvre ce topic afin que nous mettions ensemble au point un système de comparaison et d'évaluation des prévisions saisonnières, qui concernerait (en distinguant évidemment ces différents registres) les sorties brutes de modèles saisonniers, ainsi que les productions de différents organismes professionnels et sites amateurs. Du gros boulot en perspective : toutes les personnes de bonne volonté sont conviées pour apporter leur pierre à cet édifice !

Pour commencer, un peu de recherche doc : Treizevents m'a dit il y a quelques minutes sur msn que le met-off mettait à disposition les archives de ses prévisions saisonnières (3 prévisions par an pour l'hiver, soit une réactualisation chaque mois de l'automne météo) !

robjection mon honneur ! c'était une idée lancée par moi l'an dernier et pour laquelle, j'avais été bien critiquée !cela s'appelait ainsi !*/index.php?showtopic=16554'>http://forums.infoclimat.fr/index.php?showtopic=16554

[jt75]

En effet, rendons à Emma ce qui est à Emma.

Dailleurs Emma tu t'étais engagée l'an dernier dés début décembre en prévoyant un hiver mort-né.

Ton feeling pour cette année ?

Concernant les modèles, constatons qu'ils ont tout faux pour l'été, et pour l'automne qui prévoyaient des saisons avec ano positives sur la France

My feeling à moi (et à bcp d'autres) c'est un hiver balaise, précoce, neigeux et qui prendra fin rapidement (mi Février)

Et puis faut bien combler les quasi 9 mois d'affilée de T au dessus des normales de l'automne, l'hiver et du printemps dernier ...

[williams]

En revenant sur ceci, actuellement je fini un traitement sur Excel qui va permettre dans 2 tableaux de calculs a partir de 2 autres tableaux de données, d'analyser tout seul les previsions saisonieres de 19 sites comme ceci :

- Dans le 1er tableau je mettrais tout les mois les previsions des 3 ou 6 ou... mois qui vont arriver avec parfois le mois en cours, de 19 sites.

- Puis chaque mois je mettrais l'anomalies (positive ou correcte ou négative) de la moyenne en France dans un 2ème tableau.

- Et dans un 3eme tableau cela va automatiquement mettre si le "previsioniste" a juste ou faux pour les previsions qu'il a realisé tel mois suivant l'anomalie de la moyenne en France.

- Et dans un 4eme tableau suivant le nombre de previsions Justes ou Fausses realisees tel mois pour tel mois il y aura un % sur le nombre de bonne prévision. Puis le % de nombre de reponse juste sur toute les prévisions realisé pour tel previsionniste.

Que pensez vous de ce système de comparaison et d'évaluation des prévisions saisonnières ??

Williams

[Run999H]

En revenant sur ceci, actuellement je fini un traitement sur Excel qui va permettre dans 2 tableaux de calculs a partir de 2 autres tableaux de données, d'analyser tout seul les previsions saisonieres de 19 sites comme ceci :

- Dans le 1er tableau je mettrais tout les mois les previsions des 3 ou 6 ou... mois qui vont arriver avec parfois le mois en cours, de 19 sites.

- Puis chaque mois je mettrais l'anomalies (positive ou correcte ou négative) de la moyenne en France dans un 2ème tableau.

- Et dans un 3eme tableau cela va automatiquement mettre si le "previsioniste" a juste ou faux pour les previsions qu'il a realisé tel mois suivant l'anomalie de la moyenne en France.

- Et dans un 4eme tableau suivant le nombre de previsions Justes ou Fausses realisees tel mois pour tel mois il y aura un % sur le nombre de bonne prévision. Puis le % de nombre de reponse juste sur toute les prévisions realisé pour tel previsionniste.

Que pensez vous de ce système de comparaison et d'évaluation des prévisions saisonnières ??

Williams

Cette comparaison me parait honnête, bien que le jugement des prévisionistes me gène un peu. Mais sinon, rien à redire, puisque le boulot derrière cela doit être conséquent, et qu'au moins cela est fait! Il est vrai que ce sujet est passé un peu aux oubliettes alors qu'il est malgré tout intéressent de connaitre la proportion de réussite.

[williams]

Cette comparaison me parait honnête, bien que le jugement des prévisionistes me gène un peu.

Ceci ne serait pas pour faire un jugement mais voir :

- les mois ou saisons qui semblent les plus faciles a prevoir pour tels previsionnistes ;

- Puis sur quel echeance cela semble etre le plus facile ;

- Puis suivant leur methode, leur evolutions de previsions,... les previsionistes pouront mieux voir laquelles des methodes est la meilleurs, soit un indice pour eux peut etre. Cet indice Florent76 ce le fait deja par exemple avec son graphique où il y ces previsions et l'anomalie qu'il y a eu.

Williams

[florent76]

En revenant sur ceci, actuellement je fini un traitement sur Excel qui va permettre dans 2 tableaux de calculs a partir de 2 autres tableaux de données, d'analyser tout seul les previsions saisonieres de 19 sites comme ceci :

- Dans le 1er tableau je mettrais tout les mois les previsions des 3 ou 6 ou... mois qui vont arriver avec parfois le mois en cours, de 19 sites.

- Puis chaque mois je mettrais l'anomalies (positive ou correcte ou négative) de la moyenne en France dans un 2ème tableau.

- Et dans un 3eme tableau cela va automatiquement mettre si le "previsioniste" a juste ou faux pour les previsions qu'il a realisé tel mois suivant l'anomalie de la moyenne en France.

- Et dans un 4eme tableau suivant le nombre de previsions Justes ou Fausses realisees tel mois pour tel mois il y aura un % sur le nombre de bonne prévision. Puis le % de nombre de reponse juste sur toute les prévisions realisé pour tel previsionniste.

Que pensez vous de ce système de comparaison et d'évaluation des prévisions saisonnières ??

Williams

Très intéressante idée... Juste une question : comme fait-tu avec le 3e et 4e tableaux concernant les prévisionnistes qui remettent à jour toute leur prévision tous les mois... A terme, cela peut donner par exemple pour le mois de novembre qui se termine plusieurs prévisions pour le même prévisionniste : prévision au début du mois, à un mois, deux mois, trois mois et parfois plus ???Florent.

[williams]

Très intéressante idée... Juste une question : comme fait-tu avec le 3e et 4e tableaux concernant les prévisionnistes qui remettent à jour toute leur prévision tous les mois... A terme, cela peut donner par exemple pour le mois de novembre qui se termine plusieurs prévisions pour le même prévisionniste : prévision au début du mois, à un mois, deux mois, trois mois et parfois plus ???

Florent.

Chaque mois c'est seulement 1 fois que je mettrais a jours le 1er tableau de prevision.

Pour les mois dont on prevoit leur temperatures et ceci pendant 3 ou 6 mois a la suite souvent les tableaux seront presenter comme ceci environs :

EXEMPLE POUR LE MOIS DE DECEMBRE :

________________________________________________

.................................|SCIENCE & CLIMAT (Pour Paris)....|

___________________|_____________________________|

anomalie.....|pour tel..|...............|..................|...............|

prevu à......| periode.|....FROID..|..CORECTE..|...CHAUD...|

tel periode..|.............|...............|...................|................|

__________|_______|_________|___________|_________|

.................|déc-07...|_________|___________|_________|

.................|janv-08..|_________|___________|_________|

.................|fév-08....|_________|___________|_________|

DECEMBRE.|mars-08.|_________|___________|_________|

.................|avril-08..|_________|___________|_________|

__________|mai-08...|_________|___________|_________|

Donc la prevision de Mai 08 sera mis 6 fois soit sur 6 mois dans le tableau 1 et analyser 6 fois dans les 2 autre tableaux.

Williams

[florent76]

Chaque mois c'est seulement 1 fois que je mettrais a jours le 1er tableau de prevision.

Donc la prevision de Mai 08 sera mis 6 fois soit sur 6 mois dans le tableau 1 et analyser 6 fois dans les 2 autre tableaux.

Williams

OK... Comme pour ma part je ne change quasiment jamais de prévisions en cours de route, (sauf refonte de mon mode de calcul), on aura pour ma part toujours la même chose qui sortira avec un mois qui se rajoutera à chaque fois... comme sur mon site finalement.Là où ça sera intéressant, c'est pour les prévisionnistes qui modifient tous leurs chiffres tous les mois, car j'avoue que j'ai du mal à suivre. J'espère que tu compte garder tout ça en archives ensuite, car l'intérêt est de pouvoir étudier les résultats sur plusieurs mois, voire années...

Florent.

[williams]

OK... Comme pour ma part je ne change quasiment jamais de prévisions en cours de route, (sauf refonte de mon mode de calcul), on aura pour ma part toujours la même chose qui sortira avec un mois qui se rajoutera à chaque fois... comme sur mon site finalement.

Là où ça sera intéressant, c'est pour les prévisionnistes qui modifient tous leurs chiffres tous les mois, car j'avoue que j'ai du mal à suivre. J'espère que tu compte garder tout ça en archives ensuite, car l'intérêt est de pouvoir étudier les résultats sur plusieurs mois, voire années...

Florent.

Oui c est une de ces raisons pour laquel ceci pourait aider tout le monde de mieux voir les changement qu'ils font et donc si retrouver. Et souvent on a raison la 1er fois et on a tord lorsqu'on change d'avis donc ceci poura etre verifier et pourait etre utile pour les previsionistes peut etre.

Williams

[florent76]

Oui c est une de ces raisons pour laquel ceci pourait aider tout le monde de mieux voir les changement qu'ils font et donc si retrouver. Et souvent on a raison la 1er fois et on a tord lorsqu'on change d'avis donc ceci poura etre verifier et pourait etre utile pour les previsionistes peut etre.

Williams

Certainement, je le pense... Il n'y a rien à cacher de toute manière. C'est juste refaire une synthèse de chiffres qui sont de toute manière publiés, mais que simplement étant donné les sources trop nombreuses, on ne peut parvenir à mettre en perspective en utilisant sa seule mémoire. Ce sera certainement intéressant... Encore faudra-t-il définir ce que sera la marge d'erreur pour laquelle une prévision sera définie comme "correcte"... Rien n'étant tout blanc ou noir, en même temps si tu indiques bien les valeurs prévues dans tous les tableaux, et pourquoi pas les erreurs en écarts on pourra voir si il s'agissait juste d'une petite erreur ou d"une prévi passé complétement à côté de son sujet...Florent.

[CyrilD44]

Certainement, je le pense... Il n'y a rien à cacher de toute manière. C'est juste refaire une synthèse de chiffres qui sont de toute manière publiés, mais que simplement étant donné les sources trop nombreuses, on ne peut parvenir à mettre en perspective en utilisant sa seule mémoire. Ce sera certainement intéressant... Encore faudra-t-il définir ce que sera la marge d'erreur pour laquelle une prévision sera définie comme "correcte"... Rien n'étant tout blanc ou noir, en même temps si tu indiques bien les valeurs prévues dans tous les tableaux, et pourquoi pas les erreurs en écarts on pourra voir si il s'agissait juste d'une petite erreur ou d"une prévi passé complétement à côté de son sujet...

Florent.

Tant qu'il n'y a pas de jugements et que la définie d'une prévision correcte et incorrecte est bien établie, il n'y a rien strictement rien à cacher surtout de la part de personnes comme moi qui mettent en ligne les archives des prévisions saisonnieres

[Val24]

C'est une très bonne idée cet archivage/classage...

Mais en lisant les différents posts, j'ai l'impression que ca devient le concours du "meilleur prévisionniste"... Chacun y va par son "de toute façon ça ne me gène pas, c'est moi le meilleur"

Je me trompe !? J'espère, ça serait bien dommage !

[florent76]

C'est une très bonne idée cet archivage/classage...

Mais en lisant les différents posts, j'ai l'impression que ca devient le concours du "meilleur prévisionniste"... Chacun y va par son "de toute façon ça ne me gène pas, c'est moi le meilleur"

Je me trompe !? J'espère, ça serait bien dommage !

Ce n'est pas le but de l'opération et je ne sais pas où tu as lu cela dans l'échange de question qui est produit avec Williams depuis le début de soirée... Je compte d'ailleurs sur Williams pour empêcher ce type de dérive qui pourrait en effet effleurer l'esprit de certains. Non, à part cela ce n'est pas gênant. Et ni moi, ni Cyril n'avons prétendu être le meilleur, surtout que nous connaissons comme tout le monde de gros échecs de prévision à un moment ou à un autre : il peut y avoir des bonnes périodes, parfois longues, mais la bonne prévisibilité en tout temps est encore loin d'être acquise dans le saisonnier.Florent.

[Val24]

Alors, c'est bien plus clair

Désolé, j'avais pas compris les précédents messages de cette façon, et je me suis trompé.

A bientôt, et si vous avez besoin de mon aide pour mettre en place ce système, je suis présent ! /emoticons/happy@2x.png 2x" width="20" height="20">

[williams]

Alors, c'est bien plus clair

Désolé, j'avais pas compris les précédents messages de cette façon, et je me suis trompé.

A bientôt, et si vous avez besoin de mon aide pour mettre en place ce système, je suis présent ! /emoticons/happy@2x.png 2x" width="20" height="20">

Il est sur que si je fais ceci que ce n'est pas pour penaliser ceux qui passent du temps pour les previsions saisonieres.

Suivant ce que j'ai dis j'ai aussi pensé a d'autres colonnes qui pouraient etre utiles a tout le monde pour mieux s'y reperer vu le nombre de site de previsions saisonieres.

Si certain d'entre vous on le liens d'anciennes prevision saisonieres mensuelle comme de NOAA.... n'esiter pas a le donnees justement. Ainsi ceci pour nous avancer sur des mois.

Williams

[Invité Guest]

Il est sur que si je fais ceci que ce n'est pas pour penaliser ceux qui passent du temps pour les previsions saisonieres.

C'est sûr que ce genre d'évaluation n'a d'intérêt que si elle peut déboucher sur une amélioration des méthodes de prévisions saisonnières amateur notamment, après évaluation, à travers un échange et une mutualisation des recettes de chacun. Certaines marchent peut-être mieux que d'autres...

[williams]

Pour bien analyser les anomalies des temperatures, les temperatures sont elles biens dans les normes par rapport a la moyenne quand elles sont <+0.5°C et >-0.5°C. Et une anomalie positive quand elle est > ou=0.5°C et une anomalie négative < ou =-0.5°C ??

Williams

[florent76]

Pour bien analyser les anomalies des temperatures, les temperatures sont elles biens dans les normes par rapport a la moyenne quand elles sont <+0.5°C et >-0.5°C. Et une anomalie positive quand elle est > ou=0.5°C et une anomalie négative < ou =-0.5°C ??

Williams

Si tu ne fais l'analyse que sur 3 classes ce qui est peu, il faut étudier la répartition des valeurs observées pour constituer des classes égales. Comme cela, on saura que l'on a réellement 1 chance sur 3 d'avoir la bonne prévision à chaque "run" et tu pourras calculer quelle prévision obtient de bons résultats, celle-ci devant dépasser ici les 33% de réussite.Pour faciliter les calculs et être plus pointu, je ferai plutôt 5 classes égales contenant chacune 20% des observations (très froid, froid, norme, chaud, très chaud).

J'ai vérifié pour Paris en prenant les 33 et 67e centiles pour 3 classes et les 20, 40, 60 et 80e centiles pour 5 classes...

Pour 3 classes :

< -0,75°C Froid

de -0,75 à +0,75°C Normal

> +0,75°C Chaud

Pour 5 classes :

< -1,5°C Très froid

de -1,5 à -0,5°C Froid

de -0,5° à +0,5°C Normal

de +0,5 à +1,5°C Chaud

> +1,5°C Très chaud

Florent.