Significativité des résultats des prév. saisonnières

[florent76]

Je crée un nouveau sujet afin que nous puissions tranquillement poursuivre nos discussions ensemble et avec tous ceux qui souhaiteront y participer également !

CITATION(florent76 @ 23/09/2006 - 10:10)

On s'est qu'il y a toujours une dérive par rapport aux conditions initiales dans ces équations forcément imparfaites car elle ne seraient tout prendre en compte à chaque seconde. Il en résulte des décallages qui sont de plus en plus fréquents de plus en plus avec le temps : c'est pour cela que la prévisibilité de nos modèles numériques basés sur les mêmes équations ne dépassent pas 10 à 14 jours. Alors, je ne pense pas que ce type de méthode puisse permettre d'assurer une prévision fiable de la thermométrie d'une saison, à moins de parier sur la récurrence de certains phénomènes atmosphériques. Si un imprevu, c'est à dire un changement brusque survient dans l'écoulement des masses d'air, l'effet de surprise est en général total avec ce type de simulation.

Florent.

CITATION(lds@ 23/09/2006 - 10:10)

Attention encore une fois à ne pas confondre prévision 'synoptique (moins de 15 jours en gros)' du temps et prévision saisonnière.

Dans le second cas, celui qui est ici intéressant, les échelles temporelles et spatiales intéressantes ne sont pas les mêmes.

L'exemple, toujours cité, de la limite de prévisibilité à 10-15 jours n'a ici aucun sens.

En effet si un modèle numérique partant de 2 solutions différentes va diverger rapidement et fortement entre 3 et 10-15 jours de prévisions, l'ensemble des prévisions va ensuite 'se rejoindre' vers 'une sorte d'attracteur' (je mets des guillemets partout parceque ce que je dis est grossièrement expliqué et pour ne pas choquer les puristes) une sorte de climatologie du modèle.

Dans la prévision climatologique, très longue échélle de temps, les conditions initiales non plus aucune importance, c'est la qualité du modèle et la représentation des phénomènes dynamiques et physiques qui comptent.

Dans la prévision synoptique les 2 sont importantes et la cause de l'imprévisibilité, ni le modèle, ni les conditions initiales ne sont hélàs parfaites.

Dans une prévision mensuelle on est un peu 'entre les deux' (et à mon avis c'est d'ailleurs une des difficultés de ce genre de prévision). Globalement la prévision aura tendance à 'retourner' vers sa climatologie (ce qui explique l'énorme difficulté à prévoir les cas où on s'éloigne fortement de la climatologie à mon avis) et, si la qualité du modèle est extrêmement importante, la sensibilité aux conditions initiales l'est aussi mais moins que pour une prévi synoptique.

Ainsi, actuellement les centres de prévis mettent l'accent sur l'importance d'avoir de bonnes conditions initiales de SST.

Enfin un mot sur les analogues: L'énorme problème est que l'atmosphère aurait un attracteur étrange. En gros et pour faire simple cela revient à dire qu'il ne repasse jamais par le même état (exactement le même je précise).

Pour trouver 2 solutions très approchantes il faudrait une base de données de plusieurs centaines d'années (même plusieurs milliers). Ce qui n'existe pas sauf à utiliser des sorties de modèle de climato.

Mais là encore tout est une question d'échelle, à très grande échelle on peut plus ou moins catégoriser les situ météo en familles et donc trouver dans le passé une famille qui correspond à la situ d'un jour J.

Maintenant est-ce que l'appartenance, à grande échelle, à un type de situ suffit à faire se répéter à plus petite échelle les même phénomènes...perso j'en doute mais cela reste un sujet de recherche intéressant. Les réussites comme les échecs de Florent ou d'autres qui utilisent cette méthode laissent le débat grand ouvert...et c'est tant mieux...

Je rappelle ici les différents liens vers les éléments du débat. Dans le dernier sujet, tu avais répondu lds et émis absolument aucune objection, ni proposition malgré ma question très précise.

/index.php?s=&showtopic=8545&view=findpost&p=103162'>STATISTIQUES SUR LES ECARTS A LA NORMALE 1770-2004 POUR CETTE PERIODE pour la station de Paris Le Bourget

/index.php?s=&showtopic=8545&view=findpost&p=103196'>Eléments de la décision pour un seuil à 0,8°C en prévision mensuelles à long terme

/index.php?s=&showtopic=9102&view=findpost&p=105237'>Mesurer le score d’une prévision saisonnière

Le problème Florent est que je n'ai pas forcément le temps de lire ou poster sur tous les sujets...navré...

Bon bref ce que j'entends par variabilité c'est la simple définition de la variance (facile de trouver la formule sur le net et en plus je suis certain que tu sais très bien de quoi il s'agit).

Cette variance de la Tmoyenne, calculée par exemple sur une période de 30 ans représente 'une moyenne' de l'écart-moyen à la moyenne climatologique. Cette valeur est forcément différente pour chaque mois et, c'est à vérifier, souvent bien inférieure à ton 1°C.

Tu ne peux vérifier tous les mois avec le même critère surtout si celui-ci a été choisi de façon arbitraire.

Si par exemple l'écart-type (racine carrée de la variance) est plus faible que ton 1°C et bien cela peut changer beaucoup de choses dans le résultats.

Pour le 0.8°C c'est la même chose, je ne doutes nullement des capacités ou des qualités des autres intervenant, je ne fais ici qu'exprimer mon opinion et elle reste la même. Enfin le caractère significatif de n'importe quel score doit être tester à l'aide d'un test statistique.

Encore une fois je ne prétends pas être forcément dans le juste mais au moins évite de dire des choses fausses du style :"je fais ce que fait MF". Ca c'est faux puisque tu ne connais pas leur façon de mesurer la pertinence de leurs prévisions.

Mais ils sont tellement loin de ta magnifique réussite....( /emoticons/smile@2x.png 2x" width="20" height="20"> c'est assez gentil ça?)

STATISTIQUES SUR LES ECARTS A LA NORMALE 1770-2004 POUR CETTE PERIODE pour la station de Paris Le Bourget.Med : Médiane des écarts mensuels 1770-2004 rapportés à la moyenne 1770-2004(autant d'écarts mensuels sont inférieurs que supérieurs à ce nombre)

Moy : Moyenne des écarts mensuels 1770-2004 rapportés à la moyenne 1770-2004

Min : Minima des écarts mensuels 1770-2004 rapportés à la moyenne 1770-2004

C15 : Percentile 15 des écarts mensuels 1770-2004 rapportés à la moyenne 1770-2004 (15% des écarts mensuels sont inférieurs à cette valeur)

C85 : Percentile 85 des écarts mensuels 1770-2004 rapportés à la moyenne 1770-2004 (85% des écarts mensuels sont inférieurs à cette valeur)

Max : Maxima des écarts mensuels 1770-2004 rapportés à la moyenne 1770-2004

Amp : Amplitude (Max-Min) des écarts mensuels 1770-2004 rapportés à la moyenne 1770-2004

Var : Variance des températures moyennes 1770-2004

ET : Ecart-type des températures moyennes 1770-2004

.......Med...Moy...Min....C15....C85...Max..Amp..Var...ET

Jan..0,54….2,1...-9,0…-2,96….2,55…5,1…14,1…6,8…2,6

Fev..0,23….1,8...-8,7…-2,18….2,14…5,4…14,1…5,5…2,3

Mar.-0,06….1,5…-5,5…-2,06….2,04…3,7….9,2…3,5…1,9

Avr.-0,03…..1,2…-4,3…-1,63….1,57…4,6….8,9…2,3…1,5

Mai..0,02….1,3….-3,9…-1,59….1,43…4,6….8,5…2,4…1,6

Jun.-0,11….1,1…-3,3….-1,41….1,39…4,5….7,8…2,1…1,4

Jul..-0,23….1,2…-3,6….-1,53….1,67…5,8….9,4…2,3…1,5

Aou.-0,08….1,2…-3,5…-1,48….1,52…5,1….8,6…2,4…1,5

Sep.-0,10….1,2…-4,0…-1,40….1,40…3,9….7,9…2,3…1,5

Oct...0,07….1,2…-4,2…-1,45….1,27…4,5….8,7…2,4…1,6

Nov..0,02….1,3...-4,1…-1,68….1,62…5,0….9,1…2,8…1,7

Dec.-0,01….1,9.-11,5…-2,44….2,46…5,0…16,5…6,4…2,5

Moy..0,04….1,4…-5,5.…-1,82….1,75…4,8..10,2…0,7…0,8

J'ai ajouté les variances et écarts-types aux statistiques que j'avais réalisé. Les valeurs de variances sont toujours supérieures à 2°C et celles des écarts-type à 1,4°C, soit presque le double de la valeur retenue comme seuil de réussite de la prévision (0,8°C). On voit que les chiffres s'envolent entre novembre et mars et surtout durant l'hiver météorologique ce qui complique encore l'exercice.

Je ne demande qu'à améliorer les choses. Que penses-tu des chiffres de variance et écart-type et quels seraient les tests statistiques nécessaires selon toi pour juger du caractère significatif des scores obtenus. Cela m'intéresserait de le soumettre à mes résultats avant de parler d'une quelconque réussite de ceux-ci.

Florent.

[florent76]

NOMBRE DE CAS EN FONCTION DE LA DISTANCE EN ECART-TYPE

à la moyenne des températures moyenne 1770-2006 à Paris le Bourget

Nombre de cas total : 237

Données exprimées en pourcentages

J'ai fait le traitement que tu m'as suggéré, mais ensuite avec seulement 44 mois étudiées depuis janvier 2003, cela fait bien trop peu de cas pour voir si la prévisibilité est meilleure dans une classe ou dans une autre.

Florent.

[tintin et milou]

Excellente séparation des genres Florent76 /public/style_emoticons/'>http://forums.infoclimat.fr/public/style_emoticons/default/original.gif

[lds]

NOMBRE DE CAS EN FONCTION DE LA DISTANCE EN ECART-TYPE

à la moyenne des températures moyenne 1770-2006 à Paris le Bourget

Nombre de cas total : 237

Données exprimées en pourcentages

J'ai fait le traitement que tu m'as suggéré, mais ensuite avec seulement 44 mois étudiées depuis janvier 2003, cela fait bien trop peu de cas pour voir si la prévisibilité est meilleure dans une classe ou dans une autre.

Florent.

Oui bien sur mais tu peux tout de même construire un tableau, identique au n°1 avec les données prévues et les données mesurées depuis 2003. Cela va devenir de plus en plus informatif et tu peux le mettre en ligne sur ton site ou ici.Comme pour le moment tu as peu de données tu peux tout à fait, et compte-tenu des infos du tableau 2 faire aussi un tableau en regroupant certaines classes. En effet on voit bien avec le tableau 2 que la distribution est gaussienne.

En gros, climatologiquement parlant on a 68% des données tq Tm-s

Tu as donc 2 possibilités: tu utilises ces 3 classes pour chaque mois et tu cumules les résultats mensuels. Ou tu considères 6 classes pour différencier les écarts négatifs ou positifs:

Tm-s

Tm-2s

Tm-3s

Tm

Tm

Tm

Le gros avantage c'est qu'avec ces classes tu as un vrai outil de vérification et à mon avis bien plus proche de ce que font les organismes officiels.

Même pour tes futurs prévisions, suivant la classe où elles se situeront tu pourras dire que la prévision est 'dans les normales de saison' ou pas en le justifiant par son appartenance à une classe donnée.

Tu peux aussi voir si, comme on peut s'y attendre les gros écarts à la normale sont les plus difficiles à prévoir.

[florent76]

RESULTATS DES PREVISIONS SAISONNIERES

EN FONCTION DE LA DISTANCE A LA MOYENNE EN ECARTS-TYPES

Comparaison Observations / prévisions.

P : prévision

O : observation

+ : résultat positif

- : résultat négatif

J'ai réalisé 8 classes en fonctin de la distance à la moyenne en écarts-types positifs et négatifs. Le nombre de cas reste très faible et il ressort que des classes les plus proches aux plus éloignées de la moyenne, les prévisions ne sont ni meilleures, ni pires. Moins évidentes peut-être pour la seule classe Tm>+3 écarts-types, rarissime sur 237 ans (probabilité de 0,2%), mais pourtant observée à trois reprises depuis 2003 !

Florent.

[lds]

RESULTATS DES PREVISIONS SAISONNIERES

EN FONCTION DE LA DISTANCE A LA MOYENNE EN ECARTS-TYPES

Comparaison Observations / prévisions.

P : prévision

O : observation

+ : résultat positif

- : résultat négatif

J'ai réalisé 8 classes en fonctin de la distance à la moyenne en écarts-types positifs et négatifs. Le nombre de cas reste très faible et il ressort que des classes les plus proches aux plus éloignées de la moyenne, les prévisions ne sont ni meilleures, ni pires. Moins évidentes peut-être pour la seule classe Tm>+3 écarts-types, rarissime sur 237 ans (probabilité de 0,2%), mais pourtant observée à trois reprises depuis 2003 !

Florent.

C'est un peu frustrant mais normal de n'avoir pour le moment que peu de données à entrer mais ce tableau me semble très intéressant et déjà porteur de plusieurs enseignements.

Si l'on s'intéresse uniquement à l'amplitude de l'écart à la normale (peu importe le signe) on trouve ceci:

Pour les événements les plus féquents: VA(T-Tmoy)

Sur la période on dénombre 27 cas dont 20 on été bien prévus (j'ai fait le décompte rapidement tu pourras vérifier) soit en gros 75% de réussite.

Sur les événements peu fréquents : s

Sur la période on dénombre 17 cas avec la encore un taux de réussite proche de 75% (je dénombre 12 bonnes prévis à vérifier)

Si on s'intéresse aux événements très rares: 2s

4 cas observés, 2 bonnes prévisions

Bref des résultats à confirmer mais plutôt très encourageants....et à mon sens obtenus avec ces critères de vérifications solides.

Maintenant si on s'intéresse en plus au signe de l'anomalie prévue on obtient en gros

13/27 et 9/17 soit autour de 50% de taux de réussite ce qui de mon point de vue n'est pas si mal.

Tous ces résultats sont à confimer mais tu peux au moins dire que pour le moment tu es capable de bien (voir même très bien) estimer l'amplitude de l'anomalie à venir.

En ce qui concerne le signe de celle-ci une question se pose: un biais existe t-il des tes prévisions? Je veux dire est-il possible que tes analogues basés sur 234 ans prennent forcément mal en compte la tendance actuelle à un réchauffement des T?

Si oui alors peut-être une correction de ce biais systématique (en essayant de l'estimer sur la série en cours) apporterait peut-être (c'est à voir) une réelle amélioration.

Après t'avoir emm...avec tous ces scores et ces stats je dois avouer que je suis un peu surpris des taux de réussite plutôt encourageants et ca va être un peu plus difficile de jouer les rabats-joie /public/style_emoticons/'>http://forums.infoclimat.fr/public/style_emoticons/default/original.gif ....

[florent76]

C'est un peu frustrant mais normal de n'avoir pour le moment que peu de données à entrer mais ce tableau me semble très intéressant et déjà porteur de plusieurs enseignements.

Si l'on s'intéresse uniquement à l'amplitude de l'écart à la normale (peu importe le signe) on trouve ceci:

Pour les événements les plus féquents: VA(T-Tmoy)

Sur la période on dénombre 27 cas dont 20 on été bien prévus (j'ai fait le décompte rapidement tu pourras vérifier) soit en gros 75% de réussite.

Sur les événements peu fréquents : s

Sur la période on dénombre 17 cas avec la encore un taux de réussite proche de 75% (je dénombre 12 bonnes prévis à vérifier)

Si on s'intéresse aux événements très rares: 2s

4 cas observés, 2 bonnes prévisions

Bref des résultats à confirmer mais plutôt très encourageants....et à mon sens obtenus avec ces critères de vérifications solides.

Maintenant si on s'intéresse en plus au signe de l'anomalie prévue on obtient en gros

13/27 et 9/17 soit autour de 50% de taux de réussite ce qui de mon point de vue n'est pas si mal.

Tous ces résultats sont à confimer mais tu peux au moins dire que pour le moment tu es capable de bien (voir même très bien) estimer l'amplitude de l'anomalie à venir.

En ce qui concerne le signe de celle-ci une question se pose: un biais existe t-il des tes prévisions? Je veux dire est-il possible que tes analogues basés sur 234 ans prennent forcément mal en compte la tendance actuelle à un réchauffement des T?

Si oui alors peut-être une correction de ce biais systématique (en essayant de l'estimer sur la série en cours) apporterait peut-être (c'est à voir) une réelle amélioration.

Après t'avoir emm...avec tous ces scores et ces stats je dois avouer que je suis un peu surpris des taux de réussite plutôt encourageants et ca va être un peu plus difficile de jouer les rabats-joie /public/style_emoticons/'>http://forums.infoclimat.fr/public/style_emoticons/default/original.gif ....

Merci pour tes conclusions lds... J'ai été le premier surpris par les scores quand je me suis penché sur le problème et c'est parce que les résultats sont là que je suis aussi convaincu qu'il y a à creuser de ce côté...L'amélioration que tu suggères a déjà été apporté depuis longtemps car sinon le modèle ne serait guère performant. J'évalue la période actuelle après calcul au même niveau thermique que la fin des années 1940 à quasiment rien près, par contre elle est bien plus chaude (+1° et parfois presque +2°C) que certaines périodes du XIXe siècle que je prends en compte... Une correction est indispensable pour connaitre l'impact de ces trends anciens sur la météo de 2006.

Florent.

[BIBICHE76]

Merci pour tes conclusions lds... J'ai été le premier surpris par les scores quand je me suis penché sur le problème et c'est parce que les résultats sont là que je suis aussi convaincu qu'il y a à creuser de ce côté...

L'amélioration que tu suggères a déjà été apporté depuis longtemps car sinon le modèle ne serait guère performant. J'évalue la période actuelle après calcul au même niveau thermique que la fin des années 1940 à quasiment rien près, par contre elle est bien plus chaude (+1° et parfois presque +2°C) que certaines périodes du XIXe siècle que je prends en compte... Une correction est indispensable pour connaitre l'impact de ces trends anciens sur la météo de 2006.

Florent.

Oui mais, au XIX iéme siecle la fiabilité des niveaux thermiques n'etait pas celle que l'on connait actuellement.Donc, si tu prend cette période en consideration, tu risque d'avoir un resultat d'ecart type

par defaut ou par excés.

[florent76]

Oui mais, au XIX iéme siecle la fiabilité des niveaux thermiques n'etait pas celle que l'on connait actuellement.Donc, si tu prend cette période en consideration, tu risque d'avoir un resultat d'ecart type

par defaut ou par excés.

Effectivement, mais l'incidence reste faible... C'est la variabilité bien plus que les records qui sont utiles pour ce travail, et l'impact des écarts de mesure reste relativement faible sur des moyennes mensuelles... Ce n'est pas un ou deux dixièmes d'erreur de mesure qui changent la donne d'autant que tout est ramené au niveau thermique des années 2000 à la fin : on sait si un mois donné est chaud, froid ou tiède et c'est là l'essentiel.Florent.

[BIBICHE76]

Effectivement, mais l'incidence reste faible... C'est la variabilité bien plus que les records qui sont utiles pour ce travail, et l'impact des écarts de mesure reste relativement faible sur des moyennes mensuelles... Ce n'est pas un ou deux dixièmes d'erreur de mesure qui changent la donne d'autant que tout est ramené au niveau thermique des années 2000 à la fin : on sait si un mois donné est chaud, froid ou tiède et c'est là l'essentiel.

Florent.

Merci pour ta reponse.Effectivement, 1/10 iéme déjà sur une année c'est un grain de sable j'imagine que sur plusieurs années ca ne change rien à la donne