IFS ENS EXT

[_sb]

Déplacé depuis le topic long terme de la semaine 45 de 2021

L'IFS ENS EXT (parfois nommé IFS weekly, à cause de certaines cartes disponibles) s'étend sur 46 jours et non 30, bien que la plupart des cartes disponibles s'arrêtent à 30 jours (le diagramme de prévisions des régimes de temps fourni par ECMWF court sur les 46 jours par exemple). Il est souvent qualifié de modèle « subsaisonnier ».

C'est également un peu plus compliqué qu'une extension de l'ensemble « classique » (IFS ENS, sur 15 jours) puisque un couplage modèle océanique (NEMO) / modèle atmosphérique (IFS) est intégré, en association avec les prévisions de glace de mer (LIM). À cela s'ajoute la climatologie du modèle interne (ER-M-Climate) pour produire des graphes et cartes d'anomalies. En effet, l'atmosphère a une rémanence relativement courte des conditions à un instant t (les fameuses conditions initiales des modèles court et moyen terme) et l'influence océanique sur l'atmosphère est encore faible mais s'accroît au fur et à mesure de l'échéance. Les modèles saisonniers (SEAS5 par exemple, chez ECMWF) s'appuient plus fortement sur les conditions et prévisions océaniques.
Typiquement, IFS ENS EXT dérive des indices possédant une durée intermédiaire, comme la MJO ou les blocages. SEAS5 part sur des indices longs tels l'ENSO ou les grands mouvements océaniques.

 

De façon plus importante que pour les modèles à court terme, la connaissance du comportement du modèle subsaisonnier est essentiel pour mieux interpréter ses résultats.

 

Pour cela, ECMWF livre des outils en accès gratuit. C'est technique si on creuse. Pour un premier dégrossissage, il n'est pas nécessaire de faire appel à la technique.

Allez simplement sur https://apps.ecmwf.int/webapps/opencharts

cochez Range > Extended

et Type > Verification

sinon, cliquez sur ce lien :

https://apps.ecmwf.int/webapps/opencharts/?facets={"Range"%3A["Extended (42 days)"]%2C"Type"%3A["Verification"]}

 

Deux graphes apportent déjà des indications utiles : Reliability et ROC

 

-> Diagramme de fiabilité (reliability) :

Différents réglages sont disponibles. Ci-dessous, le diagramme pour la semaine 2, concernant la fiabilité des prévisions de T2m dans le tiers inférieur de la climatologie du modèle sur l'hémisphère nord (hors tropiques). Dit autrement, quelle fiabilité lorsque le modèle prévoit des T2m dans ce tiers inférieur ?

 

 

En abscisse, on a la probabilité qu'un évènement se produise : 0 : aucune chance, 1 : systématiquement.  Dit autrement, plus la probabilité est proche de 0, plus l'évènement se produit rarement (-> hors climatologie). Plus la probabilité est proche de 1, plus l'évènement se produit fréquemment (-> dans la norme climatique).

En ordonnée, la fréquence observée des évènements. Même chose, plus la fréquence est faible, proche de 0, moins l'évènement est observé (-> hors climato). Plus la fréquence est proche de 1, plus l'évènement est fréquent (-> moyenne climatique).

La diagonale bleue indique l'idéal, c'est-à-dire une prévision parfaite : correspondance entre prévisions et observations.

La ligne rouge indique cette fameuse fiabilité :

-> Au-dessus de la ligne bleue : le modèle sous-estime la probabilité de survenue des évènements dans la probabilité correspondante. C'est-à-dire que l'observation est plus fréquente que ce que le modèle prévoit.

-> En-dessous de la ligne bleue : le modèle sur-estime la probabilité de survenue des évènements dans la probabilité correspondante. C'est-à-dire que l'observation est plus rare que ce que le modèle prévoit.

 

Typiquement ici, les vérifications indiquent que IFS ENS EXT, lorsqu'il prévoit des T2m inférieur au 1/3 de sa climato (tercile inférieur) sur l'HN dans la semaine 2, tend à exagérer les occurrences climatologiques. -> le modèle a tendance à mésestimer les évènements rares et privilégie les évènements les plus courants.

Chacun pourra s'exercer avec les autres options disponibles.

 

En haut à droite, on a un histogramme de la distribution de probabilités des prévisions. Lorsque les plus hauts bâtons sont sur les bords du diagramme (à l'extrême gauche et droite), la confiance du modèle est plus élevée que lorsque les bâtons les plus élevées sont dans la zone centrale. La hauteur des bâtons est aussi à prendre en compte.

 

BrSc est le score de Brier : plus celui-ci est proche de 0, plus il est bon (le modèle prévoit tous les évènements, rares et fréquents). Plus il se rapproche de 1, plus il est mauvais (le modèle ne prévoit que des évènements dans la moyenne climatologique).

BSRSL et BSREL utilisent aussi le score de Brier en l'association à d'autres valeurs.

 

Sur les T2m dans le tercile inférieur de la semaine 2, IFS ENS EXT tend donc à accentuer la prévision d'évènements plus proches de la climatologie et à réduire celles qui s'en éloignent.

 

-> ROC : Relative Operating Characteristic

Schématiquement, ce diagramme permet de visualiser les taux de réussite (la prévision a bien été observée) et les taux d'échec (la prévision n'a pas été observée). Cela fournit la résolution du modèle, c'est-à-dire sa capacité à prévoir un évènement.

On y retrouve les mêmes options qu'avec le diagramme précédent. Ci-dessous, le ROC pour le même paramètre que précédemment : T2m, tercile inférieur, semaine 2, HN.

 

 

Abscisse et ordonnée sont explicites. La diagonale matérialise lorsque taux de réussite = taux d'échec.

De façon évidente, la courbe rouge idéale devrait être située en haut à gauche, avec des taux de réussite élevés et des taux d'échec faibles. Si elle est située en bas à droite, le modèle prévoit surtout des évènements qui ne se produisent pas et peu d'évènements observés, un tel modèle serait alors que de peu d’intérêts.

 

Ici, le score est honorable, la courbe rouge est au-dessus de la bleue, avec un score global de 0.686 (0 = nul, 1 = parfait). On retrouve toutefois une plus faible prévision des évènements rares (la rouge plus proche de la bleue pour les taux faible, < 0.2 environ) qu'on avait avec le diagramme de reliability.

 

Théoriquement, plus l'échéance s'allonge, plus le ROC diminue (dispersion des prévisions, notamment par introduction répétée de chaos). À titre d'exemple, le même paramètre pour la semaine 1 :

 

 

 

Ainsi, de façon brute, suivant le paramètre analysé, un signal hors climato présent dans la prévision alors que le modèle a tendance à les ignorer peut être davantage pris en considération. À l'inverse, un tel signal alors que le modèle tend à les amplifier peut être nuancé.

Un autre point qui motive ce post est de montrer la difficulté d'analyse des modèles par rapport à une lecture brute des lignes ou des couleurs sur une carte. Ce n'est déjà pas simple sous les 10 jours, alors au-delà, en mode subsaisonnier et, pire encore, en mode saisonnier, la prise en compte de tous ces éléments devient primordiale.  D'où, amha, la lecture probabiliste des prévisions, plutôt à la lecture déterministe amenant souvent les frustrations et autres déceptions.

Ces diagrammes peuvent être consultés aussi pour les modèles « classiques » à courts et moyens termes.

 

Bon, ce message pas du tout exhaustif peut être déplacé vers un autre topic plus approprié... 😉

 

EDIT : pour aller plus loin sur les scores, ROC, relaibility etc :

https://confluence.ecmwf.int/display/FUG/12.B+Statistical+Concepts+-+Probabilistic+Data

[yayathe]

Quelques compléments/précisions, vite fait, en Bleu

 

Le 06/11/2021 à 15:51, _sb a dit :

Déplacé depuis le topic long terme de la semaine 45 de 2021

L'IFS ENS EXT (parfois nommé IFS weekly, à cause de certaines cartes disponibles) s'étend sur 46 jours et non 30, bien que la plupart des cartes disponibles s'arrêtent à 30 jours (le diagramme de prévisions des régimes de temps fourni par ECMWF court sur les 46 jours par exemple). Il est souvent qualifié de modèle « subsaisonnier ».

C'est également un peu plus compliqué qu'une extension de l'ensemble « classique » (IFS ENS, sur 15 jours) puisque un couplage modèle océanique (NEMO) / modèle atmosphérique (IFS) est intégré, en association avec les prévisions de glace de mer (LIM). À cela s'ajoute la climatologie du modèle interne (ER-M-Climate) pour produire des graphes et cartes d'anomalies. En effet, l'atmosphère a une rémanence relativement courte des conditions à un instant t (les fameuses conditions initiales des modèles court et moyen terme) et l'influence océanique sur l'atmosphère est encore faible mais s'accroît au fur et à mesure de l'échéance. Les modèles saisonniers (SEAS5 par exemple, chez ECMWF) s'appuient plus fortement sur les conditions et prévisions océaniques.
Typiquement, IFS ENS EXT dérive des indices possédant une durée intermédiaire, comme la MJO ou les blocages. SEAS5 part sur des indices longs tels l'ENSO ou les grands mouvements océaniques.

 

De façon plus importante que pour les modèles à court terme, la connaissance du comportement du modèle subsaisonnier est essentiel pour mieux interpréter ses résultats.

 

Pour cela, ECMWF livre des outils en accès gratuit. C'est technique si on creuse. Pour un premier dégrossissage, il n'est pas nécessaire de faire appel à la technique.

Allez simplement sur https://apps.ecmwf.int/webapps/opencharts

cochez Range > Extended

et Type > Verification

sinon, cliquez sur ce lien :

https://apps.ecmwf.int/webapps/opencharts/?facets={"Range"%3A["Extended (42 days)"]%2C"Type"%3A["Verification"]}

 

Deux graphes apportent déjà des indications utiles : Reliability et ROC

 

-> Diagramme de fiabilité (reliability) :

Différents réglages sont disponibles. Ci-dessous, le diagramme pour la semaine 2, concernant la fiabilité des prévisions de T2m dans le tiers inférieur de la climatologie du modèle sur l'hémisphère nord (hors tropiques). Dit autrement, quelle fiabilité lorsque le modèle prévoit des T2m dans ce tiers inférieur ?

 

 

En abscisse, on a la probabilité qu'un évènement se produise : 0 : aucune chance, 1 : systématiquement.  Dit autrement, plus la probabilité est proche de 0, plus l'évènement se produit rarement (-> hors climatologie). Plus la probabilité est proche de 1, plus l'évènement se produit fréquemment (-> dans la norme climatique).

En ordonnée, la fréquence observée des évènements. Même chose, plus la fréquence est faible, proche de 0, moins l'évènement est observé (-> hors climato). Plus la fréquence est proche de 1, plus l'évènement est fréquent (-> moyenne climatique).

 

La prévision est probabiliste, pour l'événement "température observée dans l'intervalle Q0-Q33 de la climatologie", l'ensemble fournit une probabilité prévue de cet événement entre 0 et 1 en abscisses (ramené au dixième).

En ordonnée, la fréquence observée de l'événement en question. Quand l'événement en question n'est pas observé, il n'est pas "hors climato", il est juste dans l'intervalle Q33-Q100 de la climatologie.

 

La diagonale bleue indique l'idéal, c'est-à-dire une prévision parfaite : correspondance entre prévisions et observations.

La ligne rouge indique cette fameuse fiabilité :

-> Au-dessus de la ligne bleue : le modèle sous-estime la probabilité de survenue des évènements dans la probabilité correspondante. C'est-à-dire que l'observation est plus fréquente que ce que le modèle prévoit.

-> En-dessous de la ligne bleue : le modèle sur-estime la probabilité de survenue des évènements dans la probabilité correspondante. C'est-à-dire que l'observation est plus rare que ce que le modèle prévoit.

 

En effet, une prévision est dite fiable si quand on prévoit une probabilité X de survenue d'un événement, celui-ci s'observe en proportion X ; i.e. si l'on est sur la diagonale.

Au dessus de la diagonale, l'ensemble sous-prévoit le phénomène ; et inversement.

 

Typiquement ici, les vérifications indiquent que IFS ENS EXT, lorsqu'il prévoit des T2m inférieur au 1/3 de sa climato (tercile inférieur) sur l'HN dans la semaine 2, tend à exagérer les occurrences climatologiques. -> le modèle a tendance à mésestimer les évènements rares et privilégie les évènements les plus courants.

 

Il n'y a qu'un seul événement ici. Ici, le modèle a tendance a fournir des sous-estimer les risques faibles de survenue de cet événement et sur-estimer les risques hauts, il est trop "confiant" ou "sous-dispersif", il ne va pas assez "loin" pour échantillonner l'ensemble des possibles.

 

Chacun pourra s'exercer avec les autres options disponibles.

 

En haut à droite, on a un histogramme de la distribution de probabilités des prévisions. Lorsque les plus hauts bâtons sont sur les bords du diagramme (à l'extrême gauche et droite), la confiance du modèle est plus élevée que lorsque les bâtons les plus élevées sont dans la zone centrale. La hauteur des bâtons est aussi à prendre en compte.

 

C'est ce que l'on appelle un diagramme d'acuité, plus la forme de ce diagramme est en U, plus l'ensemble a tendance à fournir des probabilités binaires, et à être catégorique, indépendamment de la justesse des probabilités.

 

BrSc est le score de Brier : plus celui-ci est proche de 0, plus il est bon (le modèle prévoit tous les évènements, rares et fréquents). Plus il se rapproche de 1, plus il est mauvais (le modèle ne prévoit que des évènements dans la moyenne climatologique).

BSRSL et BSREL utilisent aussi le score de Brier en l'association à d'autres valeurs.

Ce sont les composantes de RéSoLution et de fiabilité du Brier Skill Score, avec probablement entre parenthèses la marge d'erreur en pourcentage du score.

LCBrSkSc est le Brier Skill Score vs. la prévision climatologique ; Uncertainty est le terme d'incertitude de BrSc : c'est en fait le BrSc de la prévision climatologique.

 

Sur les T2m dans le tercile inférieur de la semaine 2, IFS ENS EXT tend donc à accentuer la prévision d'évènements plus proches de la climatologie et à réduire celles qui s'en éloignent.

En tout cas, voit trop d'événements assez probables et pas assez d'événements qui a priori ont peu de chance d'être observés.

 

-> ROC : Relative Operating Characteristic

Schématiquement, ce diagramme permet de visualiser les taux de réussite (la prévision a bien été observée) et les taux d'échec (la prévision n'a pas été observée). Cela fournit la résolution du modèle, c'est-à-dire sa capacité à prévoir un évènement.

On y retrouve les mêmes options qu'avec le diagramme précédent. Ci-dessous, le ROC pour le même paramètre que précédemment : T2m, tercile inférieur, semaine 2, HN.

 

 

Abscisse et ordonnée sont explicites. La diagonale matérialise lorsque taux de réussite = taux d'échec.

 

Plus précisément, hit rate : proportion des événements observés qui ont été correctement prévus. False alarm rate : proportion d'événements qui ont été prévus alors qu'ils n'ont pas été observés. Ici, la diagonale représente une prévision aléatoire (pile ou face).

 

De façon évidente, la courbe rouge idéale devrait être située en haut à gauche, avec des taux de réussite élevés et des taux d'échec faibles.

 

Yes

 

Si elle est située en bas à droite, le modèle prévoit surtout des évènements qui ne se produisent pas et peu d'évènements observés, un tel modèle serait alors que de peu d’intérêts.

 

En fait non Si par exemple, une courbe atteint le coin en bas à droite, le modèle possède un super intérêt : il suffit de prendre le contraire de ce qu'il propose. C'est alors comme si on retournait la courbe par rapport à la diagonale.

La prévision la pire serait ici une droite sur la diagonale, la prévision aléatoire, qui ne possède pas de résolution.

 

Ici, le score est honorable, la courbe rouge est au-dessus de la bleue, avec un score global de 0.686 (0 = nul, 1 = parfait).

 

Le score est en fait 2 * l'aire sous la courbe - 1, c'est une petite astuce calculatoire généralement omise dans les explications. 1 signifie parfait, 0 le pire car cela correspond à une aire de 0.5 qui est celle du triangle formé parla prévision aléatoire sur la bissectrice ; le fait est que l'on prend ces mesures entre 0 et 1 car aucun modèle de PNT ne possède d'aire < à 0.5.

 

On retrouve toutefois une plus faible prévision des évènements rares (la rouge plus proche de la bleue pour les taux faible, < 0.2 environ) qu'on avait avec le diagramme de reliability.

 

Pas sûr de comprendre. Ce que l'on peut dire ici, c'est que pour le seuil de prévision de probabilité 0.2 (i.e. si la probabilité d’occurrence de l'événement prévue par le modèle est de 0.2 ou plus, je décide de prévoir l'événement), on a ici un taux de détection d'environ 9% et un taux de fausse alarme d'environ 3-4%. SI l'on continue la lecture de la courbe, pour le seuil de probabilité 0.7 ; on a un taux de détection de 90% environ pour un taux de fausse alarme d'environ 60%.

 

Théoriquement, plus l'échéance s'allonge, plus le ROC diminue (dispersion des prévisions, notamment par introduction répétée de chaos). À titre d'exemple, le même paramètre pour la semaine 1 :

 

 

 

Ainsi, de façon brute, suivant le paramètre analysé, un signal hors climato présent dans la prévision alors que le modèle a tendance à les ignorer peut être davantage pris en considération. À l'inverse, un tel signal alors que le modèle tend à les amplifier peut être nuancé.

Un autre point qui motive ce post est de montrer la difficulté d'analyse des modèles par rapport à une lecture brute des lignes ou des couleurs sur une carte. Ce n'est déjà pas simple sous les 10 jours, alors au-delà, en mode subsaisonnier et, pire encore, en mode saisonnier, la prise en compte de tous ces éléments devient primordiale.  D'où, amha, la lecture probabiliste des prévisions, plutôt à la lecture déterministe amenant souvent les frustrations et autres déceptions.

Ces diagrammes peuvent être consultés aussi pour les modèles « classiques » à courts et moyens termes.

 

Bon, ce message pas du tout exhaustif peut être déplacé vers un autre topic plus approprié... 😉

 

EDIT : pour aller plus loin sur les scores, ROC, relaibility etc :

https://confluence.ecmwf.int/display/FUG/12.B+Statistical+Concepts+-+Probabilistic+Data