Calibrage d'incertitudes des modeles

[Damien49]

Existe-t'il des cartes d'écarts-types des modèles entre eux ? (par exemple GFS -- ECMWF)

Si oui, avez-vous des liens ?

Si non, est-ce que c'est techniquement (théoriquement) faisable et auquel cas, comment pourrions nous le réaliser (mathématiquement).

Je considère en effet les cartes d'écarts-types du modèle GEFS ensembliste http://www.meteociel.fr/modeles/gefs_cartes.php?ech=0&code=22&mode=0&runpara=0 comme un très bon moyen d'évaluer à partir de quelle échéance il n'est plus possible de réaliser une prévision fiable (pas assez utilisé d'ailleurs je trouve) et de pouvoir en évaluer le degré d'incertitude régionalement. Mais pour améliorer encore ce calibrage d'incertitude de la prévision, il faudrait pouvoir disposer de cartes d'écarts-types également entre modèles différents. Les données sources n'étant je suppose pas paramétrés de la même façon, je suppose que c'est impossible à faire, mais je ne suis pas certain de cette impossibilité.

Vos avis sur la question sont donc le bienvenue.

[Cotissois 31]

Existe-t'il des cartes d'écarts-types des modèles entre eux ? (par exemple GFS -- ECMWF)

Si oui, avez-vous des liens ?

Si non, est-ce que c'est techniquement (théoriquement) faisable et auquel cas, comment pourrions nous le réaliser (mathématiquement).

Je considère en effet les cartes d'écarts-types du modèle GEFS ensembliste http://www.meteociel...ode=0&runpara=0 comme un très bon moyen d'évaluer à partir de quelle échéance il n'est plus possible de réaliser une prévision fiable (pas assez utilisé d'ailleurs je trouve) et de pouvoir en évaluer le degré d'incertitude régionalement. Mais pour améliorer encore ce calibrage d'incertitude de la prévision, il faudrait pouvoir disposer de cartes d'écarts-types également entre modèles différents. Les données sources n'étant je suppose pas paramétrés de la même façon, je suppose que c'est impossible à faire, mais je ne suis pas certain de cette impossibilité.

Vos avis sur la question sont donc le bienvenue.

Euh, j'ai un peu de mal à comprendre, mais...

L'écart-type est une statistique sur un échantillon. Ca a du sens pour un échantillon au moins d'une à plusieures dizaines de membres.

Si on regarde la prévision d'ensemble opérationnelle, elle génère un échantillon en perturbant les conditions initiales et la physique d'un seul modèle. Dans ce cas, l'écart-type est une statistique importante. C'est la méthode la plus cohérente avec la théorie sur la sensibilité aux conditions initiales. La perturbation de la physique est moins réfléchie, pour ne pas dire arbitraire, mais elle garde un sens statistique et ça permet de tester avec une base théorique la réponse d'un modèle que l'on sait théoriquement bon. Au final, la dispersion de l'ensemble est la preuve d'une instabilité.

On peut aussi faire du multimodèles, c'est-à-dire que l'échantillon est constitué des différents modèles (scénarios déterministes), mais ça va faire un petit échantillon, donc l'écart-type n'aura pas beaucoup de sens. Et il n'y a pas de base théorique car les écarts entre modèles ne s'expliquent pas simplement, et surtout tous les modèles n'ont pas les mêmes capacités. Faire de la prévision d'ensemble multimodèles, ça revient à dire que le modèle parfait est "au milieu" de tous les modèles, ce qui est quand même peu convaincant. On est tenté de dire qu'un écart entre plusieurs modèles est la preuve d'une instabilité. En réalité, c'est juste un indice, qui doit nous faire réfléchir. Finalement, est-ce qu'avec 10 modèles on a une meilleure vision des choses qu'avec 2 seulement...? Eternel débat !

Donc je pense que la réponse à ta question se trouve là-dedans, ou alors j'ai vraiment rien compris...

[Damien49]

Non non je te rassures tu as parfaitement compris, c'est bien de ça que je parlais.

Faire de la prévision d'ensemble multimodèles, ça revient à dire que le modèle parfait est "au milieu" de tous les modèles, ce qui est quand même peu convaincant. On est tenté de dire qu'un écart entre plusieurs modèles est la preuve d'une instabilité. En réalité, c'est juste un indice, qui doit nous faire réfléchir.

Non sinon il suffirait en effet de faire une moyenne. Je suis effectivement de cet avis sur le fait que l'écart doit nous faire (seulement) réfléchir. J'ai tendance quand même à penser qu'un écart-type important sur une région donné doit nous faire prendre conscience que l'incertitude [des] modèle est importante. C'est un indice qui me semble avoir son utilité, rien de plus.

En fait pour être tout à fait honnête, je me suis fait cette réflexion sur l'écart-type multimodele dernièrement en suivant le forum prévision LT et ses revirement de situation qui paraissent pour la plupart toujours innatendues. Je trouve qu'on a tendance tous (moi y compris, rassurez-vous), à comparer les modèles entre eux de manière très (trop) subjective, sans jamais aborder la question du "calibrage d'incertitude" qui existe pourtant sur les modèles ensemblistes. Donc pourquoi pas de façon multimodèles, mais effectivement Cotisssois tu as raison sur 2 points :

- 1, l'échantillon de modèles n'est pas assez important

- 2, ils ne se valent pas tous.

Pour le 2., il faudrait en plus alors comparer systématiquement la prévision du modèle avec la réalité afin d'en tirer son degré d'incertitude. On le fait tous plus ou moins de manière intuitive avec l'expérience, mais il n'existe pas à ma connaissance là non plus de statistiques exactes sur la qualité du modèle (c'est pourtant pas compliqué à faire je pense).

[Cotissois 31]

Comme je l'ai rapidement dit, ce n'est pas seulement l'utilisation de l'écart-type qui pose problème, mais l'interprétation et les bases théoriques d'une étude multi-modèles.

Mais ce n'est pas parce que ça manque de justification que ça n'est pas utile.

Pour les statistiques des différents modèles, il y a bien des études. Le lien vers ces études était donné dans un forum...

Le n°1 c'est le CEP. En moyenne ! Donc au cas par cas pour une situation météo donnée, tout est discutable. Et c'est là l'intérêt de la prévision, c'est que tout est discutable /emoticons/biggrin@2x.png 2x" width="20" height="20">

ps : j'ai effacé une partie du message parce que c'était un peu trop subjectif...

[pinthotal]

C'est vrai que calculer des moyennes ou des dispersions sur des modèles différents n'a pas forcément un sens statistique très rigoureux d'autant qu'il faut commencer pour cela par tous les regriller sur la même grille ce qui suppose une étape d'interpolation. Mais bon de toute façon c'est quand même ça qui est fait à l'oeil par les prévisionnistes au jour le jour (en gros ils vont accorder une confiance plus faible quand les différents modèles sont dispersés), donc pourquoi être choqué de calculer un critère objectif de dispersion entre les modèles ? Je trouve la remarque de Damien49 assez pertinente, à ma connaissance cela n'existe pas mais cela pourrait être un élément intéressant, d'autant que le nombre de modèles disponibles est maintenant quand même assez grand, (en plus rien n'interdit d'y inclure les runs précédents). Quand on regarde une sortie de modèle météo il vaut de toute façon mieux avoir oublier les notions trop "puristes" en statistiques ou en physique car les codes sont de toute façon remplis de paramétrisations et d'ajustements... A mon avis c'est bien la dispersion qui a surtout de l'intérêt pour estimer l'incertitude (voire faire des estimations de probabilités). Regarder des champs moyennés aurait à mon avis moins de sens car on perdrait la logique propre à chaque modèle de l'évolution de la situation synoptique entre les échéances.

Par ailleurs, c'est bien ce qu'on fait en modélisation climatique : on prend les sorties de 10 ou 20 modèles climatiques différents, on les regrille, et on calcule des moyennes, des fonctions de répartition, des intervalles de confiance, etc... Donc je ne vois pas pourquoi on ne pourrait pas le faire avec les modèles de prévision atmosphérique.

[Cotissois 31]

Je sens l'ingénieur qui parle là, lol, parce que tu prends un bon recul par rapport à toute la dynamique de recherche sur la prévisibilité numérique... /emoticons/biggrin@2x.png 2x" width="20" height="20">

Ce que je soutiens face à la proposition de Damien, c'est que l'étude multi-modèles oui c'est utile, mais connaître l'écart-type non.

On aura 100 fois plus d'information à comparer les modèles de façon conceptuelle qu'à donner un écart type.

WO.fr propose des cartes 2D multi-modèles et c'est très bien comme çà.

Avec l'intuition et l'expérience des différents modèles, vous pouvez vous faire une idée synthétique de la situation, qui dépasse la connaissance de l'écart type. Enfin ça c'est mon avis perso.

[Damien49]

Je suis bien d'accord avec toi sur la façon de faire actuelle cotissois. Je fais pareil et tente avec mon expérience et mon intuition des différents modèles d'élaborer une prévision synthétique et conceptuelle. Le problème c'est que bien souvent (et je le constate grossièrement souvent sur le forum) c'est quand on tente de synthétiser l'intuition et l'expérience de chacun. Là ça devient parfois plus difficile de se mettre d'accord, surtout quand ça repose sur des choses aussi subjectives.

La prévision comporte une part subjective, c'est clair, mais l'intérêt de l'écart-type serait de pouvoir quantifier objectivement cette intuition, en donnant simplement un indice de plus par rapport à ce qui est proposé. Il n'est pas question d'abandonner le reste au profit de ce seul indice, comme un remède miracle, juste nous donner un élément de plus pour pouvoir mieux élaborer et mieux calibrer notre intuition. Perso je le fais déjà avec le modèle ensembliste et ça m'a souvent permis avec succès de me permettre de m'avancer loin pour une région (faible écart-type) et moins loin pour une autre (fort écart-type), mais hélas ça ne repose sur l'interprétation de l'atmosphère que d'un seul modèle.

PS : mais bon j'avoue que c'était un peu une idée lancée comme ça en l'air et que ça se confronterait à la fois à une difficulté technique et politique (dans le sens où il faudrait mettre tous les organismes météos dans le même panier).

[pinthotal]

Je sens l'ingénieur qui parle là, lol, parce que tu prends un bon recul par rapport à toute la dynamique de recherche sur la prévisibilité numérique... /emoticons/biggrin@2x.png 2x" width="20" height="20">

Ce que je soutiens face à la proposition de Damien, c'est que l'étude multi-modèles oui c'est utile, mais connaître l'écart-type non.

On aura 100 fois plus d'information à comparer les modèles de façon conceptuelle qu'à donner un écart type.

WO.fr propose des cartes 2D multi-modèles et c'est très bien comme çà.

Avec l'intuition et l'expérience des différents modèles, vous pouvez vous faire une idée synthétique de la situation, qui dépasse la connaissance de l'écart type. Enfin ça c'est mon avis perso.

Je comprends ton idée et bien sûr que ça ne remplace pas une analyse modèle par modèle qui est indispensable aux échéances proches. Mais un calcul d'écart-type (ou d'autres critères statistiques) ça donnerait une mesure objective de la dispersion, et malgré tout ça peut être utile pour un prévisionniste qui n'a pas le temps de regarder dans le détail 10 ou 15 runs différents. En prévision d'ensemble tu regardes bien des stats, tu ne vas pas te taper l'analyse des 50 runs ! Donc je ne vois pas pourquoi on ne pourrait pas imaginer de faire une prévision d'ensemble qui n'intègre pas seulement une variabilité de l'état initial (prévision d'ensemble classique) mais aussi une variabilité du modèle.

[Cotissois 31]

10 ou 15 runs différents, je veux bien.

Mais le multimodèles c'est autour de 5 à ma connaissance.

En global, on a ARPEGE, CEP, UKMO, GFS, GEM...voire NOGAPS...

[Cyrilleb]

J'ai trouvé ce site qui fait des comparaisons entre modèles:

http://www.meteogiornale.it/mappe-modelli-meteo/multimodel

On y trouve des cartes de la moyenne du géopotentiel à 500hPa et de la pression atmosphérique, des cartes d'écart type...

[lds]

10 ou 15 runs différents, je veux bien.

Mais le multimodèles c'est autour de 5 à ma connaissance.

En global, on a ARPEGE, CEP, UKMO, GFS, GEM...voire NOGAPS...

Un réponse un peu tardive à ce sujet intéressant pour dire que je ne suis pas vraiment d'accord avec les remarques de cotissois.

Je trouve l'idée de Damien très bonne. Certes faire un ect autour de 5 ou 6 modèles cela peut paraître juste mais, en théorie on peut supposer que ces modèles forment un échantillon "de l'incertitude sur la modélisation de l'atmosphère".

Une carte représentant un ect, du Z500 par exemple, donne imméditement une idée des zones où l'incertitude autour de la prévision est grande.

J'ajoute que l'avantage par rapport à un ect d'un ensemble type GFS est que les modèles déterministes ont une résolution plus fine et que "leurs différences" (en terme de paramétrisation physique par exemple) permet de mieux tenir compte de "l'erreur de modélisation " (souvent peu ou pas pris en compte par les ensemble classiques comme GEFS).

A mon sens ces deux types d'informations (ensembles type GEFS et multi-modèles) ne s'opposent pas mais sont complémentaires.

Bien sur cela n'empêche pas une étude classique des modèles déterministe mais synthétise l'information sur la bonne ou mauvaise prévisibilité. Une autre possibilité que des cartes d'ect est les cartes de "spaghettis".

[Cotissois 31]

J'avais répondu de façon détaillée à Damien par MP.

Libre à vous d'utiliser cette technique mais il faut avant tout vérifier que ça marche.

Pour la théorie, non décidément vous ne me convaincrez pas /emoticons/biggrin@2x.png 2x" width="20" height="20">

Et ce n'est pas parce que ça se fait que c'est un procédé avouable.

[Damien49]

Oui bon, Cotissois a ses raisons de dire ce qu'il dit et même si je ne suis pas d'accord avec lui, je comprend son avis qui est tout à fait recevable.