Ensembles, run de contrôle, opérationnel

[Chloroplaste]

Bonjour à tous,

 

Total amateur mais grand adepte de la lecture de vos belles prévisions sur la section "Long Terme", quelques concepts m'échappent encore, notamment vis à vis des ensembles.

et de ceci

 

Voici donc mes questions :

1) J'ai compris que le but des ensembles étaient de faire varier certains paramètres initiaux afin d'explorer plus de possibilités . Sur quoi se basent les modèles pour faire varier tel ou tel paramètre plus qu'un autre et de quel ordre de grandeur ? S'agit-il de par exemple dire "Tiens je vais augmenter de 10% la T°500Hpa pour le point de coordonnée x;y" et voir ce que ça donne ?

2) Sur le graphique du dessus : le Run GFS constitue le déterministe j'imagine, mais de quoi est constitué le run de contrôle ? ET qu'en est-il du run opérationnel (terme que je vois parfois sur ce forum) ?

 

Merci d'avance pour vos réponses,

[_sb]

Salut,

 

Rapidement :

1/ Ce n'est pas réalisé « au hasard », j'imagine que tu t'en doutais.

C'est rigoureusement prédéfini. Plusieurs approches peuvent être appliquées, selon les modèles : effectuer des « décalages » dans certains paramètres, modifier légèrement les conditions initiales, insérer dans les conditions initiales les membres (ou des groupes de membres) de la sortie précédentes, modifier la paramétrisation d'un schéma, etc. Ces « modifications » peuvent être symétriques (si par exemple un membre varie un paramètre de +1, un autre membre varie le même paramètre de -1) ou asymétriques.

Chaque membre est documenté, au moins en interne même si la documentation n'est pas toujours publique. Et chaque configuration est toujours identique pour un même membre, tant que le centre météo éditeur ne le change pas.

Ponctuellement, des sorties spécifiques non publiques peuvent être réalisées pour déterminer le comportement du modèle en modifiant expressément soit les données d'entrées soit la physique ou les schémas internes. Souvent a posteriori, elles permettent d'analyser un modèle face à une situation atmosphérique particulière.

 

2/ Le « Run GFS » est le run déterministe. Note que c'est simplement l'appellation donnée par Meteociel, tu pourras en trouver d'autres sur d'autres sites.

Le « Run de contrôle » est un membre particulier de l'ensemble. Dans l'immense majorité des cas, ce membre est identique au déterministe excepté qu'il est calculé avec les résolution horizontale et verticale de l'ensemble et non celles du déterministe. Dit autrement, il contient les mêmes conditions initiales et les mêmes paramétrisations que le déterministe mais sous une autre résolution, généralement moins fine. L'un de ses intérêts majeurs est d'identifier des écarts de modélisations dus à des effets de sous-échelle (des effets de résolution inférieure qui impacte le déroulement des échéances suivantes, on parle souvent dans ce cas de « sensibilité aux conditions initiales »).

Le run opérationnel peut être le déterministe ou l'ensemble. Il s'agit du modèle « stable », par opposition à une version « de test » (future version opérationnel) ou « d'étude » par exemple.

[Chloroplaste]

Un grand merci d’avoir pris le temps d’expliquer clairement tout ça. Le brouillard se dissipe pour moi.

[Cers]

Il y a 1 heure, _sb a dit :

L'un de ses intérêts majeurs est d'identifier des écarts de modélisations dus à des effets de sous-échelle (des effets de résolution inférieure qui impacte le déroulement des échéances suivantes, on parle souvent dans ce cas de « sensibilité aux conditions initiales »).

 

Ne veux pas tu dire sensibilité à la maille ?  

Modifié 5 mars 2021 par Cers

[_sb]

Tout à fait !

La sensibilité aux conditions initiales est l'inverse, lorsque le contrôle s'écarte peu du déterministe mais que les autres membres s'écartent fortement (et brusquement). Enfin, c'est théorique, les causes pouvant être multiples.

[_sb]

erreur de topic !

Modifié 7 mars 2021 par _sb

[ludo47]

Le 05/03/2021 à 19:33, _sb a dit :

Salut,

 

Rapidement :

1/ Ce n'est pas réalisé « au hasard », j'imagine que tu t'en doutais.

C'est rigoureusement prédéfini. Plusieurs approches peuvent être appliquées, selon les modèles : effectuer des « décalages » dans certains paramètres, modifier légèrement les conditions initiales, insérer dans les conditions initiales les membres (ou des groupes de membres) de la sortie précédentes, modifier la paramétrisation d'un schéma, etc. Ces « modifications » peuvent être symétriques (si par exemple un membre varie un paramètre de +1, un autre membre varie le même paramètre de -1) ou asymétriques.

Chaque membre est documenté, au moins en interne même si la documentation n'est pas toujours publique. Et chaque configuration est toujours identique pour un même membre, tant que le centre météo éditeur ne le change pas.

Ponctuellement, des sorties spécifiques non publiques peuvent être réalisées pour déterminer le comportement du modèle en modifiant expressément soit les données d'entrées soit la physique ou les schémas internes. Souvent a posteriori, elles permettent d'analyser un modèle face à une situation atmosphérique particulière.

 

2/ Le « Run GFS » est le run déterministe. Note que c'est simplement l'appellation donnée par Meteociel, tu pourras en trouver d'autres sur d'autres sites.

Le « Run de contrôle » est un membre particulier de l'ensemble. Dans l'immense majorité des cas, ce membre est identique au déterministe excepté qu'il est calculé avec les résolution horizontale et verticale de l'ensemble et non celles du déterministe. Dit autrement, il contient les mêmes conditions initiales et les mêmes paramétrisations que le déterministe mais sous une autre résolution, généralement moins fine. L'un de ses intérêts majeurs est d'identifier des écarts de modélisations dus à des effets de sous-échelle (des effets de résolution inférieure qui impacte le déroulement des échéances suivantes, on parle souvent dans ce cas de « sensibilité aux conditions initiales »).

Le run opérationnel peut être le déterministe ou l'ensemble. Il s'agit du modèle « stable », par opposition à une version « de test » (future version opérationnel) ou « d'étude » par exemple.

Pour compléter les (très bons) propos de @_sbet peut-être apporter quelques précisions, la PE a pour but non pas de produire un seul scénario de prévision mais un panel de trajectoires possibles. Ce qui va différencier chaque membre d'une PE c'est la physique associée au modèle. Dans la construction d'une PE, les modélisateurs ont paramétrés différentes physiques du modèles qui diffèrent sur de légers détails (qui apportent au final des différences notables sur le résultat de la prévision, la fameuse théorie de l'effet papillon où un battement d'aile de papillon au Mexique provoque une tornade au Texas)! Ces physiques sont tirées aléatoirement et réparties de manière équitable sur l'ensemble des membres de la PE.

Concernant le "run de contrôle", il s'agit en fait du run de la PE qui possède une physique identique à la version déterministe du modèle.

 

En espérant avoir pu compléter et aider dans la compréhension du fonctionnement de la PE!

 

Ludo

[_sb]

Oui Ludo. La très bonne doc synthétique d'ICON fournit quelques explications / illustrations sur ce sujet (en anglais) :

https://isabel.dwd.de/DWD/forschung/nwv/fepub/icon_database_main.pdf#section.12.2

Modifié 7 mars 2021 par _sb

[Cers]

Je crois qu'il ne faut pas mélanger les sources d'erreurs. On perturbe usuellement les conditions initiales (CI) et on peut faire varier les paramétrisations physiques pour également tenir compte d'une partie des incertitudes dues au modèle (phénomènes sous-maille dans ce cas). Un modèle d'ensemble peut être construit sans modifier la physique. La prévision de contrôle est obtenue en partant de l'analyse avec la résolution de l'ensemble (=> CI non perturbées), la physique est la même que celle utilisée par le déterministe. Les scénarios de l'ensemble s'obtiennent en générant des perturbations de l'analyse qui croissent le plus rapidement. Lors de l'assimilation des données, on sait estimer les erreurs qu'on fait sur les observations et sur l'analyse de sorte que l'état initial de l'atmosphère est incertain mais contenu dans un intervalle de confiance. Les états initiaux perturbés doivent donc s'éloigner de l'analyse tout en tenant compte de cet intervalle.

[Pan]

.

Modifié 26 août 2023 par Pansa

[_sb]

Merci @Pansa, car je n'étais pas capable de résumé aussi clairement, notamment pour IFS et ICON. Pour GEFS, je ne savais pas.

Tout à fait @Cers, les membres doivent s'éloigner de l'analyse pour fournir de l'information interprétable par l'humain prévisionniste en bout de chaîne mais sans trop s'éloigner pour que cette information garde de la pertinence. C'est ce qui donne du sens à l'ensemble.

J'avais déjà fourni ce « tuto » qui je trouve est bien foutu (et suffisamment généraliste) :

https://www.ecmwf.int/assets/elearning/ensemble/ens1/story_html5.html

[ludo47]

Il y a 1 heure, Pansa a dit :

1/Les perturbations sont optimisées afin que le taux de croissance de leur erreur soit du même ordre que celui des modes les plus instables à l’échelle synoptique et à courte échéance (les modes baroclines). Le système du NCEP se base sur ce qu’on appelle la méthode des bred vectors, et celui de l’ECMWF la décomposition en vecteurs singuliers. Pour faire le plus simple possible, ces deux méthodes se caractérisent par l’introduction d’erreurs stochastiques qui dépendent de l’écoulement. Dans le système du NCEP, ces erreurs ne sont introduites qu’une fois, au début du cycle. Dans le système de l’ECMWF, elles sont introduites après chaque étape d’analyse. Une chose qui est importante à retenir, et que les messages précédents oublient de rappeler est que ces erreurs sont supposées sans biais (de moyenne nulle).

 

Merci pour cette synthèse @Pansa! 

Effectivement dans mon message initial je prenais pour exemple la PEARP puisque c'est celle que je connais le mieux! Cette dernière se base aussi sur la méthode des vecteurs singuliers (vecteurs formants la base orthonormée qui décrit les directions les plus instables dans l'état initial du modèle, pour les novices  ). Pour échantillonner l'incertitude des conditions initiales, on effectue une combinaison entre les états perturbés de l'assimilation d'ensemble et ces fameux vecteurs singulier. 

[Chloroplaste]

Wow, merci pour les réponses complémentaires sur un sujet assez complexe mais très intéressant.

[Meteorologist Office]

Le 07/03/2021 à 22:21, Pansa a dit :

Je vais compléter un peu ce qu’ont dit sb et Ludo. Je pense que c’est nécessaire car certaines choses dites sont approximatives voire inexactes, et parfois oublient de rappeler l’essentiel.

 

Pour faire simple, je vais parler de la façon dont les perturbations initiales sont générées pour obtenir un ensemble dans le système du NCEP, et celui de l’ECMWF, le tout sans faire de maths.

 

Les perturbations sont optimisées afin que le taux de croissance de leur erreur soit du même ordre que celui des modes les plus instables à l’échelle synoptique et à courte échéance (les modes baroclines). Le système du NCEP se base sur ce qu’on appelle la méthode des bred vectors, et celui de l’ECMWF la décomposition en vecteurs singuliers. Pour faire le plus simple possible, ces deux méthodes se caractérisent par l’introduction d’erreurs stochastiques qui dépendent de l’écoulement. Dans le système du NCEP, ces erreurs ne sont introduites qu’une fois, au début du cycle. Dans le système de l’ECMWF, elles sont introduites après chaque étape d’analyse. Une chose qui est importante à retenir, et que les messages précédents oublient de rappeler est que ces erreurs sont supposées sans biais (de moyenne nulle).

 

Maintenant pour clarifier au sujet de la perturbation de la physique, il me semble que ce qui est dit (un package physique différent par membre) n’est valable que pour PEARP, qui a dix membres avec des packages physiques différents, sur un total de 35, les autres membres utilisant le même package physique que le contrôle. En revanche, pour ICON et IFS la physique est la même d’un membre à l’autre. On n’utilise pas de packages physiques différents par membre. L’incertitude modèle est cette fois estimée en appliquant des perturbations stochastiques sur certains des paramètres dans les paramétrisations (par exemple un seuil d’humidité, une valeur constante de drag d’ondes de gravités) dans le cas du premier, et directement sur les tendances à chaque pas de temps pour le second.

 

 

 

 

Intéressant ce que tu dis. Est-ce que tu fais référence dans ton message au calibrage des modèles qui on est d'accord explique le fait que tels ou tels modèles se trompent ou ont juste? Et si je ne m'abuse c'est ça aussi qui induit beaucoup d'amateurs ( dont au final je fais parti) à penser qu'il y a nécessairement des modèles bien et d'autres "peu performants " ( pour employer un langage relativement correct)? 

[Pan]

.

Modifié 26 août 2023 par Pansa

[Meteorologist Office]

Le 16/03/2021 à 14:15, Pansa a dit :

Salut. Oui c'est bien une manière de quantifier l'incertitude modèle (en lien notamment avec les choix physiques).

 

Une façon analogue et peut-être plus formelle de résumer ceci c'est les écarts types ou les variances non? 

 

 

Le 16/03/2021 à 14:15, Pansa a dit :

En ce qui concerne le fait qu'il y a des modèles performants et d'autres moins, j'aurais d'abord tendance à dire que ça dépend de plusieurs choses. Principalement, le choix du système d'assimilation de données, et la situation météorologique.

 

Effectivement quand on sait cela, je pense qu'il n'y a pas tant que ça de modèles beaucoup plus performants que d'autres ( je dis cela dans la mesure qu'il y a un certain abus de langage à ce sujet). Mais les différences de performances entres modèles ça dépend donc du système d'assimilation on est d'accord: mais quels sont les principaux types de systèmes d'assimilation? Et comment savoir si un modèle est meilleur dans tel ou tel phénomène? Simplement en fonction de sa maille ( fine ou large) ou en fonction du choix du système d'assimilation également? 

[_sb]

A ce que dit @Pansa, j'ajouterai l'expérience de l'analyste / du prévisionniste pour choisir tels ou tels modèles adaptés à ses contraintes, enjeux, etc.

 

Il y a bien sûr la maille, la synoptique, l'assimilation, la conception, l'implémentation, etc mais, pour un même phénomène, il y a aussi simplement l'usage / l'objectif qu'on souhaite faire. Il n'y a pas de "meilleurs" modèles absolus.

 

Il est important de s'interroger sur la fiabilité d'un modèle, il est tout aussi important de s'interroger sur la fiabilité de ses analyses / interprétations de la multitude de données fournies. Trop souvent, la mauvaise fiabilité ressentie d'un modèle vient en fait d'une mauvaise analyse/interprétation en amont.

 

Et puis, les outils d'analyses des performances et de vérifications des modèles demandent à eux seuls un réel travail d'études et de comparaisons qui ne se limitent malheureusement pas à quelques graphes sortis de leur contexte.