Run de contrôle

[A.M.]

Si j'ai bien compris, un run de contrôle est calculé comme son déterministe mais avec les mailles plus larges de son panel. Son rôle premier est de visualiser le moment à partir duquel il diverge grandement dudit déterministe, cela afin de savoir quand la fiabilité du panel devient critique. Dès lors, est-il judicieux de le considérer comme un Det bis, chose qu'une écrasante majorité d'ICéens fait, et cela d'autant plus quand il est hivernophilement favorable ? N'est-il pas plus un moyen qu'une fin ?

[Pan]

.

Modifié 27 août 2023 par Pansa

[Cers]

 

Tu avais déjà obtenu une réponse de ma part, donc je la mets ici.

 

"Son rôle premier est de visualiser le moment à partir duquel il diverge grandement dudit déterministe, cela afin de savoir quand la fiabilité du panel devient critique."

 

Non, son rôle premier est d'être un membre à part entière de l'ensemble. Tu peux très bien étudier l'ensemble, la dispersion des membres, en faisaint abstraction de la simulation déterministe. Si le contrôle et le déterministe divergent beaucoup, ce qui peut être le cas à partir d'une certaine échéance, c'est à cause de leur différence de résolution. Alors les écarts entre les membres et le déterministe sont dûs à cette différence de résolution et aux conditions initiales modifiées. L'idéal étant que la résolution déterministe et de l'ensemble soient identiques, mais c'est couteux en ressources.

[Jojobarbar]

Bonjour, j'en profite pour poser une question qui me trotte dans la tête à ce propos :

est-ce que ça a vraiment un sens de comparer le déterministe et son ensemble si le contrôle diverge (''significativement'') du déterministe ?

Si je comprends bien, cela veut dire que c'est avant tout la différence de maille qui induira les variations entre déterministe et membres. Donc on ne peut pas en tirer grand chose sur la sensibilité aux conditions initiales. Et alors, le plus fiable est d'utiliser (sur le long terme) contrôle comme un déterministe moins précis spatialement. Et le détermiste, alors seul, bien que plus précis spatialement, ne permet alors pas de d'estimer sa fiabilité.

 

Est-ce que c'est juste ?

 

J'ai du mal a savoir comment analyser les modèles lorsque déterministe et contrôle divergent vite et fortement : j'aurais tendance à ne pas regarder le déterministe.

 

[yayathe]

On va tout reprendre :

 

Pour un système de PNT classique qui possède ensemble et déterministe il y a/avait 3 choses possibles :

 

Le déterministe

Le contrôle

L'ensemble (les autres membres)

 

Traditionnellement, pour des raisons de coût de calcul, le contrôle et l'ensemble tournent à résolutions supérieures (ie. plus lâches) que le déterministe.

La résolution est la seule différence entre déterministe et contrôle : s'il y a divergence, elle n'est donc imputable qu'à la seule différence de résolution.

 

Pour désormais plein de systèmes (notamment PEARP/ARPEGE et PEAROME/AROME), l'ensemble tourne à la même résolution que le déterministe.

 

Cela veut dire que dans ces cas : déterministe = contrôle. Ni plus ni moins, le contrôle de PEAROME c'est AROME, le contrôle de PEARP, c'est ARPEGE.

 

Le contrôle est le run qui n'est pas perturbé (ni dans les conditions initiales et/ou aux limites, ni au cours de l'intégration du modèle). Les perturbations (quelles qu'elles soient) sont réputées pour en général être symétriques.

 

Cela veut dire 3 choses, et ceci pour toutes les échéances, même les plus lointaines :

Le contrôle est en moyenne "meilleur" que chaque autre run perturbé pris de façon individuelle.

Chaque autre run perturbé possède la même performance moyenne, ils sont "échangeables".

En moyenne, le run de contrôle a tendance à être "central" parmi les runs de l'ensemble.

 

Rigoureusement :

Si les membres individuels échantillonnent l'ensemble des possibles, le contrôle représente le "mode" ie. le plus probable.

Le contrôle n'est pas échangeable avec les autres membres : dit autrement, lorsque l'on calcule des probabilités (ou des scores) en utilisant les ensembles ; il ne faut pas compter le "membre" de contrôle (qui n'est donc pas un "membre" si vous avez suivi).

Un calcul de proba. PEARP doit/devrait se faire sur les 34 membres perturbés.

Un calcul de proba. PEAROME doit/devrait se faire sur les 16 membres perturbés.

 

 

[Cers]

2 hours ago, Jojobarbar said:

Bonjour, j'en profite pour poser une question qui me trotte dans la tête à ce propos :

est-ce que ça a vraiment un sens de comparer le déterministe et son ensemble si le contrôle diverge (''significativement'') du déterministe ?

Si je comprends bien, cela veut dire que c'est avant tout la différence de maille qui induira les variations entre déterministe et membres. Donc on ne peut pas en tirer grand chose sur la sensibilité aux conditions initiales. Et alors, le plus fiable est d'utiliser (sur le long terme) contrôle comme un déterministe moins précis spatialement. Et le détermiste, alors seul, bien que plus précis spatialement, ne permet alors pas de d'estimer sa fiabilité.

 

Est-ce que c'est juste ?

 

J'ai du mal a savoir comment analyser les modèles lorsque déterministe et contrôle divergent vite et fortement : j'aurais tendance à ne pas regarder le déterministe.

 

 

 

https://confluence.ecmwf.int/display/FUG/5+Forecast+Ensemble+(ENS)+-+Rationale+and+Construction

https://confluence.ecmwf.int/display/FUG/6+Using+Deterministic+and+Probabilistic+Forecasts

 

[Pan]

.

Modifié 27 août 2023 par Pansa
précisions ajoutées

[Jojobarbar]

Merci @Cers , ce guide est dans mes favoris depuis un petit bout de temps, mais j'ai jamais fait le pas. Je crois que c'est maintenant que je vais le faire !

Modifié 2 février 2023 par Jojobarbar

[Cers]

Je considère habituellement le contrôle comme un membre de l'ensemble. Dans ce document ECMWF, il est pris en compte pour calculer la moyenne, la dispersion et les probabilités (en inclut le membre de contrôle et les autres membres).

 

https://www.ecmwf.int/sites/default/files/medialibrary/2020-05/2020-05-12-Processing-and-visualising-ecmwf-ens-data.pdf

[yayathe]

@CersDans la page 11 du document que tu mets en lien, le cf est "différent" des 50 autres "pf". Mais dans cet exemple on prend effectivement aussi le cf pour estimer moyennes etc. : Le fait est que dans le plupart des cas on néglige ce point d'inférence statistique pour calculer moyenne, sd, et probabilités : un membre est tellement coûteux à produire que l'on utilise tout ce que l'on a sous la main, même si l'on fait une petite erreur. On préfère faire une estimation "fausse" avec 51 valeurs qu'une juste avec 50... Si je voulais être badin je dirais  que les "physiciens" et les "statisticiens" se rencontrent peu souvent !

Dans ce cas ci : https://github.com/ecmwf/metview-python/blob/master/examples/ens_mean_spread_xarray.ipynb

Le calcul de mean et de spread se fait sans le cf...

Le contrôle est un membre de l'ensemble, mais pas n'importe lequel... Donc be careful !

 

 

@Pansa

Yes je suis sûr et certain. Tout réside dans le fait que la loi X elle-même est une variable aléatoire. Dans ton exemple, mettre le contrôle n'est pas enlever la médiane mais la rajouter (de plus on rajoute une estimation de la médiane, la vraie médiane, comme la vraie moyenne etc. : on ne la connaît pas).

Tout ce que l'on peut faire, au mieux, c'est une estimation de ces choses là, à partir des membres qui représentent un échantillon de X.

 

En stats inférentielles, quand on a un échantillon i.i.d. d'une loi X, on peut calculer des estimateurs de la moyenne (moyenne empirique par exemple) et/ou de l'écart-type (écart-type empirique) ou d'autres statistiques.

Mais le fait est que les "vraies" valeurs nous restent (et resteront) inconnues.

Si l'échantillon n'est pas i.i.d... Et bien on ne sait pas trop comment faire en général. Pour estimer une moyenne on peut généraliser le théorème central limite et ensuite faire des delta-méthodes... Mais ça devient vite crapoteux !

 

Le problème, ici, est que la tendance "centrale" du contrôle (et/ou sa meilleure performance) n'engendre pas une valeur véritablement aléatoire de X. On pourrait dire que l'on fait de l'échantillonnage préférentiel avec le contrôle (on cherche à déterminer le mode a posteriori). Dès lors, considérer cet échantillon avec tous les autres pour estimer des quantités de X, c'est casse-gueule (surtout hors calcul de moyenne).

 

Pire encore, on peut se retrouver à estimer d'autres choses : Le fait que le contrôle soit meilleur et/ou qu'il soit en moyenne en position centrale ne permet pas de dire qu'il échantillonne X, mais une autre variable aléatoire Y (qui peut représenter une tendance centrale de X). Et donc ajouter le contrôle fait... que l'on calcule quelque chose mais on ne peut pas dire quoi.

 

On croît que l'on estime une moyenne... Mais la moyenne de quoi ? de X ? X+Y ? ...

 

Quand on s'amuse à calculer des scores individuels sur chacun des "membres", on remarque toujours que :

*Le contrôle est en moyenne le meilleur

*Tous les autres se valent

Les membres (hors contrôle) sont échangeables, et donc (th. de De Finetti) peuvent être considérés conditionnellement indépendants.

Ainsi, avec seulement les membres perturbés, on se retrouve avec un échantillon i.i.d. dans une loi de probabilité X ; et il n'y a jamais de "problèmes".

 

Je ne me rappelle plus du formalisme EnKF, mais si par exemple on prends l'estimation de B on l'a fait effectivement en gérérant des ensembles... mais dont tous els membres sont perturbés. Pour PEARP/ARP c'est l'AEARP (assimilation d'ensemble ARP), AEARP est composée de 50 membres tous perturbés pour estimer B. Idem avec AEAROME qui possède 25 membres perturbés. On n'a donc pas ce problème du contrôle en Ass.Donn.

 

Voici un petit exemple en R où je veux estimer l'écart-type (que je sais égal à 1 ici) entre un ech. i.i.d de loi N(0,1) et ce même échantillon muni d'une valeur centrale, ici sa médiane :

sdx=as.numeric()
sdxm=as.numeric()

for (u in 1:10000){

x=rnorm(100,mean=0,sd=1)
xo=median(xo)

sdx=c(sdx,sd(x))
sdxm=c(sdxm,sd(c(x,xo)))
}

t.test(sdx,sdxm)

 

L'estimation de l'écart-type avec médiane est significativement plus petite que l'estimation sans tendance centrale (on a décontracté l'échantillon) ; mais aussi et surtout l'estimateur le plus proche de 1, c'est l'estimateur sans tendance centrale.

 

J'espère que c'est plus clair.

Mais on est bien d'accord ici que la plupart des météos ne sont pas des stateux purs, et donc on ne s'embête pas avec cela.