Mises à jour des modèles de prévisions

[tao]

Il y a 14 heures, _sb a dit :

 

Bon, aucune notification mais la page est bel bien supprimée

Le transfert a bien eu lieu vers les charts ... sous licence, il convient donc d'ouvrir en (très) grand sa bourse pour y avoir accès.

Salut,

 

je venais de faire une demande d'accès .

[_sb]

Au niveau du forecast, ça n'aurait pas changé grand chose, inscrit ou non, sans licence, il n'y a pas plus d'accès. Ce peut-être intéressant pour les différentes réanalyses, selon les usages. Régulièrement ECMWF évoque l'ouverture publique à certaines données/charts. Déjà, si ECMWF acceptait la demande récurrente de mettre dans les WMO-Essentials (sans même ajouter de paramètres) les grib par pas de 12h (soyons fous, 6h !) au lieu de 24h, ce serait un grand pas.

Modifié 14 décembre 2019 par _sb

[_sb]

Reçu depuis une ML d'ECMWF :

 

Citation

Dear Colleague,

As part of its efforts to produce the best possible analysis, ECMWF continuously reacts to changes in the observing system. 
Actions are taken to blacklist suspected observations and to allow the use of trusted and tested datasets. Records are kept 
of all of the events that affected the observing system used at ECMWF. Such information might be of interest to ECMWF's forecast 
users and to the wider NWP community. The list of the main data events is now made available to ECMWF forecast users at:

https://confluence.ecmwf.int/display/FCST/Observations+data+events

The list is updated manually on a regular and best effort basis.

If you have any questions about this new resource information, please do not hesitate to contact 
servicedesk@ecmwf.int<mailto:servicedesk@ecmwf.int>

Best regards,

Prof. Florian Pappenberger
Director of Forecasts

 

En effet, la qualité et la disponibilité des données d'assimilation (observations de surface, satellitaires, etc) sont primordiales pour « alimenter » de façon optimale les analyses et les prévisions de n'importe quel modèle numérique de prévisions.

Cette étape de transparence est intéressante puisqu'elle montre une partie du travail fastidieux et essentiel de ces équipes qui œuvrent dans l'ombre, très en amont des cartes qu'on consulte comme si cela était naturel et facile. Utile aussi pour les personnes qui s'intéressent aux différentes problématiques des phases d'assimilation bien que les descriptions restent sommaires.

https://confluence.ecmwf.int/display/FCST/Observations+data+events

Possibilité de se référer également à cette page d'entrées (entrées / sorties liste noire / liste blanche) :

https://confluence.ecmwf.int/display/FCST/IFS+blacklist+information+for+conventional+observations

Plus largement, concernant IFS dans sa globalité :

https://confluence.ecmwf.int/display/FCST/Known+IFS+forecasting+issues

[_sb]

Corrections de certains sets d'erreurs pour ERA5 et ERA-Interim :

 

Citation

Dear user,


We would like to inform you that the data set "Essential climate variables for assessment of climate variability from 1979 to
present<https://cds.climate.copernicus.eu/cdsapp#!/dataset/ecv-for-climate-change>" has been updated to correct 
for the following identified issues:

  *   Files for ERA5 adjusted surface air temperature were affected by an error in the processing, affecting mean and 
anomaly values for the period from 1979 to 2014.
  *   Files for ERA5 and ERA-Interim 12-month running mean statistics were affected by a minor bug.

These issues have now been fixed. Full details of changes are documented in the updated Product User Guide 
for the "Essential Climate Variables for assessment of climate variability from 1979 to present
<http://datastore.copernicus-climate.eu/c3s/published-forms/c3sprod/ecv-for-climate-change/PUG-ecv-for-climate-change_v3.pdf>

Users who have previously downloaded the affected data are advised to re-download the corresponding files 
from the Climate Data Store<https://cds.climate.copernicus.eu/cdsapp#!/dataset/ecv-for-climate-change?tab=form>.


Should you have any questions, please contact copernicus-support@ecmwf.int <mailto:copernicus-support@ecmwf.int> 
from the Climate Data Store<https://cds.climate.copernicus.eu/cdsapp#!/dataset/ecv-for-climate-change?tab=form>.
<mailto:copernicus-support@ecmwf.int>

For the latest news on the Climate Data Store, we encourage you to watch the C3S Announcement topic on the C3S Forum
<https://confluence.ecmwf.int/display/CUSF/forum>


Best regards,


Copernicus User Support

ECMWF User Services

 

[_sb]

IFS sera mis à jour pour son cycle 47r1 durant l'été 2020, si tout va bien. Le travail de fond sur la phase d'assimilation continue des données se poursuit. Les tests en cours semblent positifs.

Un rapide aperçu des mises à jour sur lequel travaille ECMWF est disponible sur le blog forecast de l'institution : https://confluence.ecmwf.int/display/FCST/2019/12/19/News+on+the+next+model+upgrade+at+ECMWF

 

Le travail sur un couplage faible océan - atmosphère lors de l'assimilation pour IFS continue.

Il en est de même sur l'analyse de la banquise arctique, toujours pour IFS, dont les données sont fournies par le Met'Off. Là encore, les tests préliminaires réalisaient avec le modèle saisonnier SEA S5 (en opérationnel) sont concluants. Pour la prévisions à CT, le gain devrait être appréciable en T2m.

Il est encore trop tôt pour savoir si certaines de ces avancées seront incluses dans la mise à jour 47r1. En effet, des biais importants apparaissent autour du minimum d'extension (effet cascade).

 

 

Modifié 20 décembre 2019 par _sb

[TreizeVents]

Salut @_sb, je profite que tu as l'air de bien connaître le milieu des modèles pour une petite question qui me turlupine ... On voit pas mal passer, ces dernières années, des annonces de sociétés privées qui déclarent avoir développé en interne des modèles de prévision météo, qui bien entendu seraient beaucoup plus performants que les modèles institutionnels type GFS ou ECMWF. A titre d'exemple, Panasonic disait déjà en 2016 être capable de battre GFS et d'égaler le centre européen, IBM fait aussi régulièrement des annonces ... Mais, à titre personnel, je n'ai jamais vu nulle part la moindre démonstration de ces modèles, ni la moindre démonstration de leur fiabilité - par exemple juste avec une comparaison de leur corrélation sur les géopotentiels à 500 hPa. Du coup, j'ai l'impression de voir pas mal de gens qui estiment que, faute de preuve, ces annonces sont juste de la poudre aux yeux mais qu'en réalité les résultats obtenus en interne par ces sociétés ne sont pas aussi brillants que le vernis voudrait le faire croire.

 

Est-ce que tu as des échos de ton côté, des informations la dessus ?

[chris68]

Il  y a justement un très court article là dessus dans le dernier n° de La Météorologie.

[_sb]

Salut 13V

L'article de La Météorologie résume bien, selon moi, le contexte actuel autour des NWP « privés ».

Je mets entre guillemets car c'est plutôt un savant mélange public privé.

 

On a un grand nombre de sociétés privées qui utilisent soit les NWP des organismes nationaux (GFS, IFS, etc ...) en leur ajoutant de la plus-value par des services associés ou du post-traitement spécifique par exemple, soit font tourner leur(s) propre(s) instance(s) de modèles en libre accès (typiquement les WRF mais il y en a d'autres) avec leurs propres configurations / paramétrisations pour générer de la plus-value.

Ici, le secteur privé intervient en bout de chaînes.

 

Quelques grosses sociétés privées transnationales se sont lancées ou se lancent directement dans les NWP. Mais pas à 100%.

De nombreux aspects attenant à la modélisation de l'atmosphère font appel à la recherche fondamentale transdomaines (c'est un secteur transversal, il ne faut pas l'oublier). Cela demande de l'investissement à long terme et c'est le secteur public qui finance. Le secteur privé intervient sur les infrastructures et la recherche applicative.

Le modèle de Panasonic est, je pense, un gros coup de bluff, de com', une tentative qui est probablement restée au stade de prototype plus ou moins avancé sans être opérationnel.

Le cas d'IBM est plus intéressant. Il intervient d'ailleurs plus tardivement.

IBM est un acteur majeur des infrastructures informatiques tant matérielles que logicielles (par exemple, le rachat de RedHat l'an passé dont l'OS sous-tend bon nombre de cluster de calculs) , un des secteurs cruciaux pour les NWP. Il peut apporter une expertise et des ressources, ce que les acteurs publics auront des difficultés. IBM a racheté certaines sociétés comme weather.com et WU ou encore d’autres dans le recueil des données d’observations. Bref, il se constitue son propre environnement.

IBM s'associe également au NCAR pour utiliser le nouveau modèle dont le code est ouvert, MPAS, modèle qui couple l'atmosphère, l'océan et la cryosphère et qui est prévu pour compléter GFS (a minima). Le NCAR est lui-même un partenariat public-privé. Le modèle IBM-GRAF (Global High-Resolution Atmospheric Forecasting System) est développé depuis MPAS auquel est ajouté une couche spécifique. Il s'agit donc plutôt de NWP non plus totalement publics mais à la fois publics et privés.

Information révélatrice, Monsanto investit dans le secteur, pour l'heure à la marge sur le secteur plus traditionnel de la plus-value des prévisions vers un public cible (l'agriculture) mais ne cache pas ses ambitions à plus long terme et laisse les autres essuyer les plâtres avant peut-être de se lancer.

 

Cet intérêt du secteur privé vient du fait que la prévision météorologique, au sens large, intéresse de nombreux secteurs et, même, à peu près tous. Les infrastructures informatiques nécessaires deviennent de plus en plus rentables, les infrastructures de diffusions de la donnée météorologique (et plus seulement l'observation !) devient de plus en plus accessibles et la fiabilité des prévisions s'accroît ce qui accroît aussi l'intérêt des utilisateurs finaux (grand public et entreprises de tous secteurs et de toutes tailles). Cela augmente la rentabilité potentielle à un terme plus court qu'auparavant.

Le secteur privé était déjà présent mais de façon plus marginale.

 

ECMWF évoque depuis un an ou deux, je ne sais plus, la possibilité d'élargir les sources de données d'observations à de nombreux capteurs connectés (voitures, IoT, ...). C'est là aussi un marché non seulement direct mais aussi indirect pour les process d'assimilation des modèles. Dans un secteur qui commence à devenir concurrentiel, l'enjeu devient important. Les grosses sociétés se positionnent également.

 

Citation

An indication of the thinking taking place within NMHSs on these issues is provided by the recently approved “2016–2025 Strategy of the European NMHSs”, which has been agreed by 35 European NMHSs. This strategy states that: “In response to the anticipated growth of the private meteorology sector, the distinct roles of the European NMHSs with respect to data collection, model development, research, warnings and alerts need to be established, while at the same time collaboration with the private sector is stimulated.”

(source WMO, ci-dessous)

 

Avec cette concurrence, je doute qu'on puisse voir une étude ouverte et indépendante sur la fiabilité de ces modèles avant longtemps ...

 

Une question reste en suspens : que devient l'accès public aux données (d'observations et de prévisions) dès lors que l'investissement privé croissant demandera, tôt ou tard, un retour ? Jusqu'où / jusqu'à quand la résolution 40 de l'OMM restera entendue ? Sachant que celle-ci représente une base minimale.

 

Quelques liens :

MPAS : https://mpas-dev.github.io/

IBM GRAF : https://newsroom.ibm.com/2019-11-14-IBM-Makes-Higher-Quality-Weather-Forecasts-Available-Worldwide

IBM GRAF : https://www.multivu.com/players/English/8247557-ibm-the-weather-company-graf-forecasting-system/

Trouvé à propos du modèle de Panasonic : https://ral.ucar.edu/sites/default/files/public/events/2017/friends-and-partners-in-aviation-weather/docs/wilson-fpaw.pdf

Le partenariat public-privé dans la prévision numérique du temps (WMO) : https://public.wmo.int/en/resources/bulletin/weather-enterprise-global-public-private-partnership

La résolution 40 de la WMO : https://public.wmo.int/fr/notre-mandat/quelles-sont-nos-activités/échange-de-données-et-transfert-de-technologie

https://monsanto.com/news-releases/monsanto-completes-acquisition-of-the-climate-corporation/

[_sb]

GloFAS (Global Flood Awareness System) a été mis à jour le 5 novembre dernier vers la version 2.1. Le but est de fournir une aide précieuse à la gestion des risques d'inondations et à leurs études ultérieures sur les bassins des fleuves et rivières importants (la taille du bassin dépend de la donnée considérée).

Désormais, les réanalyses et prévisions du GloFAS se basent sur ERA5 / ERA5T (1979-présent). Pour ce qui concerne la version publiquement accessible [1], on notera la présence de calques de prévisions de probabilité des RR > 50, 150 et 300 mm sur 10 jours et le cumul total de RR. On a aussi les risques de crues et leurs périodes estimées de retour sur les 3 prochains jours, les 4 à 10 prochains jours et les 11 à 30 prochains jours, des probabilités de crues selon les périodes de retour, etc.

 

Je ne l'utilise que ponctuellement, je n'ai aucun recul, si certains d'entre vous en ont un usage plus fréquent, je serai ravi de lire votre retour. La newsletter d'ECMWF pour cet hiver [2] en parle assez longuement, autrement, je ne m'en serais pas aperçu avant longtemps !

 

[1] : https://www.globalfloods.eu/ puis « Map viewer » pour accéder aux cartes (nécessite une inscription gratuite)

[2] : https://www.ecmwf.int/sites/default/files/elibrary/2020/19356-newsletter-no-162-winter-201920.pdf

 

 

[_sb]

Concernant les prix des données chez ECMWF, pas de changements malgré des rumeurs et des sous-entendus dans certaines déclarations de responsables durant l'année 2019. En ce début 2020, j'ai donc passé quelques demandes de devis [1] dans plusieurs pays membres. Exemples :

- pour 4 charts [2] seulement du catalogue [3] sur le domaine « Europe », le prix est inflexible : c'est le même tarif pour une donnée ou toutes les données. Soit 5000 € + 1000 € de mise à disposition pour une année, avec une licence assez restrictive.

- pour les données U et V à 250 hPa et la T500 sur un domaine groupant l'Europe occidentale et l'est-Atlantique (60°W, 30°E, 35°N, 65°N) au format GRIB2 par pas de 13h et à 0.1° de résolution horizontale, le prix avoisine les 85500 € pour la licence la plus basique (pas de rediffusion) notamment.

 

C'est frustrant, c'est une gouvernance éloignée de celle du NCEP et de la NOAA héritée du régime US. Malgré tout, elle permet sans doute de maintenir les produits ECMWF aux niveaux de tête...

 

[1] : https://www.ecmwf.int/en/forecasts/accessing-forecasts/order-real-time-forecasts

on peut passer commandes dans n'importe quel pays membres, ce que j'ai fait : les prix ne changent pas (mais le niveau de change lui oui !, exemple avec météo  suisse) mais ça peut constituer des imbroglio pas très clairs selon les domaines demandés.

[2] : il s'agit de : « EFI Water Vapour Flux », « Weather regime time series - Extended range forecast », « Time-longitudes diagram - Extended range forecast » (500 hPa) et « Mean sea level pressure and wind at 200 hPa »

[3] : https://www.ecmwf.int/en/forecasts/charts/real-time-catalogue

Modifié 18 janvier 2020 par _sb
erreur tarif

[_sb]

Je viens de m'apercevoir que j'ai fait une double coquille sur mon message précédent : d'une part, le prix pour le 2e item avoisine non pas les 8500 € mais les 5500 € ; d'autre part, si j'avais demandé un pas de temps de 3h, le devis indique un pas de 1h sur les runs 00Z et 12Z.

 

Comparativement à GFS, cela revient forcément cher. Mais en soi, je trouve le prix correct : ~ 15 €/jour pour deux runs sur 240h par pas d'1 heure, soit ~ 1 cent la donnée horaire sur un domaine régional suffisamment large pour être opérationnel sur ces données.

De plus, ECMWF développe de nombreux outils de très bonnes qualités et les rend librement accessible. Le point noir est la doc, souvent trop succincte ou trop simppliste ; peut-être en rapport avec les sessions de formations payantes que l'institution dispense. ECMWF se positionne pour les professionnels, pas du tout pour l'écosystème amateur.

En revanche, le mode de calcul reste affreusement compliqué alors que celui-ci était annoncé se simplifier courant novembre 2019. Entre limites basses et hautes, plafond, contraintes sur les domaines, pondérations diverses et variées, ristournes, mise à disposition, ... sans compter l'« indexation » sur le CA dans le cas d'une licence commerciale, c'est une véritable usine à gaz. Pour en avoir déjà discuté avec le support d'ECMWF, le calcul est officiellement simple mais il renvoie finalement sur les exemples dès qu'on dépasse le stade des généralités.

 

Pour 7€/mois, meteologix propose un large panel de données issues des différents produits d'ECMWF, à ma connaissance le plus complet et de loin bien qu'il en manque encore ! Le gros point noir est que chaque paramètre est isolé. Si quelqu'un connaît un autre site / service avec une offre similaire, je suis preneur ! ;)

 

***

 

Sur la dernière RFC MEMO de la NOAA, il est indiqué une correction ces prochains jours de GFS suite à un bug de post-traitement qui augmente le cumul de précipitations, potentiellement de plusieurs dizaines de mm sur des évènements intenses. La doc est plus ambigüe sur le positionnement de l'anomalie dans la chaîne : uniquement en post-traitement sur les produits nationaux (CONUS) ce que semble indiquer la doc, ou sur le post-traitement de GFS global impactant plus largement l'ensemble des dérivés, ce que semble sous-entendre la RFC ...

[Idéfix37]

Il y a 1 heure, _sb a dit :

Si quelqu'un connaît un autre site / service avec une offre similaire, je suis preneur !

 

Pour une offre beaucoup plus limitée en terme de paramètres de l’ECMWF, mais par contre gratuite et sans pub, il y a windy.com .

Mais je comprends que la présentation graphique qui en est faite puisse rebuter certains, plus habitués à des présentations classiques de cartes météo. 
 

Modifié 18 janvier 2020 par Idéfix37

[_sb]

Exact, les paramètres de base sont présents et on peut les mixer en partie. J'apprécie l'interface fluide. Il manque en revanche beaucoup de paramètres ce qui est logique au vu de la gratuité de l'accès au site.

 

 

Nouvelle infrastructure matérielle pour le CMC : toujours basée sur des CRAY, à partir du 21 janvier prochain, la sortie 12Z sera la première à être calculée depuis deux paires de XC-50 adossées à des clusters CS-500. Les composants stockage et réseau seront eux aussi mis à niveau. Le gain en performance pure est estimé à 2.5 par le CMC.

Aucune mise à jour des modèles n'est prévue, le CMC avait déjà communiqué que cette modification de son infrastructure matérielle de calculs était un préalable pour des mises à jour plus profondes de ses modèles, notamment GEM et GEM ENS.

Si cette mise à niveau devrait être théoriquement transparente, en pratique on n'est jamais certain de la non-apparition de bugs spécifiquement liés au matériel. Le DWD en avait fait l'expérience il y a quelques mois (voir page précédente). En espérant donc de ne pas observer d'incohérences lors de la sortie de mardi !

 

[_sb]

Citation

Les équipes techniques de Météo France vont faire évoluer le système de mise à disposition des données de modèles de prévision numérique le mardi 21 janvier à 09h UTC (soit 10h locales).

 

https://donneespubliques.meteofrance.fr/

 

De plus,

Citation

Météo France travaille à une révision et à un élargissement de son offre d'accès en ligne à ses données publiques afin de mieux répondre aux besoins des utilisateurs.

Afin de répondre à vos attentes, nous souhaiterions mieux vous connaitre et mieux comprendre vos besoins.

 

Un formulaire est accessible à la même adresse.

[_sb]

Pour rappel, si vous utilisez encore les GRIB de GEM global 30 et 66 km, ceux-ci ne seront plus publiés par le CMC à compter du 11 février prochain.

 

Citation

Chers usagers du Datamart du SMC,
Tel qu'annoncé le 9 août 2019 (*), les *données du Système global de prévision déterministe (SGPD <https://eccc-msc.github.io/open-data/msc-data/nwp_gdps/readme_gdps_fr/>) à 66km et à 30km*, respectivement disponibles aux adresses ci-dessous, *seront retirées de l'offre de service à compter du 11 février prochain :

*  66km: https://dd.meteo.gc.ca/model_gem_global/66km/grib2/lat_lon
   <https://dd.meteo.gc.ca/model_gem_global/66km/grib2/lat_lon/>
 * 30km:
   https://dd.meteo.gc.ca/model_gem_global/66km/grib2/polar_stereographic/

Pour information, les *données à 25km****demeureront disponibles jusqu'en 2021* avant d'être également retirées. D'autres annonces suivront en temps voulu.
N'hésitez pas à me contacter pour toute question ou supplément d'informations.
Bonne journée,
Sandrine

 

[Idéfix37]

Le 14/12/2019 à 15:58, _sb a dit :

Régulièrement ECMWF évoque l'ouverture publique à certaines données/charts. Déjà, si ECMWF acceptait la demande récurrente de mettre dans les WMO-Essentials (sans même ajouter de paramètres) les grib par pas de 12h (soyons fous, 6h !) au lieu de 24h, ce serait un grand pas.

A-t-on des chances de voir l’offre de l’ECMWF évoluer vers plus de gratuité et de libre accès à certains paramètres, ou est-ce seulement un vœu pieu de l’OMM? Quel crédit apporter à cette information glanée sur un forum météo ? 
 

https://community.windy.com/topic/10930/free-ecmwf-forecasts-soon

[_sb]

Je vais peut-être te surprendre : je ne suis pas convaincu que plus de gratuité soit une bonne chose. Quand je vois comme cela se passe de l'autre côté de l'Atlantique et des biais de la politique générale de l'Europe. Bien sûr, à titre personnel, je serais très heureux si cela arrivait !

Comme je l'ai déjà évoqué, c'est un vieux serpent de mer. L'idée de rendre davantage de données d'ECMWF gratuite n'est pas nouvelle et les déclarations ambigües se succèdent depuis de nombreuses années.

Il y a déjà un grand nombre de données gratuites et publiquement accessibles chez ECMWF et on l'oublie souvent :

- directement chez ECMWF : https://apps.ecmwf.int/datasets/   https://www.ecmwf.int/en/forecasts/charts/catalogue/?facets=Range,Medium (15 days)   https://www.ecmwf.int/en/forecasts/charts/tcyclone/   https://www.ecmwf.int/en/forecasts/charts/oras5_nrt/

- indirectement depuis Copernicus : https://cds.climate.copernicus.eu/cdsapp#!/search?type=dataset   https://climate.copernicus.eu/climate-reanalysis  et j'en passe (ERA5/T, EFAS, etc)

- sans compter de nombreux outils d'exploration et/ou de génération et un support très réactif (pour l'expérience que j'en ai).

 

Clairement, la question se pose pour les données forecast.

Actuellement, seuls le Z500, la T850, la MSLP et les composantes U et V à 850 hPa par pas de 24h sont publiquement accessibles. C'est évidemment le strict minimum. Cela permet malgré tout de déduire certains paramètres utiles à la prévision comme la vorticité, la divergence, les advections à 850 hPa et quelques autres. Le gros point noir, selon moi, est le pas de temps beaucoup trop large. 12h aurait été beaucoup mieux, permettant par ailleurs une comparaison plus franche entre chaque run.

 

ECMWF évalue l'impact d'une gratuité (?) ou d'une licence moins cher (?) pour les paramètres dit « WMO-Additional » pour IFS HiRES et ENS uniquement (pas pour les probas et autres) : https://www.ecmwf.int/en/forecasts/datasets/wmo-additional

Des données surfaces (U et V à 10m, T2m, RR), des données marines (périodes, hauteurs, directions) et upper (Z, T, RH, U et V à certains niveaux). Naturellement, il sera possible d'en déduire de nombreux autres.

Sur le papier, ce serait génial ! À long terme ?

Non pas que payant = meilleure qualité, loin s'en faut. Mais à la vue des abondements souhaités toujours plus bas par les gouvernements des États membres, plus de gratuités impliquent moins de rentrées et, à terme, peut-être l'intégration de partenaires privés avec des objectifs supplémentaires et aux intérêts parfois divergents. C'est en partie ce qui se passe outre-Atlantique.

[Idéfix37]

Merci pour ces info détaillées qui confirment qu’il s’agit vraisemblablement d’un bruit de couloir. C’est vrai que le pas de temps de 24h est le plus frustrant. Heureusement en fouillant un peu sur la toile on trouve des paramètres autres que ceux normalement publiquement accessibles, comme sur Meteologix, Meteored...

[_sb]

Le questionnaire d'ECMWF montre que la question est ouverte. Il doit avoir une pression réelle à l'ouverture des données de la part de nombreux acteurs mais l'hésitation de l'institution s'appuie probablement sur :

- des WMO-Additionals plus facilement accessibles par l'octroi d'une licence « intermédiaire » (moins chère avec une utilisation libre mais une rediffusion restreinte voire interdite ?)

- un passage de quelques WMO-Additionals vers les WMO-Essentials

- La diminution drastique en ce début d'année des Web products (ensemble de cartes seules, donc sans GRIB, sous licence de 6000 € / annuels) est peut-être liée : accès public envisagé de tout ou partie ?

- ou tout autre chose ...

Les enjeux sont essentiellement non visibles alors deviner les conséquences concrètes pour les utilisateurs finaux, autant consulter Mme Irma !

[_sb]

GEFS devrait passer cet été en version 12 (actuellement, en version 11.3.9) avec l'inclusion du noyau FV3 et serait ainsi (enfin !) sur ce plan au même niveau que le déterministe. L'implémentation est notée au 26 août 2020, date extrêmement théorique puisqu'encore en plein tests et expérimentations et sachant que cette mise à jour vers FV3 aurait déjà du être realisée depuis plus d'un an. Le retard pris par la version déterministe (on se souvient des rebondissements / suspensions / etc l'an passé) pèse visiblement lourd sur GEFS.

 

Cette douzième version implémentera 30 membres + 1 contrôle, au lieu des 20 membres + 1 contrôle actuels. Les 4 runs se dérouleront sur une même échéance de 16 jours comme aujourd'hui, excepté le premier run de chaque jour (00Z) qui atteindra une échéance de 35 jours (peut-être pour ne pas trop laisser d'avance à ECMWF avec son IFS ENS EXT à 46 jours calculé deux fois par semaine ?).

À ma connaissance, il n'y a pas encore de mise à disposition publique des sorties (la fameuse version « parallèle »).

 

En noire, la version actuelle, en rouge la version expérimentale, selon les résultats de l'automne dernier et fonction de l'avancée des travaux. Le graphe est sur tout l'HN. En se focalisant sur l'Amérique du nord, les résultats sont meilleurs. Il n'y a pas de graphe pour l'Europe à l'heure actuelle.

 

 

 

Comparaison entre la version actuelle de GEFS et ses homologues canadiens et européens sur la même période et le même paramètre :

 

 

Écarts entre IFS et GFS toutes versions confondues à échéance de 8 jours, lissés sur 3 mois. On s'aperçoit que le « fameux coup de maître » de GFS avec la modélisation de la canicule de juin avant les autres modèles n'a pas permis à GFS d'être en mesure de rivaliser sur la saison estivale 2019 avec IFS :

 

Cf https://www.emc.ncep.noaa.gov/emc/pages/numerical_forecast_systems/gefs.php

Modifié 9 février 2020 par _sb

[_sb]

La ML du DWD consacrée aux modèles du DWD indique une mise à jour d'ICON en version 2.5.2 le 19 février prochain lors de la phase d'assimilation du 9Z.

Je ne suis pas aller voir dans le détail mais le DWD indique une amélioration dans les températures de surface et près de la surface, due à la correction d'une erreur dans l'implémentation. De plus, le DWD prévoit une meilleure stabilité du modèle par rapport aux erreurs ou manques dans les données d'observations grâce à l'introduction des données SAPHIR (sondeurs micro-ondes) lors de la phase d'assimilation.

 

https://www.wmo-sat.info/oscar/instruments/view/442

https://www.wmo-sat.info/oscar/satellites/view/228

 

[_sb]

La NOAA se dote de nouveaux Cray dans le but annoncé de fournir les meilleurs modèles numériques de prévisions du temps.

Plusieurs centres mondiaux ont modernisé leurs infrastructures matérielles, la NOAA n'y échappe dans ce secteur qui devient de plus en plus concurrentiel en plus d'être stratégique.

La NOAA espère implémenter le GFS version 16 début 2022 avec une résolution plus fine et un ensemble plus conséquent, peut-être couplé au déterministe, c'est en tout cas quelques « bruits de couloir » qui filtrent.

https://www.noaa.gov/media-release/us-to-triple-operational-weather-and-climate-supercomputing-capacity

 

En attendant, GEFS 12 est toujours en peaufinage et tests. Son entrée opérationnelle reste pour l'heure envisagée vers la mi-été 2020.

[_sb]

Topo sur la politique que semble mettre en place la NOAA et les mises à jour prévues

 

HYSPLIT

Le modèle de la NOAA dédié aux trajectoires et aux dépôts/dispersions de particules ou de parcelles d'air sera mis à jour vers sa version 8 durant le second trimestre 2020, probablement vers la fin puisque les vérifications finales n'ont pas encore commencé.
J'ai simplement vu passer l'info, j'ignore qu'elles ont été les changements apportés.

 

GEFS

La date de sortie de la version 12 a été repoussée au 4e trimestre 2020 contre le 25 août antérieurement prévue.
Il intègrera bien le noyau FV3 au lieu du vieil GSM. Sa résolution horizontale passera à ~ 25 km (0.25°) sur l'intégralité des 16 jours ou des 35 jours pour la sortie 00Z (à la place de ~ 33 km pour les jours 1 à 8 et ~ 50 km de 9 à 16 jours).

À noter que toutes les versions actuelles de GEFS basses résolutions (ex : version à 1° sur NOMADS) seront supprimées.

Les algorithmes de conception des perturbations initiales de chaque membre sont revus. Le nombre de pertus s'accroît également de 20+1 à 30+1 (contrôle).
Comme GFS 15 (l'opérationnel actuel) par rapport au 14, la physique ne change pas fondamentalement entre les deux versions (excepté corrections et mises à jours). En revanche, la microphysique supportera les dernières moutures des labos du GFDL (entre autres, considérations séparées des 5 « états » possibles de l'eau : glace, liquide, pluies, neiges ...) au lieu du seul total).
Forçage de la SST amélioré (analyse + climato + biais et corrections apportées par les prévisions CFS).
Les nouveautés sur l'initialisation des pertus portent sur l'interpolation entre les hautes (FV3) et basses résolutions (GDAS) vers la grille native du noyau et l'inclusion de variables non hydrostatiques. Les schémas dynamiques adoptent le SKEB (Stochastic Energy Backscatter) et les schémas physiques se basent sur les SPPT (Stochastically perturbed physics tendencies). Voir plus bas. Et enfin sur l'interface avec le GDAS (assimilation).
Il intègrera normalement aussi les ensembles des modèles globaux actuels vagues et aérosols. NGAC devrait disparaître.

 

Les premiers retours expérimentaux semblent montrer :
- une meilleure stabilité
- un gain en prévision à l'échelle synoptique
- meilleure trajectoire et intensité des tempêtes tropicales et extratropicales
En contrepartie, NCEP noterait
- un écart-type natif plus faible en basses couches (= la dispersion entre membres est plus faible sur les BC donc potentiellement moins représentative en terme de perturbations).
- un biais froid, comme pour GFS et les corrections partielles apportées au noyau FV3 de GFS profiteront aussi à GEFS
- déplacement trop rapide des creusements intenses dans l'HN

 

Quelques dizaines de paramètres feront leur entrée, principalement pour la stratosphère, quelques uns pour la troposphère (ex : géopotentiel au plafond nuageux).

 

À l'horizon 2024, pour l'heure planifié au second trimestre en opérationnel, GFS et GEFS seront sur un pied d'égalité et travailleront main dans la main. Les deux seront d'ailleurs estampillés « version 17 ». Il n'y aurait donc pas de version 13, 14, 15 et 16 pour GEFS. La version 12 entame ce rapprochement, tout comme la future version 16 de GFS.

 

GFS
Le futur GFS et la rationalisation de l'offre ...

 

Ce sera la 16e version, l'implémentation a été gelée lors du dernier trimestre 2019, seules les corrections et optimisations devraient encore faire bouger le code.
Les premiers tests grandeur nature ont commencé depuis deux mois environ et se poursuivront au moins jusqu'à la fin de l'été 2020.
La finalisation et la validation sont prévues courant 1er trimestre 2021 avant une dernière courte phase de tests et une mise opérationnelle programmée pour la fin du printemps 2021.
C'est une date butoir puisque l'ensemble des modèles globaux et régionaux toutes mailles seront figées du 3e trimestre 2021 au 2nd trimestre 2022, soit un an de remise à plat et d'évaluation. Seul GFS 16 pourra recevoir des corrections. L'objectif est de clairement rationaliser l'offre de la NOAA.

Il est ainsi envisagé d'unifier dans le couple GFS/GEFS les ensembles courts termes régionaux et les modèles actuels océan, glace, aérosols principalement.
D'autres unifications sont actuellement prévues : au niveau des différents modèles régionaux (atmosphère, qualité de l'air, etc) ou encore parmi les modèles saisonniers comme CFSv2, ...

 

Les objectifs, à la fois stratégique et politique, sont clairs :
Stratégiquement, GFS (et sa suite GEFS et CFS) sont un maillon essentiel pour l'économie et la protection des biens et des personnes, aux États-Unis au premier chef, mais également dans le monde entier.
Politiquement, GFS et sa suite devront être les meilleurs et les plus fiables au monde à toutes les échelles spatiales et temporelles, que ce soit avec le déterministe qu'avec le probabiliste. Le NCEP cite explicitement IFS comme leader actuel.

 

Citation

The Environmental Modeling Center (EMC) of the National Centers for Environmental Prediction (NCEP) is primarily responsible for working with several partners in developing, maintaining, enhancing and transitioning-to-operations numerical forecast systems for weather, ocean, climate, land surface and hydrology, hurricanes, and air quality for the Nation and the global community and for the protection of life and property and the enhancement of the economy. The mission objectives include being the world's best and most trusted provider of deterministic and probabilistic forecast guidance across all spatial and temporal scales. [10]

 

L'enjeu est d'ailleurs encore plus important puisque GFS fournit les conditions initiales pour un grand nombre d'instances d'autres modèles, globaux et régionaux, dans et hors des États-Unis. Je pense notamment à la plupart des WRF (NMM, ARW, ou autres).

 

Les axes principaux de développements et les attendus portent sur la physique, le couplage océan - atmosphère, la résolution verticale et l'assimilation.

Plus en détails :

 

A/ Physique

- nouveau schéma physique concernant la l'énergie cinétique de turbulence en couche limite mais impactant les couches supérieures [1][2]
- nouvelle structuration du sol [3] pour isoler et analyser en fonction de schémas physiques spécifiques. Cela impactera à la fois GFS, CFS et les futures versions de WRF.
- unification physique des ondes de gravité d'origine orographique et non orographique.
- amélioration de l'analyse des flux radiatifs par une meilleure prise en compte des couches nuageuses et de leurs interactions. [4][5]
- nombreuses améliorations dans les physiques fines.
- optimisations en fonction des changements de résolution.
- nouvel algorithme sur les advections.
- optimisations des schémas de convections humides et profondes, interactions renforcées avec la turbulence.

 

B/ Couplage océan / atmosphère

- couplage bijectif entre modèle atmosphérique et marin
- efficacité accrue sur la rugosité et les vents de très basses altitudes en rapport avec la couche limite marine.
- résolution du modèle marin à 0.16° au lieu de 0.5°

 

C/ Résolutions

- la résolution verticale serait doublée, passant de 64 niveaux à 127 niveaux et passant de 54 km à 80 km, avec un accroissement proportionnel en basse et moyenne troposphère, souhaitant être meilleure qu'IFS sur ces niveaux.
La résolution horizontale évoluerait de 13 à 10 km si le NCEP réunit les ressources matérielles nécessaires.
Par comparaison, IFS possède une résolution de 137 niveaux jusqu'à 80 km d'altitude. Sa résolution horizontale est d'environ 9 km. [6][7]
Le NCEP indique aussi qu'UKMO possède une résolution horizontale d'environ 10 km sur 70 niveaux verticaux. Par ailleurs, il indique que la résolution verticale de GFS n'a pas évolué depuis 2002 !...

 

Citation

ECMWF, the world leader in the global NWP, operates the Integrated Forecast System (IFS) with about ~9km horizontal resolution and 137 vertical levels. UK Met Office operates their Unified Model with ~10km horizontal resolution and 70 vertical levels.

 

Le premier niveau de GFS 16 sera à 20m au lieu de 40 m actuellement. 10m chez IFS.

Ceci étant dit, le NCEP se garde un plan B si les ressources matérielles s'avèraient insuffisantes avec une résolutuion verticale de 97 niveaux suelement. Toutefois, aux dernières nouvelles, les tests internes aux membres de la NOAA et des instituts associés portent sur la version à 127 niveaux ce qui incite à penser que les ressources sont en rendez-vous.

 

D/ Assimilation

- Nouveaux algorithmes et mises à jour dans les processus d'assimilation
- Introductions d'algorithmes en vue du couplage déterministe / probabiliste [8]
ECMWF semble décider à opter pour une méthodologie différente après avoir utilisé certains de ces algos dans des versions antérieures d'IFS. Cela n'illustre pas une inefficacité, la conception des deux modèles étant différente [9]. Le NCEP en est conscient et s'appuie sur les travaux publiés par ECMWF pour articuler ce type d'algo à GEFS et GFS en paramétrant notamment l'humidité en BC différemment.
- Travaux sur les couplages sol - air et SST - atmosphère
- Amélioration du traitement des nuages d'eau surfondue

Des améliorations / optimisations / corrections des observations sol, aéronautique et satellitaire sont ajoutées indépendamment de ma lise à jour de GFS.

 

E/ Autres

- Modifications et optmisations structurelles, softwares et hardwares, dans et autour de l'écosystème GFS.
- La période de transition sur les cumuls RR avec deux variables sera terminée (cf un post précédent), une seule variable avec cumul continue restera.
- Suppression de la variable omega (Pa/s), seule la variable vitesse verticale (m/s) restera.
- L'espoir (officieux) plusieurs fois repris ces derniers temps de mieux prévoir les SSW et leurs effets [13][14]

 

 

Conclusion :
Pas mal d'ambitions donc et une vision à long terme : c'est peut-être la clé du renouveau. Unifier l'offre et moins se disperser, mutualiser et acquérir de nouvelles ressources matérielles comme ces CRAY et logicielles (fortes activités d'installation et d'adaptation ces derniers temps sur les réseaux et stockages NOAA) marquent les jalons pour les 4-5 ans à venir. Autre mot d'ordre, plus officieux du coup, est de moderniser cette offre et notamment les modèles phares, trop longtemps endormis sur leurs lauriers et dont les conceptions commençaient à devenir has been.

Je pensais prendre du temps pour un comparatif entre GFS/GEFS et IFS/GEM mais j'ai un BS sur ce temps tempêtueux de ces prochains jours à finir ...! Peut-être une fois prochaine ! :)

 

Quelques liens et références non exhaustifs :

[1] : https://dtcenter.org/GMTB/gfs_phys_doc_dev/group___p_b_l.html
[2] : https://journals.ametsoc.org/doi/abs/10.1175/WAF-D-18-0146.1
[3] : https://www.jsg.utexas.edu/noah-mp
[4] : https://dtcenter.org/GMTB/gfs_phys_doc_dev/group__rad.html
[5] : https://en.wikipedia.org/wiki/Rapid_radiative_transfer_model
[6] : https://www.ecmwf.int/en/forecasts/documentation-and-support
[7] : https://www.ecmwf.int/en/forecasts/documentation-and-support/137-model-levels
[8] : https://www.ecmwf.int/en/elibrary/12214-stochastic-kinetic-energy-backscatter-algorithm-use-ensemble-prediction-systems
        https://journals.ametsoc.org/doi/full/10.1175/MWR-D-15-0092.1
[9] : https://confluence.ecmwf.int/display/FUG/Stochastic+Tendency+Perturbations
[10] : citations prises depuis https://www.emc.ncep.noaa.gov/emc/pages/numerical_forecast_systems/gfs/gfsv16/

GFSv16%20Project%20Plan%20Draft%20v1.0.pdf
[11] : https://www.weather.gov/sti/stimodeling_nggps
[12] : Documentation complète d'IFS https://www.ecmwf.int/en/publications/search/IFS%20Documentation%20CY46R1?authors=ECMWF&year=2019&f%5B0%5D=sm_biblio_type%3ABook%20Chapter
[13] : https://www.cwb.gov.tw/Data/climate/Info/lectures/107/20190522_2_YuejianZhu.pdf
[14] : https://eos.org/features/how-sudden-stratospheric-warming-affects-the-whole-atmosphere

[_sb]

ECMWF a acquis de nouveaux supercalculateurs à la fois dans un but de recherche et d'améliorations des services et d'IFS.

IFS ENS et IFS ENS EXT devraient à terme passer d'une résolution horizontale de 18 km à 10 km environ et d'une résolution verticale de 91 à 137 niveaux. ils seront ainsi similaires à IFS HiRES (= DET).

De plus IFS ENS EXT sortirait tous les jours au lieu de 2x par semaine (les lundis et jeudis).

Cette nouvelle architecture hardware opérationnelle en 2021 permettrait la recherche vers une résolution horizontale de 5 km.

 

Résumé de l'annonce ...

https://www.ecmwf.int/en/about/media-centre/news/2020/ecmwf-signs-contract-atos-new-supercomputer

 

Les 137 niveaux verticaux d'IFS (source ECMWF) :

 

[_sb]

Pour alimenter une discussion initiée par @TreizeVents sur ce topic même au sujet des contributions privées en prévision météo, voici une contribution de Google :

 

Une multinationale comme Google s'intéresse naturellement à la prévision météo et pas seulement dans la fourniture de widgets !
En décembre dernier, la firme a publié un papier [1] suivi en janvier par un article sur son blog dédié à l'intelligence artificielle (IA) [2]. Le but est de se positionner sur le nowcasting : la prévision immédiate, en l’occurrence pour Google, la prévision des précipitations de 0 à 6h. D'une part dans le but de monnayer ces informations à des clients, d'autre part, pour prévenir des risques d'inondations.

 

La problématique n'est pas nouvelle : les modèles de prévisions numériques du temps (PNT) reposent sur deux piliers fondamentaux : les données d'entrées (l'assimilation) et les physiques du modèle.
- les données sont à la fois en quantités énormes et parcellaires, avec des résolutions spatiales et temporelles différentes, des précisions différentes, etc. L'assimilation effectue outre l'incorporation de ces données, un très gros travail de tris et d'inter/extra-polations. Cela prend un certain temps.
- La physique météorologique des modèles est complexe, les temps de calculs, malgré les progrès techniques, sont encore importants.
Finalement, les prévisions disponibles en sortie du modèles sont déjà obsolètes pour les premières heures (le 00h du 06Z est disponible vers midi, soit 5-6h de retard). De plus, les calculs ont été faits avec les données disponibles vers minuit, soit près de 12h d'antériorité.

 

Le principe utilisé par Google n'est pas nouveau non plus, il est amélioré et automatisé grâce aux avancées technologiques et algorithmiques. Google entre les images satellites, les passent à une moulinette IA, et sort des prévisions de précipitations pour les prochaines 6h sur un pas de 5 à 10mn seulement. L'IA, via un processus d'apprentissage, reconnaît et déduit le comportement des nuages en quasi temps réel puisque le temps de latence déclaré n'est que de quelques minutes contre plusieurs pour les PNT. Sur le papier cité, les résultats sont bluffants ; perso j'ai quelques doutes sur de l'opérationnel à grande échelle et en continu. D'ailleurs Google le reconnaît : l'absence totale de physique dans le processus empêche une prévision au-delà des 5 - 6 heures. Pour la même raison, les processus convectifs sont très mal appréhendés ce qui rendrait le système peu fiable dans ces conditions.

 

Comme le souligne la société, ce type de prévisions peut venir combler / compléter les sorties des modèles numériques traditionnels, occupant en parallèle un créneau rentable que les opérateurs publics de météo ne peuvent tenir.

 

[1] : https://arxiv.org/pdf/1912.12132.pdf
[2] : https://ai.googleblog.com/2020/01/using-machine-learning-to-nowcast.html