Mises à jour des modèles de prévisions

[_sb]

Y a eu quelques cahots, j'ai eu des accès puis plus d'accès, puis des erreurs puis ç'est bon ...

[Cers]

Oui, çà met pas mal de temps au chargement des cartes, et j'ai quelques messages d'erreurs. Tourbillon et divergence du vent à 700 hPa ... mouais pourquoi pas. 🤔 En fait, ces cartes c'est pour donner envie d'avoir accès à un peu plus non ?   

[Cers]

Ce que j'aimerais un jour, c'est le passage au-moins à court terme à un intervalle de 6 heures par exemple. Avoir accès à des paramètres supplémentaires c'est très bien, çà complète les cartes de base. Mais suivre un phénomène avec une carte par jour, c'est pas faisable. Du coup, sauf pour les prévisions à LT, les cartes proposées directement par ECMWF restent d'une utilité limitée. Sur Meteorologix, on a accès à la vorticité à 850, 700 et 500 hPa...(pas dans les niveaux supérieurs, là où elle est aussi importante  ) toutes les 3 heures. Bon, on connaît le coût des données, c'est déjà pas mal de pouvoir jouer avec tout çà.  

 

Edit : à LT pour la prévision d'ensemble, il y a les clusters, super.

Modifié 7 octobre 2020 par Cers

[Cers]

il y a une heure, _sb a dit :

EDIT

Et les meteograms accessibles en tout point en cliquant sur n'importe quel carte ... Y a de quoi faire

 

Oui, top. Il y a aussi les sondages.

[Cers]

il y a 39 minutes, Cers a dit :

Ce que j'aimerais un jour, c'est le passage au-moins à court terme à un intervalle de 6 heures par exemple.

 

Bon, c'est 24, 12, 6 ou 3 h selon l'échéance et les paramètres à priori.  

[_sb]

il y a 41 minutes, Cers a dit :

Ce que j'aimerais un jour, c'est le passage au-moins à court terme à un intervalle de 6 heures par exemple.

 12h pour le Z500 par exemple, c'est déjà une belle avancée

 

[Higurashi]

Bien sympathique cette "mise à jour" !

[_sb]

Deux liens à l'ergonomie différente (perso, par habitude, je préfère le second, de plus, on peut la lier avec le dashboard ce qui n'est pas le cas avec la nouvelle interface (premier lien))

https://apps.ecmwf.int/webapps/opencharts (nouvelle interface et plus au goût du jour et qui ressemble à l'interface test montrée précédemment)

https://www.ecmwf.int/en/forecasts/charts/catalogue/ (ancienne interface, liaison avec le dashboard)

 

 

Il y a 5 heures, Cers a dit :

Du coup, sauf pour les prévisions à LT, les cartes proposées directement par ECMWF restent d'une utilité limitée. Sur Meteorologix, on a accès à la vorticité à 850, 700 et 500 hPa...

 

Le résultat est conforme à l'annonce et même un peu plus car les meteogrammes n'étaient pas sûrs initialement. En revanche, il n'a jamais été question d'inclure les EcCharts, plus complets avec bien plus de fonctionnalités (=> https://confluence.ecmwf.int/display/FUG/10.2+ecCharts ) et encore moins les données sources (GRIBs). Ce peut être frustrant, mais il y a un sacré effort de réalisé par rapport à ce qui existait hier encore ...

Ensuite, avec les GRIBs publics et gratuits, on calcule quelques paramètres supplémentaires non pourvus dans ces cartes mises à disposition. Exemple codé entre deux trucs à faire avec IFS 06Z avec la T850 et les deux composantes zonale et méridionale au même niveau de pression :

 

 

Ce qui est en opendata, quasiment tout de ce qui est placé sous licence CC-BY 4.0 est listé ci-dessous (sans compter ce que diffuse gratuitement Copernicus venant d'ECMWF sans qu'ECMWF les publie sur son site ...) :

• Ce qui est ouvert et gratuit (frais de mise à disposition offerts) : https://www.ecmwf.int/en/forecasts/datasets/search/?f[0]=sm_field_dataset_urls_filter%3Afield_dataset_public_url
   
• Ce qui est ouvert et pas forcément gratuit (données gratuites en elles-même mais avec possibles frais de mise à disposition) : https://www.ecmwf.int/en/forecasts/datasets/search/?f[0]=sm_field_dataset_urls_filter%3Afield_dataset_archive_url
   
• Ce qui est ouvert (CC-BY 4.0) et gratuit* (avec 2 à 3 jours de différé, analyses + prévisions à H+6 et +12 sur des nombreux paramètres ;  H+36 (TOGA)) : https://rda.ucar.edu/datasets/ds113.1/?hash=access
  * : l'ouverture obligatoire d'un compte est gratuite

 

Licence CC-BY 4.0 : https://creativecommons.org/licenses/by/4.0/

 

Modifié 7 octobre 2020 par _sb
ortho

[Sebaas]

Il y a 5 heures, Cers a dit :

 

Oui, top. Il y a aussi les sondages.

 

J'ai pas cherché longtemps mais tu les génères comment?

[Cers]

il y a 1 minute, Sebaas a dit :

 

J'ai pas cherché longtemps mais tu les génères comment?

 

Dans la liste, avec les météogrammes, tu as aussi vertical profile

il y a 14 minutes, _sb a dit :

Le résultat est conforme à l'annonce et même un peu plus car les meteogrammes n'étaient pas sûrs initialement ... il y a un sacré effort de réalisé par rapport à ce qui existait hier encore ...

 

Oui @_sb, je ne dis pas le contraire.  

[Sebaas]

Pfiouu, y'a de la qualité

render-gorax-green-005-6fe5cac1a363ec1525f54343b6cc9fd8-7uvQYz.pdf plot_meteogram-gorax-green-009-6fe5cac1a363ec1525f54343b6cc9fd8-nVUg2q.pdf render-gorax-green-007-6fe5cac1a363ec1525f54343b6cc9fd8-rmDd4t.pdf

[Cers]

Oui, j'apprécie ces météogrammes en particulier qui sont un vrai plus, çà vient compléter les produits GEFS.

[_sb]

Les sondages sont basses résolutions, mais c'est déjà ça. Pour la prévis fines, ils permettront la comparaison avec des RS hautes résolutions (AROME, ICON, ...).

 

On peut aussi s'interroger sur ce qui pousse ECMWF a ouvrir autant les vannes. Le contexte européen impose une libéralisation des données publiques : cette discussion a déjà eu lieu avec la libéralisation des données RADOME par MF sur le topic dédié.

Les utilisateurs ont toujours envie de plus de gratuité.

Je peux comprendre aussi ECMWF qui subit la pression : ils bossent durs, inventent, conçoivent, échangent, investissent, .... Plus ils ouvrent les vannes, plus des entreprises privées pourront les concurrencer sur les produits dérivés et donc la part (entre autres choses) d'auto-financement d'ECMWF risque de diminuer. Les États membres combleront-ils les budgets pour maintenir l'organisme au très haut niveau d'aujourd'hui ?

ECMWF ne fera pas d'effort à mon avis pour ouvrir les GRIBs sans que cela lui soit imposer « d'en haut ». Cette libéralisation-ci se fera de façon progressive.

 

En contrepartie, cette ouverture sur quelques produits importants (ne faisons pas la fine bouche) permet aussi d'insuffler un peu d'air frais dans le monde de la prévis, et pas qu'amateur. Bien des entreprises privées ne se gêneront pas pour les utiliser dans leurs activités. Sur ce point, c'est positif. Le caractère omnipotent de GFS devient, je trouve, bien lourd.

 

De plus, ECMWF est clairement engagé avec les organismes météo nationaux, en premier lieu ceux des États membres. Entre autres pour une raison historique. C'est visible pour un amateur dans tout un tas d'outils, méthodes, réponses qui gravitent autour des données sources. ECMWF s'ouvre aussi à la « communauté » météo autre que scientifique.

 

Enfin, les frais de mises à disposition restent élevés, ce qui introduit une sélection par l'argent, ce qui peut être discutable. Là encore, les avis divergent.

 

Le Met'Off était aussi sur la sellette. Contraint par les directives européennes, le Brexit lui permet de s'en affranchir.

[_sb]

il y a 6 minutes, Cers a dit :

Oui, j'apprécie ces météogrammes en particulier qui sont un vrai plus, çà vient compléter les produits GEFS.

 

Et c'est là qu'on peut voir la différence avec les produits GFS/GEFS ...

Ces cartes IFS permet à ECMWF de mettre en avant ses outils (toutes ces cartes et graphes sont produits par des outils gratuits made in ECMWF sous licence libre !)

Modifié 7 octobre 2020 par _sb

[Sebaas]

Bon, en parlant d'ECMWF, n'hésitez pas à RT notre (modeste) soutien à la candidature de la France et de Toulouse pour accueillir le Centre Européen qui doit déménager de Reading pour cause de Brexit!

 

 

[_sb]

Pour ce qui est des météogrammes, on peut y accéder directement sans passer par une carte 2D et choisir ainsi directement le lieu (par le nom ou par sa lon/lat) ce qu'on peut faire aussi depuis l'ancienne interface et plus depuis la nouvelle* :

10 jours :

https://www.ecmwf.int/en/forecasts/charts/web/classical_meteogram

15 jours :

https://www.ecmwf.int/en/forecasts/charts/web/classical_extended_meteogram

 

* avec clic dans une carte 2D :

Nouvelle interface :

 

 

Ancienne interface :

 

 

 

 

Les « plumes » et les « EFI - CDF » sont très utiles aussi, accessibles depuis les cartes 2D en cliquant sur un lieu souhaité.

Modifié 7 octobre 2020 par _sb

[13008]

Très bonne nouvelle ces open datas de la part d'ECMWF ! Voici un article sur le sujet de severe weather EU même si la plupart des sujets ont déjà été abordés ici:

https://www.severe-weather.eu/global-weather/ecmwf-model-winter-forecast-free-public-access-mk/

 

[Yves70]

Peut-on accéder au profil vertical sans passer par une carte 2D ? Comme @_sb à montré pour les météogrammes, histoire de pouvoir sélectionner plus précisément une ville ou une localité 

[_sb]

Non avec la nouvelle interface (pas pour l'instant en tout cas)

Oui avec l'ancienne interface (cf capture d'écran de mon message précédent puis en choisissant « vertical profile » sous le bouton OK)

Les liens vers la nouvelle et l'ancienne interfaces sont en rouge dans ce post.

[_sb]

Première communication officielle d'ECMWF sur IFS 47r2, mise à jour intermédiaire :

https://confluence.ecmwf.int/display/FCST/Implementation+of+IFS+Cycle+47r2

 

Si tout va bien, l'impact devrait être faible en terme de prévisions. Le plus gros point sera le passage de 97 niveaux (L97) à 137 niveaux verticaux (L137) de l'ensemble. Déterministe et ensemble auront ainsi la même résolution verticale.

En revanche, en terme d'implémentations, ce sera décisif avec le passage de la double (codage des réels sur 64-bits) à la simple (codage des réels sur 32-bits) précision :

 

Citation

Research carried out at the University of Oxford, Météo-France and ECMWF has shown that it is possible to significantly reduce the arithmetic precision of many of the calculations performed in numerical weather prediction models without compromising the quality of weather forecasts. ‘Single precision’ forecasts have the advantage of being computationally less expensive than traditional ‘double precision’ forecasts.

 

La validation de cette réduction, qui aurait pu paraître paradoxale à première vue, par cette future version opérationnelle ouvrira la porte vers des changements plus profonds d'IFS pour les cycles 48 et 49 qui suivront. En effet, la simple précision retourne un gain en ressources hard- et middle- et software, pouvant grimper à 40% ! Ce gain sera alors investi dans des améliorations d'IFS : résolution horizontale de l'ensemble identique au déterministe actuel (~9km) alors que celle du futur déterministe tendrait vers les 5km, refonte profonde de la physique humide et du schéma convectif etc.

 

ECMWF semble accélérer le pas puisque ce passage double à simple précision était prévu avec la version 48r1 dans la nouvelle infrastructure de Bologne qui sera opérationnelle vers la fin de l'année prochaine. L'implémentation de la 47r2 en oper sera donc encore réalisée à Reading, environ 1 an plus tôt, et avoir sans doute le temps d'évaluer les impacts et d'apporter d'éventuelles corrections.

 

 

GEFS a également reçu quelques correctifs d'implémentation pour des « oublis » (sic) de données lors de la phase d'assimilation et lors de certains post-traitements.

Modifié 15 octobre 2020 par _sb

[_sb]

Pour info(*), la dernière RFC MEMO de la NOAA revient sur les perturbations à prévoir la semaine prochaine sur l'accès aux données depuis les serveurs NOMADS et d'autres sites de la NOAA, notamment mardi où une coupure totale des serveurs NOMADS est planifiée pour plusieurs heures.

L'accès à GFS/GEFS/UKMO/CFS/... restera possible depuis le ftp (sans les filtres NOMADS donc) : ftp://ftp.ncep.noaa.gov/pub/data/nccf/com/

 

Il est probable qu'IC télécharge les données sources depuis les NOMADS. Dans ce cas, GFS/GEFS ne seront pas disponibles durant cette intervention.

 

https://www.weather.gov/media/notification/scn20-93nomads_website_outage.pdf

 

Commentaire perso : de l'extérieur, ECMWF offre une image structurée et réfléchie là où la NOAA apporte une image brouillonne et des interventions réalisées dans l'urgence. Comme l'est nombre de leurs outils, souvent très bons mais hétéroclites.

[_sb]

Le 14 octobre, le modèle sous-tendant l'EFAS (European Flood Awareness System) et tous les produits générés ont été mis à jour vers la version majeure numérotée 4. En revanche, les données (brutes ou post-traitées) sont toujours en différé de 30 jours pour le public ... En détail, cela donne :

https://confluence.ecmwf.int/display/COPSRV/Latest+operational+release%3A+EFAS+v4.0

 

https://www.efas.eu/efas_frontend/#/home

[Pan]

.

Modifié 26 août 2023 par Pansa

[_sb]

Salut !

Les différents « sons de cloches » sur un même évènement, les déclarations des uns contredites par celles des autres, des erreurs qui ne devraient pas avoir lieu (l'implémentation du dernier GEFS par exemple : deux semaines après, GEFS était déjà en version 12.0.1 pour pouvoir inclure entre autres une correction sur un script de base des données d'assimilation), là les serveurs NOMADS coupés demain pour une mise à jour car plusieurs variables devenaient inaccessible dans le grib_filter avec les récentes maj qui ont accompagné GEFS v12 comme si les changements en amont n'avaient pas été anticipé, etc... Rien de précis vraiment, mais un faisceau diffus de petites choses. Comme j'écrivais, c'est l'image offerte (sous-entendu, la réalité peut être toute autre).

Après, l'organisation est distribuée : cela donne beaucoup de souplesses et de libertés, tant dans la recherche, le développement, l'implémentation et ... la communication !

 

À l'inverse, ECMWF est centralisé et ça se ressent : ça n'empêche ni souplesse ni liberté mais elles sont d'une autre façon.

 

Ceci dit, pour y avoir été de l'intérieur, tu as sans doute un autre regard.

Modifié 19 octobre 2020 par _sb

[_sb]

C'est nouveau / récent cet accès public chez MF, non ?

https://donneespubliques.meteofrance.fr/?fond=produit&id_produit=293&id_rubrique=51

 

Exemple en 30s avec MV, téléchargement inclus : probabilités de RR/24h

 

 

Les champs disponibles sont intéressants (oui, ils sont déjà dispos sur meteociel mais avec les fichiers sources, on peut travailler sur ces données selon les besoins et les contextes). Les paramètres disponibles sont décrits dans Documentation / Descriptif des champs.