Traçage de cartes via grib

[meteo-melin]

Bonjour à tous,

 

Je ne sais pas si ce sujet est posté au meilleur endroit, libre à vous de le déplacer.

 

Je souhaiterais savoir si quelqu'un a de l'expérience en traçage de cartes météo ayant les fichier grib comme source.

 

Je pense orienter mon système vers Python avec les librairies pygrib, matplotlib etc

Cependant, je ne trouve pas beaucoup de documentation ou de code détaillé sur internet.

Quelqu'un aurait-il déjà creusé un peu le sujet et aurait un exemple de script à partager?

Je chercher a tracer des cartes "pleines" avec de temps à autres les courbes Iso.

Ma demande ne concerne que le trcage des cartes, le téléchargement des gribs est opérationnel.

 

Merci pour votre retour

[Fred59_]

En python:

https://scitools.org.uk/cartopy/docs/latest/gallery/scalar_data/waves.html#sphx-glr-gallery-scalar-data-waves-py

https://scitools.org.uk/cartopy/docs/latest/gallery/scalar_data/contour_labels.html#sphx-glr-gallery-scalar-data-contour-labels-py

[_sb]

Salut !

 

Il y a 15 heures, meteo-melin a dit :

Je pense orienter mon système vers Python avec les librairies pygrib, matplotlib etc

 

Pour préciser, ton objectif est-il de la production opérationnelle ? De la climatologie ? Pour des recherches personnelles ? etc

Python est très bien et est très utilisé dans le domaine scientifique avec de nombreuses libs.

Il est très souple, facile à prendre en main (quel est ton niveau en programmation ?). L'inconvénient majeur est sa lourdeur en prod opé, en partie dû au fait que c'est un langage interprété (des efforts ont été faits sur la génération du byte-code mais ça reste relativement lent). La génération peut donc être lent.

Cette lenteur dépend de nombreux paramètres, notamment du type de données (grib / nc, tailles des gribs ou des nc, domaines (France, Europe, Globe, ...), résolution horizontale / verticale, etc) et de ce que tu fais avec ces sources : s'il s'agit uniquement de tracer les cartes sans aucun post-traitement ni calcul, ça peut aller vite (une isoligne, type Z500, sera générée plus vite qu'une flèche de vent). Si tu entreprends des calculs / post-traitements en sus, les temps peuvent (ou non, c'est selon ce que tu demandes) être considérablement allongés. Dans ce cas, limiter strictement les données entrantes au domaine et aux niveaux verticaux souhaités est déjà une bonne idée.

 

Rien à redire sur les libs cités. Elles demandent un peu plus de mains dans le cambouis.

Du facile à prendre en main, tu as Python avec Metview, d'ECMWF, sans avoir besoin de passer par l'interface graphique. C'est assez lent mais les rendus sont ceux du site d'ECMWF. De plus, l'équipe de développement est réactive et répond facilement aux sollicitations.

 

Hors Python et assez facile à en prendre main, tu as GrADS, totalement éprouvé depuis des décennies, stable et rapide (par rapport à tout ce qui précède). Les rendus font un peu moins modernes (c'est affaire de goût). L'équipe de dev et la communauté sont réactives.

 

Voilà quelques considérations générales ...

 

[Pan]

.

Modifié 26 août 2023 par Pansa

[_sb]

Oui, MetPy est une bonne solution, avec un peu plus de programmations que mv. Après, à mes humbles expériences, les solutions de plus hauts niveaux (style mv) sont généralement plus simples d'approche alors que les solutions de plus bas niveaux (metpy ou matplotlib) permettent plus de finesses.

 

Pour compléter les liens de Fred :

https://confluence.ecmwf.int/display/CKB/How+to+plot+GRIB+files+with+Python+and+matplotlib

https://xarray.pydata.org/en/stable/examples/ERA5-GRIB-example.html

 

Selon ce que tu cherches à faire, la toolbox du CDS peut être une solution tout à fait valable :

https://cds.climate.copernicus.eu/cdsapp#!/toolbox

 

[meteo-melin]

Bonjour à tous,

 

Merci pour vos réponses

 

Cela serait utiliseutilisé pour un projet personnel.

Actuellement j'utilise déjà Grads mais je trouve qu'il devient très lourd en maintenance et en plus j'ai énormément de mal a travailler avec les grib Arome. J'avais trouve une solution qui consistait à convertir les grib et netcdf mais depuis quelques temps ça be fonctionne plus comme je voudrais. Je vais essayer les quelques lien que vous avez donnés.

N'hésitez pas si vous avez de bout de code à partager

[_sb]

Le plus lourd avec GrADS, je trouve, est le passage par les fichiers ctl et idx qui ajoute du temps CPU et du temps E/S. La mise à jour est plutôt simple.

En revanche, si les serveurs (typiquement ceux de la NOAA dont les NOMADS mais ce ne sont pas les seuls) auxquels tu te connectes supportent le protocole OPeNDAP, ça peut simplifier beaucoup les choses et gagner en ressources matérielles.

http://cola.gmu.edu/grads/gds/doc/user.html

https://nomads.ncep.noaa.gov/txt_descriptions/DODS_doc.shtml

https://psl.noaa.gov/data/gridded/using_dods.html

 

Arlindo da Silva vient d'annoncer aujourd'hui la publication de la première version de PyGrADS en python3.

 

Citation

All,

   I have uploaded to sf.net a new version of PyGrADS v3.0.b1:

https://sourceforge.net/projects/opengrads/files/python-grads/3.0.b1/

This is the first Python 3 version; support for Python 2 has been dropped.
GaLab (which depends on Basemap) is still included in this release but it
is scheduled to be replaced by similar functionality (based on cartopy) now
that Basemap is being deprecated (end-of-life, really).This release has
been verified to work with the anaconda (Python 3.8.5, IPython 7.18.1).

  Although I have plans to use Brian & Jennifer's GrADSPy within pygrads,
this is still an entirely "pure python", thread safe, python interface to
GrADS.

  Enjoy!

     Arlindo

 

Tu peux donner un exemple concret de ce que tu souhaites faire, ça serait peut-être plus simple ?

[Matpo]

Juste une remarque au passage, convertir les cartes en grib ça se fait facilement ? 

[_sb]

Les cartes en fichiers grib ???

Ça ne sera pas précis. Schématiquement, la première étape consiste à extraire l'information : typiquement pour chaque point de la carte, les coordonnées x,y sur la carte + la couleur associée (en supposant un seul paramètre sur la carte ...). Ensuite convertir les coordonnées 2d x,y en coordonnées de grille (en restant au plus simple, latitude et longitude) en fonction de la projection utilisée pour la carte (polaire, cylindrique, lambert, etc) et convertir la couleur en une valeur en fonction de l'échelle de couleurs. Enfin, enregistrer l'ensemble dans le format binaire d'un grib (ce serait la partie la plus simple).

Ça fait beaucoup de trucs pour un résultat peu précis. La question serait donc plutôt : quel serait l'intérêt de cette conversion ?

[Matpo]

il y a 22 minutes, _sb a dit :

La question serait donc plutôt : quel serait l'intérêt de cette conversion ?

Router sur Gefs 😅voire ifs mais faut pas rêver

Merci de ta précision en tout cas @_sb je vois mieux comment ça marche maintenant

Modifié 7 juillet 2021 par Matpo

[_sb]

Le NCEP fournit déjà les gribs de GEFS, inutile d'essayer de les recréer à partir d'une base infiniment moins précise

Pour IFS, l'AEMET (la météo espagnole) fournit certains paramètres d'IFS en open data sous forme de GéoPoints ou GeoTiffs selon le paramètre. C'est un peu (beaucoup) bordélique mais avec de la patience et des connaissances, ce doit être réalisable. Après, la précision n'est pas forcément aux rendez-vous, l'AEMET les fournit à une résolution horizontale la plus souvent dégradée.

http://www.aemet.es/fr/eltiempo/prediccion/modelosnumericos/harmonie_arome/ayuda

[Matpo]

Génial je savais pas ! Merci @_sb

Si tu le permet je vais partager ton message sur le forum concerné pour la team IC et sur le discord team, peut être que certains auront des compétences pour exploiter ça

[_sb]

Je ne connais pas, je viens de tomber par hasard dessus :

https://github.com/ecmwf/climetlab

 

Citation

CliMetLab is a Python package aiming at simplifying access to climate and meteorological datasets, allowing users to focus on science instead of technical issues such as data access and data formats. It is mostly intended to be used in Jupyter notebooks, and be interoperable with all popular data analytic packages, such as Numpy, Pandas, Xarray, SciPy, Matplotlib, etc. and well as machine learning frameworks, such as Tensorflow, Keras or PyTorch.

 

Doc :

https://climetlab.readthedocs.io/en/latest/index.html