Création de cartes suivant les modèles

[jefnewtech]

Amateur belge de météorologie, j’ai le désir de créer mes propres cartes selon les modèles météo. 

J’aimerai créer des belles cartes comme le font Infoclimat et meteociel.

 

tout ce que je sais pour le moment c’est que j’ai besoin des fichiers grib qui sont disponible gratuitement grâce à l’openData. 

 

Pourriez-vous s’il vous plaît m’aider dans cette démarche afin d'agrémenter mon site meteowapi.be de mes propres carte basé sur la région Wallonie picarde 

 

une ne sorte de Tuto pas à pas serai la bienvenu afin qu’au terme du projet tout ce fasse automatiquement à partir de mon serveur. 

 

je vous en remercie d’avance 

Modifié 22 juin 2019 par jefnewtech

[_sb]

Bonjour et je te souhaite la bienvenue sur InfoClimat !

 

Il y a plusieurs formats de fichiers pour les données météo mais le GRIB (1 et 2, il y a deux versions) est le format le plus courant. C'est un format binaire, c'est-à-dire qu'il est nécessaire d'utiliser des programmes qui vont traduire le contenu de ces fichiers en données exploitables pour des cartes. Autrement dit, tu ne peux pas les exploiter directement.

As-tu déjà manipulé un fichier GRIB sur ton ordinateur personnel et visualiser les données qu'il contient via un logiciel ?

 

À ma connaissance, il n'y aucun programme qui fait cela de façon automatique. C'est une succession de programmes qui s'enchaînent. Il est nécessaire d'avoir des connaissances en programmation (a minima en script). PHP et Javascript ne te serviront pas. Python peut être utile, comme langage de programmation généraliste, il possède de nombreuses bibliothèques dédiées sinon il y a du langage spécifique à utiliser à un moment ou à un autre de la chaîne.

C'est déjà un des principaux pré-requis.

 

Perso, j'ai une approche très scripté, je ne te serai pas d'une grande aide pour un pas à pas (et honnêtement cela me prendrait trop de temps) mais je pourrais t'aider ponctuellement.

 

Peut-être d'autres ICéens ont des outils prêts à l'emploi ? Ou des méthodes simples (autres que repiquer les cartes générées par d’autres !) ?

 

Bon courage !

[jefnewtech]

Merci pour ta réponse. 

 

J’ai bien vue dans mes recherches qu’il fallait manipuler plusieurs programme pour arriver à une résultât correcte. 

 

Cela ne me pose pas de problème, même le Language phyton ne me dérange pas. 

 

J’utilise XyGrib pour voir un peut comment manipuler les Gribs. 

 

J’espère que quelqu’un saura ma guider pour réaliser de belles cartes pour ma Wallonie picarde 

 

merci 

[Higurashi]

Il y a 21 heures, _sb a dit :

À ma connaissance, il n'y aucun programme qui fait cela de façon automatique.

 

Perso, j'ai utilisé IDV pour sortir quelques données (initialement pour des fichiers NetCDF, mais ça fonctionne aussi pour le format GRIB). Ça ne nécessite aucune connaissance en programmation. Il y'a plusieurs programmes de ce type, après on s'en contente ou pas.

 

C'est clair qu'on obtient de meilleurs visuels avec des outils comme Python ou R. Mais il faut mettre les mains dans le cambouis comme dirait l'autre (très peu pour moi ). 

[_sb]

Oui IDV ou Panoply de la NASA, assez complet, ou encore XyGrib, le successeur de ZyGrib ou bien sur GrADS / OpenGrADS que j'utilise beaucoup et qui a l'avantage d'être scriptable, sont des outils pour visualiser les GRIB (et autres formats connexes) mais ils ne permettent pas d'automatiser la création des cartes et leurs stockages sur  un serveur en toute autonomie (GrADS peut le faire en partie => écriture de scripts => programmation minimale).

[Higurashi]

il y a 25 minutes, _sb a dit :

(GrADS peut le faire en partie => écriture de scripts => programmation minimale).

 

Ce n'est pas aussi le cas d'IDV ?

Comme dit, je n'utilise pas les outils de scripts, mais il me semblait que c'était envisageable. 

[_sb]

Je regarderais à l'occasion mais je n'avais pas vu. Je l'utilise rarement, parfois j'ai la flemme de scripter GrADS pour quelques cartes et j'utilise Panoply qui, parfois ne propose pas ce que je veux et je me tourne alors vers IDV. Du coup, je ne connais pas ses fonctions avancées éventuelles.

Après, il y a MetView d'ECMWF qui est sympa car très très modulaire, peut-être moins lourd que les autres comparativement à ces possibilités mais qui est très peu documenté (c'est fastidieux d'aller quémander l'information au help user d'ECMWF) et pas évident à prendre en main (aspect modulaire justement, à la fois très pratique et « inhabituel »).  Mais c'est une tout autre catégorie (plutôt une suite logicielle pro d'ailleurs) et éloignée du but de jefnewtech)!

 

 

À notre ami belge, tu comptes utiliser GFS ? Si oui, as-tu l'habitude des filtres sur NOMADS, pour commencer ce serait déjà bien, tu n'aurais que les données que tu souhaiterais afficher pour le domaine que tu auras choisi (une partie de la Wallonie ?) ? UKMO et GEM sont dispos aussi sur les NOMADS (repackagés pour le coup).

 

Si ton serveur est sous Debian (même s'il est sous une autre distibution GNU Linux), tu peux essayer de te documenter à partir de cette base et voir si des outils t'inspire.

https://blends.debian.org/science/tasks/meteorology

En fait, je me rends compte que je ne saurais pas où commencer un tel pas à pas...

 

[jefnewtech]

A part XyGrib je n’ai encore rien utilisé. Ce que je cherche c’est pouvoir créer des cartes comme le font Infoclimat et meteociel à partir des fichiers gribs pour les modèles disponible gratuitement. 

 

Même si ce n’est pas automatique et que je dois jouer du script pour y parvenir je suis preneur à partir du moment où on sais m’expliquer de À à Z comment y parvenir. 

 

 

[Higurashi]

@_sb Oui, de toute manière cela sort de mon domaine de compétence, je ne vais donc pas m'étendre. 

Merci d'avoir pris le temps de répondre en tout cas  

[matmar]

Le 24/06/2019 à 16:28, jefnewtech a dit :

A part XyGrib je n’ai encore rien utilisé. Ce que je cherche c’est pouvoir créer des cartes comme le font Infoclimat et meteociel à partir des fichiers gribs pour les modèles disponible gratuitement. 

 

Même si ce n’est pas automatique et que je dois jouer du script pour y parvenir je suis preneur à partir du moment où on sais m’expliquer de À à Z comment y parvenir. 

 

 

 

Perso pour GFS (données téléchargées ici https://nomads.ncep.noaa.gov/cgi-bin/filter_gfs_0p25.pl) je fais:

1. wgrib2 vers base de donnée MySQL spatiale (avec "Wgrib2 for Windows"), en insérant les valeurs (TMP.2m_above_ground par exemple) + des "geometry"

2. Puis ensuite, avec les données en DB, je lance gdal_grid.exe (qui est fourni gratuitement avec QGIS) pour l'interpolation spatiale afin de générer un fichier Geotiff raster.

3. Librairie Java ImageIO pour générer de jolies images png depuis le Geotiff. Ci-dessous.

Tout ça lancé toutes les 6 heures via un ordonnanceur pour récupérer le dernier run (0Z, 6Z, 12Z, 18Z).

 

[jefnewtech]

Merci pour l’info ça m’a l’aire chaud à faire d’autan que je suis sur Mac 

 

 

[_sb]

Ce qui compte est le système d'exploitation de ton serveur. 

[jefnewtech]

Merci pour vos réponse. 

 

Savez-vous où je peut trouver un script qui télécharge les fichier grib ? 

 

J’aimerai télécharger le modèle ICON-eu ? 

[_sb]

Tu peux t'orienter par là : https://s3.eu-central-1.amazonaws.com/dwd-pds-help/dwd-icon-global-pds-help.html que le DWD maintient.

 

J'ai fait des scripts perso mais tu peux les télécharger via un script Python ou via curl.

Pour le décodage, faut bien lire la doc,les GRIB ne sont pas construits de la même manière que pour GFS, où la doc est plus fournie mais généralement inutile pour ICON.

https://opendata.dwd.de/weather/tree.html

 

[matmar]

Tu dois coder un script qui:

 

1. Défini le "run" en cours.

Par exemple:

- 20190708 - 0Z pour aujourd'hui entre 6h et midi (heure locale)

- 20190708 - 6Z pour aujourd'hui entre 12h et 18h (heure locale)

- 20190708 - 12Z pour aujourd'hui entre 18h et minuit (heure locale)

- 20190708 - 18Z pour aujourd'hui entre minuit et 6h demain (heure locale)

 

2. Génères l'url de téléchargement du fichier wgrib2 ci-dessous , si tu choisis la prévision "Température 2m":

- pour T+0h: https://s3.eu-central-1.amazonaws.com/dwd-icon-eu-pds/index.html?prefix=20190708/12/t_2m/icon-eu_europe_regular-lat-lon_single-level_2019070812_000_T_2M.grib2.bz2

- pour T+1h: https://s3.eu-central-1.amazonaws.com/dwd-icon-eu-pds/index.html?prefix=20190708/12/t_2m/icon-eu_europe_regular-lat-lon_single-level_2019070812_001_T_2M.grib2.bz2

... etc...

 

3. Lance le téléchargement du fichier (chaque langage à sa "fonction") pour télécharger un fichier depuis http

 

4. Décompresser le fichier, car il est au format bz2, et voilà tu as ton fichier wgrib2.... ouf! ça c'était facile... mais la suite est encore longue et un peu plus complexe.