Weather-Data

[hermouparis]

Bonjour !

Je viens ici vous présenter un nouveau petit projet web🙃.

Après avoir badigeonné dans la farine pendant longtemps pour créer mon propre site de prévisions automatisées, je me suis dit qu'il était temps de proposer les données des modèles météo de manière à les rendre rapidement ET facilement utilisables.

Même si j'espère que le site aura d'autres vocations (en particulier proposer des prévisions brutes, des cartes, etc...), ce que je voulais absolument voir émerger est terminé (ou plutôt commencé) : une API qui permet de récupérer les données des modèles !

 

Pour l'instant seulement 4 modèles sont dispo : gfs 0.25°, arpege 0.1°, icon France et cosmo. Les données sont distribuées au format json et la limitation d'utilisation est de 1000 requêtes/jour (tout est expliqué dans la documentation http://weather-data.org/api ).

Le résultat ressemble à cela :

 

J'ai essayé de proposer les paramètres les plus courants, mais si vous pensez qu'il manque des choses importantes, n'hésitez pas à demander !

Je devrai ajouter arome 0.01° et gefs 1° avec toutes les perturbations d'ici le début de semaine prochaine...

 

J'ai créé un token de test (lui aussi limité à 1000req/j) si vous voulez jeter un coup d’œil sans vous embêter : http://weather-data.org/api/get?model=icon-eu&lat=48.8666&lon=2.3333&token=W_000_test_000_D

Si vous avez des suggestions, n'hésitez pas !

Modifié 14 octobre 2019 par hermouparis

[fiflot]

Super travail, merci à toi, par contre je ne comprends pas les valeurs de température, ex(temperature": {"2 m above ground": 284.282, "surface": 284.64},) , comment retrouver la vraie valeur et ou puis-je trouver la signification de certaines abreviations, ex (DLWRF,DSWRF,ect ect), merci

[Sebaas]

En sortie de modèles, les données de températures sont en degrés Kelvin.

[fiflot]

il y a 43 minutes, Sebaas a dit :

En sortie de modèles, les données de températures sont en degrés Kelvin.

Super grand merci à toi Sebaas

[hermouparis]

Salut ! En effet je vais sans doute ajouter une indication d'unité, parfois c'est un peu ambigu, à voir si ça n'explose pas trop le temps d'affichage...

En revanche toutes les abréviations vont être explicitées, il faut juste que je mette à jour la base de données qui les traduit ! Dans ton cas il me semble que ce sont des données de flux solaires et d'évaporation, je suis pas sûr que ça intéresse grand monde pour l'instant. Si vraiment ça presse ou que tu retombes sur des abréviations non traduites plus tard, tu peux fouiller par ici : https://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_doc/grib2_table4-1.shtml

[fiflot]

il y a 43 minutes, hermouparis a dit :

Salut ! En effet je vais sans doute ajouter une indication d'unité, parfois c'est un peu ambigu, à voir si ça n'explose pas trop le temps d'affichage...

En revanche toutes les abréviations vont être explicitées, il faut juste que je mette à jour la base de données qui les traduit ! Dans ton cas il me semble que ce sont des données de flux solaires et d'évaporation, je suis pas sûr que ça intéresse grand monde pour l'instant. Si vraiment ça presse ou que tu retombes sur des abréviations non traduites plus tard, tu peux fouiller par ici : https://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_doc/grib2_table4-1.shtml

 

Merci, oui le principal pour ma part, ce sont les températures, pressions, vent, direction, couverture nuageuse et précipitations, le reste me dépasse 

[Cotissois 31]

Bonjour,

Votre API est intéressante,

Comment on lit les données JSON hors de la fenêtre web ?

De plus, quelle est la méthode d'extraction pour une longitude/latitude quelconque sachant que les grilles sont discrétisées ? (plus proche voisin ? interpolation ?)

Modifié 15 octobre 2019 par Cotissois 31

[hermouparis]

Bonsoir !

Le format JSON est intéressant car tu peux facilement exploiter les données avec un language informatique (js, php pour le web par exemple). En général il existe des fonctions/modules qui te permettent de facilement transcrire le json en variables du language. 

 

En effet le point utilisé est le plus proche voisin (cf model_longitude et model_latitude dans la section "geography").

[hermouparis]

Du coup j'ai ajouté les unités !

J'ai aussi mis en route GEFS 1°, je me suis rendu compte dans le même temps que l'échéance était bloquée par défaut à 78h quel que soit votre choix... Du coup c'est modifié et le choix de [term] sera visible (384h par défaut, pour les modèles qui vont aussi loin, si le paramètre n'est pas précisé) !

Toutes les pertus et le run de contrôle (pertu "0") sont dispo jusqu'à h+384, par pas de 6h. J'ai pas mis d'outil pour filtrer les pertus, je verrai peut-être plus tard. Ça peut être sympa pour faire des graphiques rapidement sans se casser la tête

 

Tout cela est visible par exemple ici : http://weather-data.org/api/get?model=gefs-1-ens&lat=45.566&lon=8.9222&token=W_000_test_000_D&term=192

[hermouparis]

Bonjour,

Les packages essentiels d'AROME sont enfin dispo, désolé pour la lenteur^^

Un petit exemple : http://weather-data.org/api/get?model=arome-0.01&lat=45.566&lon=1.3222&token=W_000_test_000_D

Je vois par ailleurs qu'un des paramètres apparaît sous le nom "NULL", il doit s'agir de la réflectivité, je verrai ça plus tard !

[Orage 33]

Salut,

 

On avait discuter il y a quelques années sur ce sujet. 

 

Actuellement je suis entrain de bosser sur un projet un peu similaire, l'application devrait sortir dans quelques semaines. Je bosse sur la partie front tout le process de récupération des données est fait.  J'ai branché Arome France (2.5km) pour le moment, ça représente environ 36 millions de données pour les 4 runs sachant que j'extrais seulement la France. Les modèles Arpege et Arome HD (1.5km) seront branchés. 

 

Perso je suis parti sur du MongoDB sur un serveur dédié mais je n'ai pas le même temps de réponse que ton api (sans cache je suis à 1s de temps de réponse et avec cache je dois être à 400ms), j'ai une collection par modèle et j'utilise du Geospatial. 

 

Une petite question technique tu utilises quoi comme BDD de stockage ?

 

Après pour ma part comme un naze j'ai pris un serveur SATA et non SSD, je vais le changer le mois prochain donc théoriquement ça devrait aller beaucoup plus vite

 

Ludovic

 

[hermouparis]

Salut ! Désolé pour la réponse si tardive. J'utilise pour l'instant MySQL (ou plutôt MariaDB) avec un SSD en effet. Bon courage pour la suite du développement de ton projet

 

Concernant Weather-Data, les données étaient régulièrement indisponibles auparavant car le disque était rapidement plein. J'ai résolu ce problème ces derniers jours avec un système plus efficace de suppression des données obsolètes. Tout devrait être dispo 24h/24 désormais

Modifié 23 décembre 2019 par hermouparis

[hermouparis]

Salut salut !

Petit passage par ici pour préciser que le site n'est pas mort😁. J'en ai d'ailleurs profité ces derniers jours pour mettre un peu en forme les données distribuées sur l'API. Le résultat est largement améliorable mais c'est déjà utilisable pour certains paramètres (juste au niveau du temps sensible il manque pas mal de cas...) et est dispo ici pour le modèle AROME : http://weather-data.org/forecasts/tables/arome-0.01?lon=2.3488&lat=48.85341

 

N'hésitez pas à vous amuser avec le moteur de recherche qui fonctionne avec Geonames, du coup il y a pas mal de coins insolites accessibles (sommets notamment) voire carrément modifier les coordonnées GPS à la main🤠

 

A+

[Seziou / Zarge ©]

Mmmmmmmm ça m'intéresse dans le cadre des recherches sur les modèles AGRO ça

C'est toi même qui développe les codes pour te connecter aux différents serveurs et récupérer tout ça ? 

 

J'ai pleins de sources si tu veux

[hermouparis]

Yep c'est bien ça !

Si tu as des besoins spécifiques on peut s'arranger effectivement pour que j'ajoute quelques modèles, le seul truc c'est que la capacité de stockage du serveur n'est pas ouffissime donc pour des mailles vraiment fines ça va être chaud.

N'hésite pas à me MP 😀

Modifié 28 février 2020 par hermouparis

[hermouparis]

Bonsoir !

J'ai profité d'un peu de temps libre pour améliorer légèrement la visualisation graphique des données sous forme de tableaux.

Il y a désormais + de facilités pour switcher d'un modèle à l'autre grâce au petit menu déroulant sous "Modèle".

De plus, concernant COSMO, il y avait beaucoup de valeurs manquantes car seules les précipitations sont délivrées par pas de 15mn. Du coup, pour donner l'illusion d'une prévision complète par pas de 15mn, j'ai fais de petites régressions linéaires entre les données : le résultat n'est pas exceptionnel mais ça a le mérite d'être plus agréable à lire.

Par ici si vous voulez tester : http://weather-data.org/forecasts/tables/cosmo-d2?lon=2.3488&lat=48.85341

J'ai vu qu'il y avait quelques mélanges d'échéances sur ARPEGE ce qui donne des températures un peu farfelues... J'essaierai de résoudre ce problème très prochainement. C'est le seul modèle où les données sont défaillantes, tout est opérationnel pour le reste !

 

Bonne continuation et bon courage en ces temps difficiles, et surtout comme d'habitude n'hésitez pas si vous avez des questions ou suggestions

[_sb]

Salut,

COSMO ? Lequel, D2 si j'en crois la page de ton API mais ce n'est pas indiqué sur la page que tu cites ci-dessus.

De plus, lorsque j'ai voulu voir ce qu'il en était de ton API, je suis tombé sur cette erreur en cliquant sur « Download OpenAPI specification:Download »

 

Citation

SyntaxError: JSON.parse: expected double-quoted property name at line 106 column 19 of the JSON data

 

[hermouparis]

Salut !

J'ai réglé les deux soucis, en effet il s'agit de cosmo-d2 et il y avait une petite virgule en trop dans le json décrivant l'api.

 

Cela dit, c'est plutôt par simple formalisme que je laisse dispo ce fichier json : il ne délivre guère plus d'infos que la documentation et il faut, à mon sens,  particulièrement s'ennuyer pour essayer d'utiliser l'API en ne lisant que ces spécifications plutôt que la doc, beaucoup plus lisible. Remarque, c'est vrai qu'en ce moment, ...

 

A+

[_sb]

C'est clair, j'ai simplement cliqué par curiosité !

[_sb]

J'ai pris deux minutes pour regarder.

 

http://weather-data.org/api/get?lat=45&lon=12&term=24&model=icon-eu&token=...

Ok, j'ai mes données. Existe-t-il une liste des paramètres fournis ? Peut-on les choisir ?

Peut-on récupérer les données sur une surface plutôt qu'un point ? j'ai essayé mais sans succès.

Quelques commentaires de première approche ...

C'est un projet intéressant, une belle interface, bonne continuation !

[hermouparis]

Salut !

Non, j'ai pas fait de liste des paramètres modèle... Serait-ce vraiment utile ? La plupart des paramètres sont affichés de manière très compréhensible dans le json, en plus l'unité écarte le doute en général.

Maintenant, si quelqu'un en exprime le souhait ici, je peux tout à fait le faire, ça ne prendrait pas non plus des plombes...

 

On ne peut en effet pour l'instant pas choisir uniquement certains ou un seul paramètres, tout comme on ne peut pas choisir plusieurs modèles ou tous à la fois, mais ces fonctionnalités-là sont par contre prévues d'être implantées prochainement.

 

Récupérer les données sur une surface, vu le temps d'affichage des données pour un seul point, cela voudrait dire que la personne qui utilise cette éventuelle fonctionnalité devra avoir son propre système de stockage des données de son côté. Or là le but de l'API est plutôt de permettre d'afficher les données sur le site tiers "à l'instant" où elles sont récupérées depuis l'API, autrement dit sans avoir besoin d'un quelconque stockage pour faire un site de prévision.

Cela dit, je comprends à nouveau que ce type de produit puisse intéresser. Honnêtement, ce n'est pas dans mes plans pour l'instant (après, si quelqu'un sort le chéquier, on peut toujours s'arranger😁😁).

 

Merci pour ton retour (très pertinent!)

 

J'ai encore un peu bossé sur l'interface graphique, j'ai au passage récupéré le certificat https (le http reste toujours accessible mais il peut y avoir quelques soucis d'affichage des images notamment, je forcerai bientôt la redirection du http ver https).

Il y a désormais possibilité de géolocalisation en cliquant sur le petit drapeau à droite du champ de recherche. Il y avait aussi un bug des températures (aussi sur l'API !) avec ARPEGE, la Tmax était bien souvent affichée en lieu et place de la T horaire... ARPEGE est donc désormais pleinement exploitable, que ce soit pour regarder la prévi sur https://weather-data.org/forecasts/tables/arpege-0.1?lon=2.3488&lat=48.85341

ou pour récupérer les données sur l'API

 

Bonne soirée !

[Orage 33]

Salut,

 

Dit moi tu prends quelle paramètre pour les précipitations horaires pour Arome 0.25° ? Car moi j'ai que les cumuls depuis le début du run et pas le taux horaire

 

Merciii d'avance

Modifié 20 avril 2020 par Orage 33

[hermouparis]

Salut !

Oui pour AROME j'ai aussi le cumul depuis t0. Mais ce n'est pas un problème, une petite soustraction entre deux échéances successives et ton problème devrait être vite réglé 😜.

Pas de soucis .

[Orage 33]

Il y a 4 heures, hermouparis a dit :

Salut !

Oui pour AROME j'ai aussi le cumul depuis t0. Mais ce n'est pas un problème, une petite soustraction entre deux échéances successives et ton problème devrait être vite réglé 😜.

Pas de soucis .

 

Yes c'est ce que j'avais fait mais c'est dommage qu'il ne le propose pas. J'ai vu que tu avais les données ICON, tu récupères les grids sur quelle serveur ? 

 

En tout cas beau boulot. Je bosse toujours sur mon appli de mon coté. J'ai juste toujours un problème de performance, à la lecture des données dans MongoDB, c'est très long > 10sec pour récupérer les data sur 42h. Pourtant tout est bien indexé, mais la collection est un peu grosse > 36millions de documents, je vais voir pour splitter une collection par RUN. 

 

Ludovic

[_sb]

Il y a 3 heures, Orage 33 a dit :

Yes c'est ce que j'avais fait mais c'est dommage qu'il ne le propose pas.

 

Déjà beaucoup de choses sont proposées en open data

 

Il y a 3 heures, Orage 33 a dit :

J'ai vu que tu avais les données ICON, tu récupères les grids sur quelle serveur ? 

 

GRIBs !

 

ICON, ICON ENS, ICON-EU, ICON-EU ENS, COSMO D2 et COSMO D2 ENS sont mis en open data par le DWD, du moins pour un grand nombre de champs : https://opendata.dwd.de/weather/nwp/

et la doc qui va avec : https://www.dwd.de/DWD/forschung/nwv/fepub/icon_database_main.pdf (en anglais)

peut-être moins utile, selon ce que tu veux faire : https://code.mpimet.mpg.de/attachments/download/19568/ICON_tutorial_2019.pdf

 

La totalité des données en open data du DWD est accessible ici (le chargement de la page peut être long car la liste contient des milliers d'entrées) : Opendata DWD liste complete

Les COSMO D2 sont disponibles en fichiers GRIB mais aussi JSON, peut-être plus pratique pour vous mais beaucoup moins de champs que dans les GRIB.

Les autres modèles sont en fichiers GRIB uniquement.

Attention les champs d'altitude sont généralement fournis en niveau du modèle (model level) et non en niveau de pression (sauf les GPT nommés « FI » et l'HR) : c'est plus précis (plus proche de la sortie réelle du modèle) mais la manipulation est différente. Enfin, le DWD diffuse ICON dans sa grille native (icosahedral), les outils habituels nécessitent de les convertir (les outils du CDO sont faits pour ça) en grille régulière latitude-longitude.

 

Si je me souviens bien, OpenSkiron post-traite les sorties brutes du DWD sur quelques champs de surface en grille régulière lat-lon classique : https://openskiron.org/en/icon-gribs