Jump to content
Les Forums d'Infoclimat

Ce tchat, hébergé sur une plateforme indépendante d'Infoclimat, est géré et modéré par une équipe autonome, sans lien avec l'Association.
Un compte séparé du site et du forum d'Infoclimat est nécessaire pour s'y connecter.

Weather-Data


Recommended Posts

Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Bonjour !

Je viens ici vous pr√©senter un nouveau petit projet webūüôÉ.

Après avoir badigeonné dans la farine pendant longtemps pour créer mon propre site de prévisions automatisées, je me suis dit qu'il était temps de proposer les données des modèles météo de manière à les rendre rapidement ET facilement utilisables.

M√™me si j'esp√®re que le site aura d'autres vocations (en particulier proposer des pr√©visions brutes, des cartes, etc...), ce que je voulais absolument voir √©merger est termin√© (ou plut√īt commenc√©:D) : une API qui permet de r√©cup√©rer les donn√©es des mod√®les !

 

Pour l'instant seulement 4 mod√®les sont dispo : gfs 0.25¬į, arpege 0.1¬į, icon France et cosmo. Les donn√©es sont distribu√©es au format json et la limitation d'utilisation est de 1000 requ√™tes/jour (tout est expliqu√© dans la documentation¬†http://weather-data.org/api ).

Le résultat ressemble à cela :

image.thumb.png.61a56c0571185a23ec18992447c0f13b.png

 

J'ai essayé de proposer les paramètres les plus courants, mais si vous pensez qu'il manque des choses importantes, n'hésitez pas à demander !

Je devrai ajouter arome 0.01¬į et gefs 1¬į avec toutes les perturbations d'ici le d√©but de semaine prochaine...

 

J'ai cr√©√© un token de test (lui aussi limit√© √† 1000req/j) si vous voulez jeter un coup d‚ÄôŇďil sans vous emb√™ter : http://weather-data.org/api/get?model=icon-eu&lat=48.8666&lon=2.3333&token=W_000_test_000_D

Si vous avez des suggestions, n'hésitez pas !

Edited by hermouparis
  • J'aime 1
  • Merci 4
Link to post
Share on other sites
  • Replies 50
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Bonjour ! Je viens ici vous pr√©senter un nouveau petit projet webūüôÉ. Apr√®s avoir badigeonn√© dans la farine pendant longtemps pour cr√©er mon propre site de pr√©visions automatis√©es, je me suis

Du coup j'ai ajout√© les unit√©s ! J'ai aussi mis en route GEFS 1¬į, je me suis rendu compte dans le m√™me temps que l'√©ch√©ance √©tait bloqu√©e par d√©faut √† 78h quel que soit votre choix... Du coup c'e

Salut à tous les deux ! J'avoue que je ne pensais pas rentrer dans des considérations aussi techniques sur ce sujet qui était plus voué à simplement présenter le projet et connaitre les attentes

Posted Images

Posted
01 AMBERIEU-EN-BUGEY (255m)

Super travail, merci à toi, par contre je ne comprends pas les valeurs de température, ex(temperature": {"2 m above ground": 284.282, "surface": 284.64},) , comment retrouver la vraie valeur et ou puis-je trouver la signification de certaines abreviations, ex (DLWRF,DSWRF,ect ect), merci

Link to post
Share on other sites
Posted
01 AMBERIEU-EN-BUGEY (255m)
il y a 43 minutes, Sebaas a dit :

En sortie de modèles, les données de températures sont en degrés Kelvin.

Super grand merci à toi Sebaas

Link to post
Share on other sites
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Salut ! En effet je vais sans doute ajouter une indication d'unité, parfois c'est un peu ambigu, à voir si ça n'explose pas trop le temps d'affichage...

En revanche toutes les abr√©viations vont √™tre explicit√©es, il faut juste que je mette √† jour la base de donn√©es qui les traduit ! Dans ton cas il me semble que ce sont des donn√©es de flux solaires et d'√©vaporation, je suis pas s√Ľr que √ßa int√©resse grand monde pour l'instant. Si vraiment √ßa presse ou que tu retombes sur des abr√©viations non traduites plus tard, tu peux fouiller par ici : https://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_doc/grib2_table4-1.shtml

Link to post
Share on other sites
Posted
01 AMBERIEU-EN-BUGEY (255m)
il y a 43 minutes, hermouparis a dit :

Salut ! En effet je vais sans doute ajouter une indication d'unité, parfois c'est un peu ambigu, à voir si ça n'explose pas trop le temps d'affichage...

En revanche toutes les abr√©viations vont √™tre explicit√©es, il faut juste que je mette √† jour la base de donn√©es qui les traduit ! Dans ton cas il me semble que ce sont des donn√©es de flux solaires et d'√©vaporation, je suis pas s√Ľr que √ßa int√©resse grand monde pour l'instant. Si vraiment √ßa presse ou que tu retombes sur des abr√©viations non traduites plus tard, tu peux fouiller par ici : https://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_doc/grib2_table4-1.shtml

 

Merci, oui le principal pour ma part, ce sont les températures, pressions, vent, direction, couverture nuageuse et précipitations, le reste me dépasse :D

  • J'aime 1
Link to post
Share on other sites

Bonjour,

Votre API est intéressante,

Comment on lit les données JSON hors de la fenêtre web ?

De plus, quelle est la méthode d'extraction pour une longitude/latitude quelconque sachant que les grilles sont discrétisées ? (plus proche voisin ? interpolation ?)

Edited by Cotissois 31
Link to post
Share on other sites
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Bonsoir !

Le format JSON est intéressant car tu peux facilement exploiter les données avec un language informatique (js, php pour le web par exemple). En général il existe des fonctions/modules qui te permettent de facilement transcrire le json en variables du language. 

 

En effet le point utilisé est le plus proche voisin (cf model_longitude et model_latitude dans la section "geography").

Link to post
Share on other sites
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Du coup j'ai ajouté les unités !

J'ai aussi mis en route GEFS 1¬į, je me suis rendu compte dans le m√™me temps que l'√©ch√©ance √©tait bloqu√©e par d√©faut √† 78h quel que soit votre choix... Du coup c'est modifi√© et le choix de [term] sera visible (384h par d√©faut, pour les mod√®les qui vont aussi loin, si le param√®tre n'est pas pr√©cis√©) !

Toutes les pertus et le run de contr√īle (pertu "0") sont dispo jusqu'√† h+384, par pas de 6h. J'ai pas mis d'outil pour filtrer les pertus, je verrai peut-√™tre plus tard. √áa peut √™tre sympa pour faire des graphiques rapidement sans se casser la t√™te :)

 

Tout cela est visible par exemple ici : http://weather-data.org/api/get?model=gefs-1-ens&lat=45.566&lon=8.9222&token=W_000_test_000_D&term=192

  • J'aime 1
  • Merci 2
Link to post
Share on other sites
  • 2 weeks later...
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Bonjour,

Les packages essentiels d'AROME sont enfin dispo, désolé pour la lenteur^^

Un petit exemple : http://weather-data.org/api/get?model=arome-0.01&lat=45.566&lon=1.3222&token=W_000_test_000_D

Je vois par ailleurs qu'un des param√®tres appara√ģt sous le nom "NULL", il doit s'agir de la r√©flectivit√©, je verrai √ßa plus tard !

  • Merci 2
Link to post
Share on other sites

Salut,

 

On avait discuter il y a quelques années sur ce sujet. 

 

Actuellement je suis entrain de bosser sur un projet un peu similaire, l'application devrait sortir dans quelques semaines. Je bosse sur la partie front tout le process de récupération des données est fait.  J'ai branché Arome France (2.5km) pour le moment, ça représente environ 36 millions de données pour les 4 runs sachant que j'extrais seulement la France. Les modèles Arpege et Arome HD (1.5km) seront branchés. 

 

Perso je suis parti sur du MongoDB sur un serveur dédié mais je n'ai pas le même temps de réponse que ton api (sans cache je suis à 1s de temps de réponse et avec cache je dois être à 400ms), j'ai une collection par modèle et j'utilise du Geospatial. 

 

Une petite question technique tu utilises quoi comme BDD de stockage ?

 

Après pour ma part comme un naze j'ai pris un serveur SATA et non SSD, je vais le changer le mois prochain donc théoriquement ça devrait aller beaucoup plus vite

 

Ludovic

 

Link to post
Share on other sites
  • 1 month later...
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Salut ! D√©sol√© pour la r√©ponse si tardive. J'utilise pour l'instant MySQL (ou plut√īt MariaDB) avec un SSD en effet. Bon courage pour la suite du d√©veloppement de ton projet ;)

 

Concernant Weather-Data, les données étaient régulièrement indisponibles auparavant car le disque était rapidement plein. J'ai résolu ce problème ces derniers jours avec un système plus efficace de suppression des données obsolètes. Tout devrait être dispo 24h/24 désormais :)

Edited by hermouparis
  • Merci 3
Link to post
Share on other sites
  • 2 months later...
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Salut salut !

Petit passage par ici pour pr√©ciser que le site n'est pas mortūüėĀ. J'en ai d'ailleurs profit√© ces derniers jours pour mettre un peu en forme les donn√©es distribu√©es sur l'API. Le r√©sultat est largement am√©liorable mais c'est d√©j√† utilisable pour certains param√®tres (juste au niveau du temps sensible il manque pas mal de cas...) et est dispo ici pour le mod√®le AROME : http://weather-data.org/forecasts/tables/arome-0.01?lon=2.3488&lat=48.85341

 

N'h√©sitez pas √† vous amuser avec le moteur de recherche qui fonctionne avec Geonames, du coup il y a pas mal de coins insolites accessibles (sommets notamment) voire carr√©ment modifier les coordonn√©es GPS √† la mainūü§†

 

A+

  • Merci 1
Link to post
Share on other sites
Posted
Saint Martin de Londres (34) / Agropolis Montpellier-Nord

Mmmmmmmm ça m'intéresse dans le cadre des recherches sur les modèles AGRO ça :)

C'est toi même qui développe les codes pour te connecter aux différents serveurs et récupérer tout ça ? 

 

J'ai pleins de sources si tu veux :)

  • J'aime 1
Link to post
Share on other sites
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Yep c'est bien ça !

Si tu as des besoins spécifiques on peut s'arranger effectivement pour que j'ajoute quelques modèles, le seul truc c'est que la capacité de stockage du serveur n'est pas ouffissime donc pour des mailles vraiment fines ça va être chaud.

N'h√©site pas √† me MP ūüėÄ

Edited by hermouparis
  • J'aime 1
Link to post
Share on other sites
  • 1 month later...
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Bonsoir !

J'ai profité d'un peu de temps libre pour améliorer légèrement la visualisation graphique des données sous forme de tableaux.

Il y a d√©sormais + de facilit√©s pour switcher d'un mod√®le √† l'autre gr√Ęce au petit menu d√©roulant sous "Mod√®le".

De plus, concernant COSMO, il y avait beaucoup de valeurs manquantes car seules les précipitations sont délivrées par pas de 15mn. Du coup, pour donner l'illusion d'une prévision complète par pas de 15mn, j'ai fais de petites régressions linéaires entre les données : le résultat n'est pas exceptionnel mais ça a le mérite d'être plus agréable à lire.

Par ici si vous voulez tester : http://weather-data.org/forecasts/tables/cosmo-d2?lon=2.3488&lat=48.85341

J'ai vu qu'il y avait quelques m√©langes d'√©ch√©ances sur ARPEGE ce qui donne des temp√©ratures un peu farfelues... J'essaierai de r√©soudre ce probl√®me tr√®s prochainement. C'est le seul mod√®le o√Ļ les donn√©es sont d√©faillantes, tout est op√©rationnel pour le reste !

 

Bonne continuation et bon courage en ces temps difficiles, et surtout comme d'habitude n'hésitez pas si vous avez des questions ou suggestions ;)

  • J'aime 1
  • Merci 1
Link to post
Share on other sites
Posted
Aubagne (Les Passons, à l'est) (13400)

Salut,

COSMO ? Lequel, D2 si j'en crois la page de ton API mais ce n'est pas indiqué sur la page que tu cites ci-dessus.

De plus, lorsque j'ai voulu voir ce qu'il en √©tait de ton API, je suis tomb√© sur cette erreur en cliquant sur ¬ę Download OpenAPI specification:Download ¬Ľ

 

Citation

SyntaxError: JSON.parse: expected double-quoted property name at line 106 column 19 of the JSON data

 

Link to post
Share on other sites
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Salut !

J'ai réglé les deux soucis, en effet il s'agit de cosmo-d2 et il y avait une petite virgule en trop dans le json décrivant l'api.

 

Cela dit, c'est plut√īt par simple formalisme que je laisse dispo ce fichier json : il ne d√©livre gu√®re plus d'infos que la documentation et il faut, √† mon sens,¬† particuli√®rement s'ennuyer pour essayer d'utiliser l'API en ne lisant que ces sp√©cifications plut√īt que la doc, beaucoup plus lisible. Remarque, c'est vrai qu'en ce moment, ...

 

A+

Link to post
Share on other sites
Posted
Aubagne (Les Passons, à l'est) (13400)

C'est clair, j'ai simplement cliqué par curiosité !

Link to post
Share on other sites
Posted
Aubagne (Les Passons, à l'est) (13400)

J'ai pris deux minutes pour regarder.

 

http://weather-data.org/api/get?lat=45&lon=12&term=24&model=icon-eu&token=...

Ok, j'ai mes données. Existe-t-il une liste des paramètres fournis ? Peut-on les choisir ?

Peut-on r√©cup√©rer les donn√©es sur une surface plut√īt qu'un point ? j'ai essay√© mais sans succ√®s.

Quelques commentaires de première approche ...

C'est un projet intéressant, une belle interface, bonne continuation ! :)

Link to post
Share on other sites
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Salut !

Non, j'ai pas fait de liste des paramètres modèle... Serait-ce vraiment utile ? La plupart des paramètres sont affichés de manière très compréhensible dans le json, en plus l'unité écarte le doute en général.

Maintenant, si quelqu'un en exprime le souhait ici, je peux tout à fait le faire, ça ne prendrait pas non plus des plombes...

 

On ne peut en effet pour l'instant pas choisir uniquement certains ou un seul paramètres, tout comme on ne peut pas choisir plusieurs modèles ou tous à la fois, mais ces fonctionnalités-là sont par contre prévues d'être implantées prochainement.

 

R√©cup√©rer les donn√©es sur une surface, vu le temps d'affichage des donn√©es pour un seul point, cela voudrait dire que la personne qui utilise cette √©ventuelle fonctionnalit√© devra avoir son propre syst√®me de stockage des donn√©es de son c√īt√©. Or l√† le but de l'API est plut√īt de permettre d'afficher les donn√©es sur le site tiers "√† l'instant" o√Ļ elles sont r√©cup√©r√©es depuis l'API, autrement dit sans avoir besoin d'un quelconque stockage pour faire un site de pr√©vision.

Cela dit, je comprends √† nouveau que ce type de produit puisse int√©resser. Honn√™tement, ce n'est pas dans mes plans pour l'instant (apr√®s, si quelqu'un sort le ch√©quier, on peut toujours s'arrangerūüėĀūüėĀ).

 

Merci pour ton retour (très pertinent!)

 

J'ai encore un peu boss√© sur l'interface graphique, j'ai au passage r√©cup√©r√© le certificat https (le http reste toujours accessible mais il peut y avoir quelques soucis d'affichage des images notamment, je forcerai bient√īt la redirection du http ver https).

Il y a désormais possibilité de géolocalisation en cliquant sur le petit drapeau à droite du champ de recherche. Il y avait aussi un bug des températures (aussi sur l'API !) avec ARPEGE, la Tmax était bien souvent affichée en lieu et place de la T horaire... ARPEGE est donc désormais pleinement exploitable, que ce soit pour regarder la prévi sur https://weather-data.org/forecasts/tables/arpege-0.1?lon=2.3488&lat=48.85341

ou pour récupérer les données sur l'API :)

 

Bonne soirée !

  • J'aime 2
Link to post
Share on other sites

Salut,

 

Dit moi tu prends quelle¬†param√®tre pour les pr√©cipitations horaires pour Arome 0.25¬į ? Car moi j'ai que les cumuls depuis le d√©but du run et pas le taux horaire :/

 

Merciii d'avance

Edited by Orage 33
Link to post
Share on other sites
Posted
Chambéry Sud (280m) -- Annecy centre (450m) pour les études

Salut !

Oui pour AROME j'ai aussi le cumul depuis t0. Mais ce n'est pas un probl√®me, une petite soustraction entre deux √©ch√©ances successives et ton probl√®me devrait √™tre vite r√©gl√© ūüėú.

Pas de soucis ;).

Link to post
Share on other sites
Il y a 4 heures, hermouparis a dit :

Salut !

Oui pour AROME j'ai aussi le cumul depuis t0. Mais ce n'est pas un probl√®me, une petite soustraction entre deux √©ch√©ances successives et ton probl√®me devrait √™tre vite r√©gl√© ūüėú.

Pas de soucis ;).

 

Yes c'est ce que j'avais fait mais c'est dommage qu'il ne le propose pas. J'ai vu que tu avais les données ICON, tu récupères les grids sur quelle serveur ? 

 

En tout cas beau boulot. Je bosse toujours sur mon appli de mon coté. J'ai juste toujours un problème de performance, à la lecture des données dans MongoDB, c'est très long > 10sec pour récupérer les data sur 42h. Pourtant tout est bien indexé, mais la collection est un peu grosse > 36millions de documents, je vais voir pour splitter une collection par RUN. 

 

Ludovic

Link to post
Share on other sites
Posted
Aubagne (Les Passons, à l'est) (13400)
Il y a 3 heures, Orage 33 a dit :

Yes c'est ce que j'avais fait mais c'est dommage qu'il ne le propose pas.

 

Déjà beaucoup de choses sont proposées en open data :D

 

Il y a 3 heures, Orage 33 a dit :

J'ai vu que tu avais les données ICON, tu récupères les grids sur quelle serveur ? 

 

GRIBs ! :)

 

ICON, ICON ENS, ICON-EU, ICON-EU ENS, COSMO D2 et COSMO D2 ENS sont mis en open data par le DWD, du moins pour un grand nombre de champs : https://opendata.dwd.de/weather/nwp/

et la doc qui va avec : https://www.dwd.de/DWD/forschung/nwv/fepub/icon_database_main.pdf (en anglais)

peut-être moins utile, selon ce que tu veux faire : https://code.mpimet.mpg.de/attachments/download/19568/ICON_tutorial_2019.pdf

 

La totalité des données en open data du DWD est accessible ici (le chargement de la page peut être long car la liste contient des milliers d'entrées) : Opendata DWD liste complete

Les COSMO D2 sont disponibles en fichiers GRIB mais aussi JSON, peut-être plus pratique pour vous mais beaucoup moins de champs que dans les GRIB.

Les autres modèles sont en fichiers GRIB uniquement.

Attention les champs d'altitude sont g√©n√©ralement fournis en niveau du mod√®le (model level) et non en niveau de pression (sauf les GPT nomm√©s ¬ę FI ¬Ľ et l'HR) : c'est plus pr√©cis (plus proche de la sortie r√©elle du mod√®le) mais la manipulation est diff√©rente. Enfin, le DWD diffuse ICON dans sa grille native (icosahedral), les outils habituels n√©cessitent de les convertir (les outils du CDO sont faits pour √ßa) en grille r√©guli√®re latitude-longitude.

 

Si je me souviens bien, OpenSkiron post-traite les sorties brutes du DWD sur quelques champs de surface en grille régulière lat-lon classique : https://openskiron.org/en/icon-gribs

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...