Ouverture des données par Météo-France au 01/01/24

[F-GAHX]

il y a 1 minute, 970hPa a dit :

Yep, la c'est K. O 😒

ça vaaa c'est pas comme si l'open data tombais en marche a chaque fois que c'était utile (ni qu'il n'y ai pas de moyen d'avoir les archives passée 15 minutes au radars)

ni qu'il y ai une limitation excessive des requetes

[Marc09]

Problèmes réseaux généralisés ce soir à Météo-France. Les équipes techniques sont sur le pont.

[_sb]

Le 07/10/2024 à 22:58, _sb a dit :

L'adresse mail est rejetée, étant inconnue sur le serveur.

J'ai essayé avec l'adresse de « la Task Force » qui est un alias redirigeant sur N adresses individuelles. J'ai eu 5 rejets pour les mêmes raisons (de l'IPSL, de mercator-ocean, du KIT, de l'université de Louvain et d'un institut espagnol). J'attends quelques jours voir si quelqu'un est encore à l'écoute quelque part.

Comme tu dis, une fois le projet terminé, chacun repart sur un autre et celui-là tombe dans l'oubli et la déchéance.

 

1 mois 1/2 après, aucune réponse. Le site est toujours accessible avec des données figées au 23 octobre 2023.

[F-GAHX]

Il y a 13 heures, Marc09 a dit :

Problèmes réseaux généralisés ce soir à Météo-France. Les équipes techniques sont sur le pont.

ça a pas l'air de s'améliorer ce matin

une iddées de savoir si c'est les serveurs qui ne tiennent pasla charge ou juste le. lien entre MF et internet qui est HS ?

 

[Marc09]

il y a 25 minutes, F-GAHX a dit :

ça a pas l'air de s'améliorer ce matin

une iddées de savoir si c'est les serveurs qui ne tiennent pasla charge ou juste le. lien entre MF et internet qui est HS ?

Oui ça continue ce matin, pas plus d'infos pour l'instant.

[oliver88]

Données PNT - rétention 14 jours

 

https://meteo.data.gouv.fr/datasets/66d02b7174375550d7b10f3f

 

C'est une bonne chose d'avoir ces archives, mais malheureusement elles sont presque inutiles ces derniers temps. Je reçois souvent une erreur de réseau.  Et parfois les fichiers manquants ne monter téléchargés. Il semble parfois que l'ancien service de la DCPC était meilleur, le téléchargement était lent, mais au moins les fichiers ne manquaient pas.

 

Quelqu'un l'a-t-il essayé ?

Modifié 27 novembre 2024 par oliver88

[_sb]

Tu n'es pas obligé de passer par cette interface https://console.object.files.data.gouv.fr/browser/meteofrance-pnt pour récupérer les fichiers de - de 14 jours. Le mode classique fonctionne très bien en adaptant les dates et heures.

 

Par exemple avec ARPEGE 0.1° :

https://meteo.data.gouv.fr/datasets/65bd13b2eb9e79ab309f6e63

 

le dernier cycle dispo pour le pack HP1 aux échéances H0-H12 :

https://object.data.gouv.fr/meteofrance-pnt/pnt/2024-11-27T12:00:00Z/arpege/01/HP1/arpege__01__HP1__000H012H__2024-11-27T12:00:00Z.grib2

changement des dates et cycles pour le 12Z du 17 novembre dernier, encore accessible (-10 jours aujourd'hui) :

https://object.data.gouv.fr/meteofrance-pnt/pnt/2024-11-17T12:00:00Z/arpege/01/HP1/arpege__01__HP1__000H012H__2024-11-17T12:00:00Z.grib2

Le fonctionnement est nettement plus fluide que depuis l'API MF.

[tomsdu]

Bonjour,

Je suis nouveau sur le forum, désolé d'avance si je ne poste pas au bon endroit ou si la réponse à ma question existe déjà ailleurs.

J'ai besoin de certaines données climatologiques que l'API "Données Climatologiques" de Météo France peut fournir. J'avais effectué quelques tests cet été, et cela fonctionnait. Cependant, j'avais remarqué que le remplissage des colonnes était un peu aléatoire : certaines données étaient présentes ou absentes d'une requête à l'autre, bien que les paramètres soient identiques.

Actuellement, je n'arrive plus à obtenir la pression atmosphérique : la colonne correspondante reste toujours vide. Je joins en exemple mon dernier test.

Merci d'avance pour votre aide et bonne journée !

response_1739176188200.csv

[Nick_Kyrgios]

Les stations ne mesurent pas tous les paramètres.

Assez simple.

[tomsdu]

Merci pour votre réponse. Je suis encore en train de découvrir le fonctionnement des stations météo, et je pensais naïvement que la pression atmosphérique était une donnée systématiquement mesurée. En cherchant un peu, j’ai vu qu’il existait plusieurs types de stations (de 0 à 5). Faut-il privilégier certaines d’entre elles pour avoir cette donnée ?

Bonne journée !

[Thotor76]

Bonjour,

Avec la fermeture depuis plusieurs mois du site Publithèque de Météo France, il n'y a plus donc l'historique aisé pour l'ensemble des postes ouverts ou bien fermés, mais aussi il n'y a plus l'actualité du réseau mensuel qui permettait de voir les fermetures, corrections, ouvertures etc des postes.

Je souhaiterais savoir si vous connaissez un site qui permette à cet accès aisé comme sur la Publithèque (je mets une image en illustration pour montrer de quoi je parle).
 

Peut être @Thundik81 qui a toujours un bon lien sous la main ?

Merci pour votre aide.

[Thundik81]

il y a 40 minutes, Thotor76 a dit :

Avec la fermeture depuis plusieurs mois du site Publithèque de Météo France, il n'y a plus donc l'historique aisé pour l'ensemble des postes ouverts ou bien fermés, mais aussi il n'y a plus l'actualité du réseau mensuel qui permettait de voir les fermetures, corrections, ouvertures etc des postes.

[...]

 

Une grande partie est désormais supprimée des serveurs [on a pu pendant quelques mois continuer à avoir accès aux données en utilisant les liens directs -en 2 temps, une fois pour générer les cookies de session puis consultation].

En PJ anciens fichiers de l'Actualité du réseau de stations [qui eux sont toujours en ligne avec la méthode ci-dessus -exemple].

MF-ActuReseau.7z

Modifié 7 mai par Thundik81

[sylvainmeteo]

Le 07/05/2025 à 14:05, Thotor76 a dit :

Bonjour,

Avec la fermeture depuis plusieurs mois du site Publithèque de Météo France, il n'y a plus donc l'historique aisé pour l'ensemble des postes ouverts ou bien fermés, mais aussi il n'y a plus l'actualité du réseau mensuel qui permettait de voir les fermetures, corrections, ouvertures etc des postes.

Je souhaiterais savoir si vous connaissez un site qui permette à cet accès aisé comme sur la Publithèque (je mets une image en illustration pour montrer de quoi je parle).
 

Peut être @Thundik81 qui a toujours un bon lien sous la main ?

Merci pour votre aide.

Je vous ai envoyé un MP a propos de ce sujet

[Jemo36]

Bonjour à toutes et à tous,

 

Je me présente rapidement, Jérémy Mouzin, 40 ans, je suis développeur web fullstack et entrepreneur (n'hésitez pas à taper mon nom dans votre moteur de recherche si vous souhaitez en savoir plus sur moi).

 

Il y a 2 jours je me suis dit que j'allais me coder un petit site d'application météo juste pour ma ville qui soit dénué de publicité et d'autre choses qui font ramer les sites météo ! Je veux un petit site simple ultra rapide avec la météo de chez moi du jour jusqu'au soir, point barre.

 

Et je me suis dis que j'allais faire ça en utilisant les données de météo france histoire d'utiliser un service français (pour une fois !).

 

J'ai été très surpris de la médiocre qualité de l'API et de sa documentation. J'ai twitté largement à ce sujet ces derniers jours (voir sur mon compte X @jeremymouzin).

J'ai lu ce thread depuis le début et je vois que les membres de ce forum semblent être comme moi assez dubitatif sur la volonté réelle d'ouvrir les données chez MF...

 

Bref, en épluchant la documentation de MF, je suis tombé non sans mal sur les 2 webinaires pour utiliser leur API.

J'ai vu dans les questions-réponses que certaines personnes cherchaient un outil pour récupérer les stations météo les plus proches d'un lieu géographique ou d'une commune pour obtenir leur ID.

 

J'ai codé une application web qui fait exactement ça et je vous la partage ici aujourd'hui.

 

Je ne sais pas si ça existe déjà, si ça peut intéresser des gens (ou pas), et c'est le but de ce message : savoir s'il y a des gens qui souhaitent que je développe un peu plus cette application ?

 

Pour l'instant, vous pouvez entrer soit la lat/long, le code postal ou le nom de la commune et il vous sort immédiatement la station MF la plus proche avec son ID et quelques infos. Vous pouvez aussi utiliser le bouton "utiliser ma position actuelle" qui récupère les coordonnées lat/long de votre lieu de connexion internet (chez vous en général !) et vous sort la station la plus proche.

 

J'ai utilisé le fichier de stations météo fourni par MF sur le site meteo.data.gouv.fr (précisément ce fichier geojson) .

 

L'outil est open-source sur mon dépôt GitHub et hébergé sur GitHub Pages.

 

L'outil est accessible en ligne ici : https://jeremymouzin.github.io/stations-meteo/

 

Il ressemble à ça :

 

 

Il y a énormément d'améliorations que je peux apporter à cet outil (tant au niveau des données que de la qualité UI/UX mais je ne veux pas engager plus de temps dans le développement de celui-ci si ce type d'outil existe déjà ou n'intéresse personne !

 

Pourquoi je développe cet outil ?

 

Je n'ai aucun lien avec le monde de la météo mais c'est un petit entraînement pour moi de développer cet outil en utilisant l'IA. J'ai pu le développer en quelques heures alors qu'à la main ça m'aurait pris des jours. L'IA est loin d'être parfaite mais permet d'abattre beaucoup de travail en peu de temps.

 

Il existe sûrement des bugs et je n'ai que très peu revu le code de cet outil mais comme je l'ai dit je ne souhaite pas investir davantage de temps si personne ne l'utilise.

 

Ce petit projet me permet de tester les outils d'IA tout en développant une application utile que les membres de ce forum peuvent utiliser gratuitement.

 

Donc si vous êtes intéressés pour que je développe un peu plus cet outil je vous invite à m'en parler et à me dire les éventuelles modifications que vous souhaitez que j'y apporte ainsi que vos besoins, j'y répondrai comme je peux.

 

Je pourrais en faire une API également, bref je suis ouvert à toutes propositions.

 

Merci.

[matmar]

Le 14/05/2025 à 16:29, Jemo36 a dit :

J'ai été très surpris de la médiocre qualité de l'API et de sa documentation.

 

https://portail-api.meteofrance.fr/ "médiocre" !!!!?

Si tu t'y connais en informatique, le portail API Météo-France repose sur WSO2 API Manager ("The #1 Open Source API Management Product the World Runs On"), cela met en œuvre l'authentification OAuth 2.0 ("the industry-standard protocol for authorization"), nombre d'APIs reposent sur standards de l'OGC ("Open Geospatial Consortium") comme le WMS (Web Map Services) et WCS (Web Coverage Service). L'interface repose sur Swagger ("API Development for Everyone", documentation et tests des APIs) qui utilise la norme OpenAPI. Des formats d'échanges très courant sont proposées comme le json, csv... ou des formats plus "météo" hyper-courants comme le netcdf, le grib2 ou le hdf5... bref c'est tout ce qu'il y a de plus standard et parmi ce qui se fait de mieux et de plus courant en termes d'APIs.

Pour ma part je félicite les équipes qui ont mis en œuvre ce portail. Oui ça a été long, il reste des petites imperfections (comme tu le notes sur les formulaires) mais le résultat est très très bon. Je trouve ça très bien documenté et facile à utiliser. Des données sont régulièrement ajoutées... et en plus la DINUM (Direction Interministérielle du Numérique), qui fait également du très bon travail, ajout un second portail meteo.data.gouv.fr pour servir les mêmes données avec des performances meilleures.

 

Météo-France fourni ses données, c'est la directive Inspire, c'est à toi d'imaginer l'histoire qui va avec.

 

Les autres vous êtes plutôt d'accord ?

[F-GAHX]

il y a 31 minutes, matmar a dit :

 

https://portail-api.meteofrance.fr/ "médiocre" !!!!?

Si tu t'y connais en informatique, le portail API Météo-France repose sur WSO2 API Manager ("The #1 Open Source API Management Product the World Runs On"), cela met en œuvre l'authentification OAuth 2.0 ("the industry-standard protocol for authorization"), nombre d'APIs reposent sur standards de l'OGC ("Open Geospatial Consortium") comme le WMS (Web Map Services) et WCS (Web Coverage Service). L'interface repose sur Swagger ("API Development for Everyone", documentation et tests des APIs) qui utilise la norme OpenAPI. Des formats d'échanges très courant sont proposées comme le json, csv... ou des formats plus "météo" hyper-courants comme le netcdf, le grib2 ou le hdf5... bref c'est tout ce qu'il y a de plus standard et parmi ce qui se fait de mieux et de plus courant en termes d'APIs.

Pour ma part je félicite les équipes qui ont mis en œuvre ce portail. Oui ça a été long, il reste des petites imperfections (comme tu le notes sur les formulaires) mais le résultat est très très bon. Je trouve ça très bien documenté et facile à utiliser. Des données sont régulièrement ajoutées... et en plus la DINUM (Direction Interministérielle du Numérique), qui fait également du très bon travail, ajout un second portail meteo.data.gouv.fr pour servir les mêmes données avec des performances meilleures.

 

Météo-France fourni ses données, c'est la directive Inspire, c'est à toi d'imaginer l'histoire qui va avec.

 

Les autres vous êtes plutôt d'accord ?

Bof quand il manque des données temps réel uniquement dispo via l'API climato (les données de couverture nuageuse et leurs types à tout hasard),

quand on a des rate limits qui ne permettent pas la récupération des données avant le prochain refresh (oui au début il n’était pas possible de récupérer tous les tours d'antenne de tous les radars en moins de 5 minutes j'ai dû râler pour que ça soit possible avec une augmentation significative des requêtes par minute) 

Quand sur meteo.data.gouv.fr on a sur la climato 6 min uniquement la pluvio (ce qui m'est incompréhensible de pourquoi uniquement la pluvio et pas les autres paramètres 6 min),
Les BUFR radar qui étaient codés de manière non standard et sans les tables de décodage au début... 
le site qui force de relogin trop de fois après une légère inactivité c'est d'un CHIANT 

 

Donc oui c'est une bonne chose que les données soit enfin ouverte mais les limites mise en place sont parfois chiantes (quand c'est pas un impossibilité de récup les datas) certains jeux de données font peu de sens. et le besoin de login pour des données MTO je comprend pas trop la NOAA ne le fait pas j'en voit pas le besoins en france 

 

 

[Marc09]

il y a une heure, matmar a dit :

https://portail-api.meteofrance.fr/ "médiocre" !!!!?

Si tu t'y connais en informatique, le portail API Météo-France repose sur WSO2 API Manager ("The #1 Open Source API Management Product the World Runs On"), cela met en œuvre l'authentification OAuth 2.0 ("the industry-standard protocol for authorization"), nombre d'APIs reposent sur standards de l'OGC ("Open Geospatial Consortium") comme le WMS (Web Map Services) et WCS (Web Coverage Service). L'interface repose sur Swagger ("API Development for Everyone", documentation et tests des APIs) qui utilise la norme OpenAPI. Des formats d'échanges très courant sont proposées comme le json, csv... ou des formats plus "météo" hyper-courants comme le netcdf, le grib2 ou le hdf5... bref c'est tout ce qu'il y a de plus standard et parmi ce qui se fait de mieux et de plus courant en termes d'APIs.

Pour ma part je félicite les équipes qui ont mis en œuvre ce portail. Oui ça a été long, il reste des petites imperfections (comme tu le notes sur les formulaires) mais le résultat est très très bon. Je trouve ça très bien documenté et facile à utiliser. Des données sont régulièrement ajoutées... et en plus la DINUM (Direction Interministérielle du Numérique), qui fait également du très bon travail, ajout un second portail meteo.data.gouv.fr pour servir les mêmes données avec des performances meilleures.

 

Météo-France fourni ses données, c'est la directive Inspire, c'est à toi d'imaginer l'histoire qui va avec.

 

Les autres vous êtes plutôt d'accord ?

 

Il y a quand même beaucoup plus simple : https://opendata.dwd.de/weather/

Naviguer dans l'arborescence, cliquer, télécharger. Zéro authentification.

[matmar]

il y a 15 minutes, Marc09 a dit :

 

Il y a quand même beaucoup plus simple : https://opendata.dwd.de/weather/

Naviguer dans l'arborescence, cliquer, télécharger. Zéro authentification.

 

Je ne trouve pas ça plus simple. Un autoindex de serveur http, aucune doc, aucune sécurisation, pas d'ihm, pas de description...

 

[_sb]

Oui et non.

Il y a du travail derrière, c'est indéniable tant cela a été compliqué initialement pour lancer l'ouverture des données. Le service existe, il est souhaité d'aller plus loin, c'est de bonne guerre, si je puis dire. Bravo aux équipes pour la réalisation ; en amont, on peut aussi s'interroger sur les choix faits.

L'interface est lourde et lente je trouve, la doc reste succincte. Même pour une personne ayant l'habitude de ce type d'interface, il reste des points peu clairs qui demandent à tâtonner pour obtenir la requête désirée. La nomenclature est illisible (surtout pour la PNT, j'utilise beaucoup moins les autres), elle répond certes à une norme. Elle demande beaucoup de rigueur dans le codage et c'est plutôt un point que je classe positivement car elle est nécessaire. Pour les GRIB / NetCDF, ce serait alors bien que la norme soit respectée dans le codage des messages : parfois oui, parfois non, parfois encore totalement obscurs et l'appel au support ouvre la compréhension. Le support répond, il est toutefois moins réactif que celui d'ECMWF ou du DWD, pour mon expérience. Bref, pour moi, c'est mitigé principalement en raison de la lourdeur pour coder les requêtes d'intérêts et la lenteur pour télécharger les sets. J'entends qu'il y a un service premium et que les données ouvertes ne sont pas une garantie d'accès équivalent, je trouve que ça restreint l'usage de ces données ce qui n'est pas l'esprit de la directive EU.

Ceci dit, dorénavant, j'ai pris les habitudes et je m'en sors correctement pour mes besoins.

 

Concernant le serveur du DWD, alors oui, c'est ultra simple et l'infrastructure est suffisamment véloce. La doc existe, il faut la chercher sur le site. En revanche, ce n'est pas normé. Le DWD a sorti une IHM pour tenter d'expliquer aux profanes ce qu'ils peuvent trouver : https://dwd-geoportal.de/ avant de finir sur le serveur HTTP 😉 

Le NCEP ou le CMC par exemple fonctionne de la même façon. Le NCEP propose le script de Wesley Ebisuzaki pour trier et subsetter les données. ECMWF offre aussi le dl direct ou via une extraction des messages GRIBS, système lourd soi dit en passant mais le dl direct requiert du stockage et des ressources supérieures pour le traitement. Le Met'Off propose encore une autre interface de requêtes, plus simple que MF, et pas  de dl direct. L'Italie ouvre à sa manière. Je ne parle uniquement des données ouvertes.

 

Pour le coup, je suis assez dubitatif sur le respect d'une norme peu appliquée par ailleurs dans le milieu, d'où mon interrogation initiale (« en amont, on peut aussi s'interroger sur les choix faits »). Le protocole OpenDAP  n'est pas inintéressant surtout lorsqu'on fait réaliser une partie du traitement directement sur les serveurs de l'organisme météo mais demande en contrepartie un écosystème particulier.

Ouvre-t-on les données pour que leurs usages se libèrent dans la société dans son ensemble ? Ouvre-t-on les données en respectant une norme technique ? Qu'est-ce-qui est prioritaire entre les deux ? Je penche nettement pour la 1 en haut de la liste, la seconde en bas. Mais la multiplicité des interfaces ne facilitent pour autant pas les accès, je me retrouve avec du code spécifique pour chaque.

Modifié vendredi à 19:58 par _sb

[Jemo36]

@matmar Je ne parle pas de la qualité technique ni du respect des normes, je sais le travail que ça représente. Je te parle de l'utilité de l'API pour le néophyte, je te parle de la facilité d'accès à la documentation, de la facilité d'accès à faire ce que l'on veut avec cette API rapidement. J'ai cherché une API pour me donner des données simples comme la météo près de chez moi avec du JSON et je n'ai pas trouvé. Je n'ai le droit qu'à des fichiers grib2 que je n'arrive même pas à exploiter.

 

Comment expliques-tu qu'avec l'API et la doc open-meteo.com j'ai pu faire mon appli en 15 min alors que j'ai passé littéralement 2 jours sur toutes les docs possibles des 3 sites de météo france et que je n'ai pas trouvé comment faire ?

 

L'objectif d'ouverture des données de météo france c'est de permettre aux gens d'exploiter les données. Est-ce que cet objectif est rempli ? Pour ma part je dis que non, et c'est en ça que je qualifie de médiocre cette API.

 

Je ne dénigre en rien le travail effectué par les gens qui ont mis en place ces APIs, qui ont respecté les normes internationales, géré les flux de données incessants, la charge des serveurs, la sécurité etc.

 

Je dis juste qu'en l'état, un développeur professionnel comme moi qui est très habitué à ce genre de chose n'arrive pas à s'y retrouver dans la doc, trouve les formats de données inexploitables pour les néophytes n'y connaissant rien aux standards météo et trouve donc cette ouverture de données réservée à une élite partageant une passion pour la météo.

 

J'espère qu'ils vont se rendre compte que s'ils veulent que les gens exploitent leurs données, il va falloir leur en faciliter l'accès avec des formats standards non pas de météo mais du web. Et le grib2 n'en fait pas partie. A nouveau, je ne critique pas le travail de ces personnes, je critique juste qu'ils doivent s'améliorer niveau documentation et accès des données si leur objectif est d'ouvrir ces données au public.

[_sb]

@Jemo36

Je ne suis pas forcément d'accord avec ce que tu exprimes.

La doc est difficilement exploitable, les API sont lourdes, je suis d'accord et je l'ai dit plus haut.

En revanche, pour le reste, tu simplifies trop le contexte.

Open-Meteo offre un service, MF offre des données, ce n'est pas la même chose. 

Pour offrir ce service, Open-Meteo a besoin des binaires fournis par MF (les grib). MF et tous les autres organismes nationaux sont sur le même plan. Ce sont des fournisseurs de données et ces données sont traitées par d'autres pour offrir un service (au sens générique du terme). Ce n'est pas à MF de penser les usages possibles et de définir des API en fonction de ceux-ci. Pour ma part, je n'ai aucune utilité de fichiers JSON localisés en un point lon/lat et je serais bien embêté si je n'avais pas accès aux grib (ou aux NetCDF, HDF5, BUFR...).

Les usages ne se limitent heureusement pas aux applications web. Si tu ne recherches que l'observation (le temps observé dans une localité), l'API de MF te permet de récupérer en JSON les données de la station la plus proche. Parce que la donnée est déjà à cette granularité (la station, élément ponctuel).

Pour de la prévision, la granularité est multidimensionnelle : elle s'étend sur une aire de plusieurs milliers de km de côté et sur des dizaines de niveaux verticaux (dans l'atmosphère, dans le sous-sol). Open-Meteo extrait les données qui t'intéressent depuis les grib (ou autres) et te les fournit moyennant rémunération.

 

L'objectif n'est pas que tout public puisse jongler directement avec les données, quel que soit l'usage. Autrement dit, proposer du prémâché. L'objectif est de fournir les données le plus génériquement possible pour couvrir le maximum d'usage. À chacun, ou via des intermédiaires qui les prétraitent, de les manipuler avec des outils dédiés. Ce n'est pas pour décourager mais pour visualiser le contexte.

Là où je te rejoins, c'est sur la simplicité de l'API et sa documentation, la marge d'amélioration est importante.