Ouverture des données par Météo-France au 01/01/24

[Sebaas]

Présentée aujourd'hui en commission observation du CSM, on peut dire que les choses se précisent sérieusement!

 

[970hPa]

il y a 7 minutes, Sebaas a dit :

Présentée aujourd'hui en commission observation du CSM, on peut dire que les choses se précisent sérieusement!

 

@Fred59_  tu vas avoir du boulot   

 

Reste a savoir si du coté API on va avoir un truc clean .... 👀

[F-GAHX]

Bonjour,

Si je comprend bien seront dispo via l'API (et sans frais) l'integralité des stations sol de MF (tout réseau confondu ou uniquements certains?)

bref un bon courage à @Fred59_ et @Naej pour la mise en place sur IC merci du taff incroyable 

 

 

Modifié 8 novembre 2023 par F-GAHX

[Nané63]

Excellente nouvelle si ça se confirme ! 

Depuis le temps que c'était demandé ! J'espère que ça se confirmera. 

 

Avoir une base de donnée solide sur laquelle s'appuyer permettra d'avoir une lecture bien plus solide et précise du RC. C'était vraiment nécessaire dans le contexte actuel. 

Je suis convaincu que ça permettra de renforcer la vulgarisation de ce qu'il se passe actuellement, ainsi que de certains phénomènes météologiques au grand public. 

A voir maintenant comment ça se profilera. 

[_sb]

Il y a 4 heures, F-GAHX a dit :

Si je comprend bien seront dispo via l'API (et sans frais) l'integralité des stations sol de MF (tout réseau confondu ou uniquements certains?)

 

Citation

Bonjour,

Voici la réponse faite depuis la Publithèque :

 A ce jour, les données d'observations du réseau sol de France ne sont pas en
accès gratuit.
 Elles le seront début janvier 2024. Une information sera donnée courant
décembre sur le portail Données Publiques.

Cordialement,
Virginie C*****

 Division Valorisation des Données
Météo-France DSM/PFDP/VD
[1]https://donneespubliques.meteofrance.fr

 

[Damia]

C'est une excellente bonne nouvelle Vraiment massive en fait. Depuis le temps qu'on attends ça…

 

Reste que j'ai quelques réserves quand même. De quelle manière vont être rendues dispo ces données ? A quelle vitesse seront-elles accessibles ? Je vois sur les planches publiées plus haut qu'il y aura en gros deux options : l'option gratuite via API, et l'option payante (via j'arrive pas à comprendre ce que c'est) qui m'apparaît un peu être l'option "deluxe" avec débit maximum visiblement.

 

Mais bon, je dois me faire du mauvais sang pour rien, et puis ça permettra de détrôner Météociel de sa position de monopole sur ces données (je pense surtout au radar MF), ça va être cool d'avoir ça sur nos interfaces performantes

[Marc09]

L'actualité à ce sujet sur le site de Météo-France : https://meteofrance.fr/actualite/presse/au-1er-janvier-2024-donnees-publiques-en-acces-libre

[_sb]

https://portail-api.meteofrance.fr/

est toujours aussi laborieux. Si cette mise à disposition dans le cadre du gratuit utilise cette interface, j'espère qu'une amélioration est prévue. J'avais déjà signalé à l'époque les docs inexistantes, le manque d'ergonomie (ce qui est plus subjectif), les difficultés de connexion en tant qu'utilisateur enregistré.

[F-GAHX]

Il y a 15 heures, Marc09 a dit :

L'actualité à ce sujet sur le site de Météo-France : https://meteofrance.fr/actualite/presse/au-1er-janvier-2024-donnees-publiques-en-acces-libre

Si je comprend bien on a plus d'infos sur la diffusion des données,

la com officelle parle de 38 jeux de données ou leurs accès sera plus soumis a une redevance " Cette suppression concerne 38 jeux de données " et plus tard "plusieurs centaines de séries de données " donc MF a prévu de libérer encore plus de Data dans un futur proche 

 

Quand aux type de données.

Les Données radars ce seras que des images ou les sortie brut du radar ? (question alternative ça pese combien les sortie brut ?) 

Pour finir dans le réseau d'observation le RCE est pris en compte dans l'ouverture des données ?

[Fred59_]

il y a 13 minutes, F-GAHX a dit :

Si je comprend bien on a plus d'infos sur la diffusion des données,

la com officelle parle de 38 jeux de données ou leurs accès sera plus soumis a une redevance " Cette suppression concerne 38 jeux de données " et plus tard "plusieurs centaines de séries de données " donc MF a prévu de libérer encore plus de Data dans un futur proche 

 

Quand aux type de données.

Les Données radars ce seras que des images ou les sortie brut du radar ? (question alternative ça pese combien les sortie brut ?) 

Pour finir dans le réseau d'observation le RCE est pris en compte dans l'ouverture des données ?

 

 

 

[F-GAHX]

Merci @Fred59_ 

Dans le doc la colonne HVD ça corespond a la mise en Open Data sans redevance ? 

 

[Fred59_]

il y a 11 minutes, F-GAHX a dit :

Merci @Fred59_ 

Dans le doc la colonne HVD ça corespond a la mise en Open Data sans redevance ? 

 

 

Oui, HVD = réglement européen High Value Datasets qui oblige MF à le faire

[Hiigaraa]

J'espère qu'ils fourniront la climato sans avoir à faire un script pour récupérer les infos via l'api

A la limite si les options payantes sont abordables on peut demander si la communauté souhaite financer en one shot comme ça se fait pour les capteurs Taf ou station StatIC.

Modifié 11 novembre 2023 par Hiigaraa

[sylver19]

slt , si MF met en open data les lame d'eau peut etre ,j'aurais accès aussi aux pluvio EDF?

[F-GAHX]

Il y a 14 heures, Hiigaraa a dit :

J'espère qu'ils fourniront la climato sans avoir à faire un script pour récupérer les infos via l'api

A la limite si les options payantes sont abordables on peut demander si la communauté souhaite financer en one shot comme ça se fait pour les capteurs Taf ou station StatIC.

De ce que je sait Nicolas @nb4ld sur Twitter/X a prévu de récupérer les sorties des modèles avec l'aide de la communauté 

Je suppose que si météo france rend la récupération des Archives et data en temps réel compliqué la même type de reprise serait possible ?? (faudrait lui demander)

 

Modifié 11 novembre 2023 par F-GAHX

[Hiigaraa]

Nicolas il a un compte infoclimat sur le forum ? J'ai pas twitter et faut créer un compte.

[Babarskaja]

Il y a 1 heure, Hiigaraa a dit :

Nicolas il a un compte infoclimat sur le forum ? J'ai pas twitter et faut créer un compte.

 

oui: @nico123456

[Thundik81]

il y a une heure, Babarskaja a dit :

 

oui: @nico123456

 

ou anciennement @nico parapente

[Sebaas]

Le 11/11/2023 à 09:03, Hiigaraa a dit :

J'espère qu'ils fourniront la climato sans avoir à faire un script pour récupérer les infos via l'api

 

Comme indiqué dans ma deuxième diapo, les climato seront récupérables non chez MF mais sur meteo.data.gouv.fr , sur infrastructure cloud Etat gérée par la DINUM. A priori, des packages de .csv par département.

 

Pour le temps réel, API directes chez MF. Evidemment, on s'inquiète un peu de la capacité de leur plateforme à répondre aux sollicitations, mais sur de l'obs, la volumétrie est marginale par rapport au problème que posent les modèles de PNT. Surtout avec leur ensemble respectif!

Pour rappel, Infoclimat est membre de la commission observation du Conseil Supérieur de la Météorologie ET du groupe de travail données publiques qui s'est monté en septembre dernier. Accessoirement, l'idée d'un meteo.data.gouv.fr a germé l'an dernier pendant notre accompagnement par la DINUM et Etalab dans le cadre de l'Accélérateur initiatives citoyennes.

 

 

Croyez bien qu'il a fallu déployer pas mal d'arguments, de conviction et de patience face à certains de nos interlocuteurs "droits dans leurs bottes" malgré les échéances réglementaires...

[F-GAHX]

Donc si je suit bien tout ce qui est des archives (Climato et images passée ) ça dépendra de météo.data.gouv.fr et le temps réel de l'API de MF donc les Radars seront aussi impacté par la résistance des Serveurs de MF ? 

 

IC pourras elle aussi déposer sur météo.data.gouv.fr la climato des StatIC en open data?

 

Un énorme merci aux personnes qui on rendu l'ouverture des données de MF possible 

 

[baro54]

il y a 17 minutes, F-GAHX a dit :

Donc si je suit bien tout ce qui est des archives (Climato et images passée ) ça dépendra de météo.data.gouv.fr et le temps réel de l'API de MF donc les Radars seront aussi impacté par la résistance des Serveurs de MF ? 

 

IC pourras elle aussi déposer sur météo.data.gouv.fr la climato des StatIC en open data?

 

Un énorme merci aux personnes qui on rendu l'ouverture des données de MF possible 

 

Oui c est vraiment une bonne nouvelle et les impact de foudre temps réel et la nouvelle image satellite sera disponible gratuitement ?

[Sebaas]

il y a 16 minutes, baro54 a dit :

les impact de foudre temps réel

 

Non ça ce sont des données de la filiale Météorage, et non de MF. Cela restera payant.

[baro54]

il y a 13 minutes, Sebaas a dit :

 

Non ça ce sont des données de la filiale Météorage, et non de MF. Cela restera payant.

D accord merci Sur la carte radar sur le site aeroweb on peut afficher les impact de foudre de meteorage j espère qu'elle seront à nouveau accessible comme  au temps de l accès à meteotel😏 même si la géo-localisation sera moins précise que sur le site meteorage 

[_sb]

Il y a 6 heures, Hiigaraa a dit :

Nicolas il a un compte infoclimat sur le forum ? J'ai pas twitter et faut créer un compte.

 

https://nitter.net/nb4ld/

 

L'« open data » en mode payant ne me choque pas. Les objectifs des sources ouvertes sont notamment la pérennisation et la valorisation des données. Tant que le prix ne va pas à l'encontre de ces objectifs (ratio prix / objectifs), ce n'est pas choquant du tout.

Cela le devient lorsque le prix et/ou l'accès freine ces objectifs puisque le sens de la démarche est perdu. Ici, la politique de MF est rétrograde prise entre un esprit réticent me semble-t-il à cette évolution et les moyens alloués.

 

Le DWD (la météorologie allemande) rend ouvert un grand nombre de données depuis longtemps et en ouvre régulièrement des nouvelles. Pour autant, sur leurs serveurs publics et gratuit, les fichiers PNT sont paramètre par paramètre et couche par couche. Le nombre de requêtes est donc potentiellement très élevé dès qu'on souhaite un set conséquent de données. La durée des téléchargements augmente rapidement. En contrepartie, les serveurs, sans API mais en téléchargement direct, sont fiables et rarement down/avec fichiers corrompus depuis les années que je les utilise. Ce qui n'est pas le cas de MF de son serveur public actuel, pire dans le cas de son API.

 

Le Met'Off a aussi ouvert un set relativement large des données de ses modèles numériques. L'accès public gratuit de base se limite à 1 Go / mois, ce qui est ridiculement bas, le prix augmente ensuite par forfait d'environ 1£ / Go / mois.

L'API est plus robuste et rapide que celle de MF.

Cela n'a pas été simple tant c'est fermé auparavant mais au moins le Met'Off tente de construire quelque chose.

 

ECMWF a également ouvert quelques vannes l'an passé. Chez eux aussi, des questions demeurent : de nombreux cartes, diagrammes, profils sont fournis sous une licence ouverte via en gros deux méthodes : leur site qui est lent ou via une API qui aurait besoin d'être simplifié mais souvent plus fiable que l'accès direct.

ECMWF avait une interface assez rapide, une nouvelle interface a été développée, lente et plantant régulièrement.

Quant au téléchargement public et ouvert de données d'IFS, sauf à prendre l'entièreté de chaque cycle (plusieurs centaines de Go), le subsetter choisi est particulièrement tortueux.

 

Les italiens sont un peu dispersés (plusieurs instituts météorologiques) mais eux-aussi ouvrent petit à petit certaines données PNT et observationnelles. En téléchargements directs ou grâce à une API. malheureusement, la fiabilité n'est pas (encore) au rendez-vous : dysfonctionnements, absences de données durant plusieurs jours, cycles incomplets, ...

 

L'AEMET ouvrait (gratuitement) certaines données d'IFS en version dégradée bien avant qu'ECMWF ne le fasse.

Ça fait longtemps que je n'ai plus travaillé avec leur API, je ne saurais donc la commenter. En revanche, au niveau des PNT marines, c'est simple et efficace (téléchargement direct ou via OpenDAP, un protocole solide qui a fait ses preuves).

 

Le KNMI ou le FNI ouvrent les données depuis longtemps mais eux-aussi pas dans la grande simplicité ...

 

Reste la NOAA / NCEP / UCAR... avec de nombreuses données accessibles en direct, avec OpenDAP (l'intégration avec GrADS permet de faire des merveilles en demandant aux serveurs de réaliser eux-même certains calculs sur certaines données et de ne télécharger que le résultat) ou encore avec un subsetter éprouvé lui-même ouvert et donc réutilisable. En contrepartie, excepté en partie avec NOMADS, les données sont éparpillées sur une kyrielle de serveurs dépendants de toute sorte d'institutions différentes.

 

Entre USA et Europe, le fossé est encore large.

Outre les aspects de faible motivation et de moyens alloués, l'organisation globale de la science outre-atlantique, pour le meilleur et le pire, en comparaison de celle européenne, doit aussi avoir son importance dans ce paysage.

La politique de MF a rageante pour l'utilisateur final mais est finalement cohérente à échelle plus globale de la France, de l'Europe. Le chantier est donc énorme et l'accompagnement nécessaire. La situation actuelle ne doit probablement pas satisfaire grand monde.

[Fred59_]

Il y a 3 heures, F-GAHX a dit :

Donc si je suit bien tout ce qui est des archives (Climato et images passée ) ça dépendra de météo.data.gouv.fr et le temps réel de l'API de MF donc les Radars seront aussi impacté par la résistance des Serveurs de MF ? 

 

IC pourras elle aussi déposer sur météo.data.gouv.fr la climato des StatIC en open data?

 

 

Pour la première question, a priori ce sera plus compliqué que ça, et la majorité resterait sur la plateforme de MF.

Pour le 2e point, des infos que j'ai, ça a l'air compliqué aussi...