Ouverture des données par Météo-France au 01/01/24

[Pan]

Je confirme ce que dit @F-GAHX. Superbe interface permettant de visualiser les données en temps réel!

 

Par contre, un bémol de taille (parfois, en tout cas pour moi, qui ait suivi la situation au radar de Bollene toute la journée et ait été perturbé par les nombreux artefacts visuels), c'est que c'est les données brutes qui sont affichées. Seule V est corrigée. Pour le reste, en particulier la réflectivité, le ground clutter n'est pas filtré, il n'y a pas correction du blocage terrain, ni des speckles, ni de l'atténuation par les précipitations.

Autrement dit, ce que nous avons fait n'est pas si obsolète. Et j'essaierais peut-être soumettre un fork à son projet afin d'ajouter cela, puisque je l'ai implémenté.

 

Ca n'en reste pas moins un superbe effort.

[F-GAHX]

Tien nouvelle interessante, sur météo.data.gouv.fr certains paquet des Modèles sont dispo 

j'arrive pas a savoir si c'est des archive ou un moyen de contourner l'API 

 

[Sebaas]

Annonce officielle du hackathon dont je vous avais parlé:

 

 

[970hPa]

Il y a 2 heures, F-GAHX a dit :

Tien nouvelle interessante, sur météo.data.gouv.fr certains paquet des Modèles sont dispo 

j'arrive pas a savoir si c'est des archive ou un moyen de contourner l'API 

 

Surement un archive car je ne vois pas l'intérêt ce type de données pour contourner l'api  

[_sb]

Le 06/03/2024 à 12:14, 970hPa a dit :

Surement un archive car je ne vois pas l'intérêt ce type de données pour contourner l'api  

 

Ce sont les paquets « comme avant », permettant l'acquisition des données avec un nombre restreint de requêtes. Tout dépend de l'usage. 😉 

Ce sont les paquets de la version opérationnelle, à jour, compressés pour gagner de la place (mais qui demanderont à être décompressés une fois pour les exploiter plus rapidement).

[oliver88]

On 07/03/2024 at 20:35, _sb said:

 

Ce sont les paquets « comme avant », permettant l'acquisition des données avec un nombre restreint de requêtes. Tout dépend de l'usage. 😉 

Ce sont les paquets de la version opérationnelle, à jour, compressés pour gagner de la place (mais qui demanderont à être décompressés une fois pour les exploiter plus rapidement).

J'ai essayé les données sur meteo data gouv hier. Ces données contiennent plus de pas de temps que les paquets plus anciens, paquets SP2 et IP1, ou, je suppose, pour tous les paquets IP. 1 pas de temps horaire jusqu'à 48 heures et 3 pas de temps horaire jusqu'à 102 heures. Et des vitesses de téléchargement plus élevées que les anciens paquets.

 

970hPa  

Pour moi cette option de téléchargement est beaucoup plus facile que pour l'API. Et je pense qu'il est plus stable que l'API. Je n'ai toujours pas réussi à faire fonctionner l'api MeteoFrance, j'ai essayé il y a un mois et ça n'a pas fonctionné, je n'ai pas réessayé depuis. Et je n'ai pas pu comprendre pourquoi

Modifié 19 mars par oliver88

[yorik]

Bonjour,

 

 

Dans ce post j'ai vu que MF allait fermer la Publithèque cette année. Quelqu'un à des infos plus précises quant à la date de fermeture effective ????

 

Parce que leur mise à dispo des données en opendata n'est pas vraiment orientée grand public, ça confine à la farce !

 

Je les vois bien proposer une nouvelle Publithèque payante réservée aux non spécialistes... qui proposerait leurs données gratuites (mais non user-friendly) sous une forme utilisable par le grand public. Pas vous ? 

[matmar]

Il y a 17 heures, yorik a dit :

Bonjour,

 

 

Dans ce post j'ai vu que MF allait fermer la Publithèque cette année. Quelqu'un à des infos plus précises quant à la date de fermeture effective ????

 

Parce que leur mise à dispo des données en opendata n'est pas vraiment orientée grand public, ça confine à la farce !

 

Je les vois bien proposer une nouvelle Publithèque payante réservée aux non spécialistes... qui proposerait leurs données gratuites (mais non user-friendly) sous une forme utilisable par le grand public. Pas vous ? 

 

Bonjour yorik,

 

Par "grand public" ou "user-friendly" je pense que tu ne fais pas référence au format des données, celles d'observations sont par exemple au format csv ou json. Tu fais surement référence à la façon de télécharger les données.

Météo-France propose maintenant un moyen classique, actuel et sécurisé de télécharger des données à partir d'APIs. C'est vrai que c'est plutôt prévu pour s'interfacer avec des "machines" plutôt qu'avec des humains.

Pour les données d'obs 6 minutes l'URL est https://public-api.meteofrance.fr/public/DPObs/v1/station/infrahoraire-6m?id_station=31069001&format=csv (pour la station d'id 31069001)

La complexité peut résider dans la façon de transmettre le token - qui t'authentifie, que tu auras créé sur le portail - avec cette url.

N'hésitez-pas à poser des questions sur ce forum il y a plein de spécialistes qui pourront te répondre.

 

Edit: https://meteo.data.gouv.fr/ propose un moyen encore plus simple pour télécharger les données !! pas d'authentification requise.

 

Modifié 23 mars par matmar
meteo.data.gouv.fr

[yorik]

Le 22/03/2024 à 20:09, matmar a dit :

 

Bonjour yorik,

 

Par "grand public" ou "user-friendly" je pense que tu ne fais pas référence au format des données, celles d'observations sont par exemple au format csv ou json. Tu fais surement référence à la façon de télécharger les données.

Météo-France propose maintenant un moyen classique, actuel et sécurisé de télécharger des données à partir d'APIs. C'est vrai que c'est plutôt prévu pour s'interfacer avec des "machines" plutôt qu'avec des humains.

Pour les données d'obs 6 minutes l'URL est https://public-api.meteofrance.fr/public/DPObs/v1/station/infrahoraire-6m?id_station=31069001&format=csv (pour la station d'id 31069001)

La complexité peut résider dans la façon de transmettre le token - qui t'authentifie, que tu auras créé sur le portail - avec cette url.

N'hésitez-pas à poser des questions sur ce forum il y a plein de spécialistes qui pourront te répondre.

 

Edit: https://meteo.data.gouv.fr/ propose un moyen encore plus simple pour télécharger les données !! pas d'authentification requise.

 

 

Merci pour ta réponse

 

Le téléchargement et la lecture des fichiers n'est pas un prb... même si la scission par département est embêtante quand on a besoin de différentes stations dans différents départements à différentes périodes pour différents paramètres dans la même journée....

 

Mais il faut quant même être assez sachant en matière informatique pour les exploiter... Mais surtout, des choses simples telles que connaître la station dont dépend telle ou telle commune est un cauchemar pour le commun des mortels par exemple alors que la publithèque permettant cela aisément.

[F-GAHX]

Il y a 1 heure, yorik a dit :

 

Merci pour ta réponse

 

Le téléchargement et la lecture des fichiers n'est pas un prb... même si la scission par département est embêtante quand on a besoin de différentes stations dans différents départements à différentes périodes pour différents paramètres dans la même journée....

 

Mais il faut quant même être assez sachant en matière informatique pour les exploiter... Mais surtout, des choses simples telles que connaître la station dont dépend telle ou telle commune est un cauchemar pour le commun des mortels par exemple alors que la publithèque permettant cela aisément.

Un explorateur des données de climato/du jour sans les restriction de la dispo des données 

une idée pour le hackathon ça  @Sebaas

[Meteo-Corny]

Bonjour Existe-il une doc pour mettre en forme les API de MF? Pour Mr et Mme tout le monde c'est assez complexe quand meme. Merci

[matmar]

Le 28/03/2024 à 10:33, Meteo-Corny a dit :

Bonjour Existe-il une doc pour mettre en forme les API de MF? Pour Mr et Mme tout le monde c'est assez complexe quand meme. Merci

 

Non car il existe une multitude de mise en forme des données possible.

Proposition simple, importe les données csv dans un logiciel tableur type Microsoft Excel ou LibrOffice Calc... en quelques minutes tu pourras générer des graphiques à partir de ses données.

 

[_sb]

Le 22/03/2024 à 20:09, matmar a dit :

Météo-France propose maintenant un moyen classique, actuel et sécurisé de télécharger des données à partir d'APIs. C'est vrai que c'est plutôt prévu pour s'interfacer avec des "machines" plutôt qu'avec des humains.

 

C'est tout de même particulièrement pénible que les serveurs MF refusent après deux, trois voire cinq requêtes aux heures de pointe (sic) alors que je suis bien en-dessous des 50 requêtes / minutes (srv MF -> srv perso). Les serveurs semblent réellement sous-dimensionnés.

Pourquoi ne pas proposer aussi le téléchargement de toutes les échéances en un seul pack (PE Arpege) ? ça augmenterait un peu la BP brièvement mais libérerait le nombre de requêtes et les appels internes.

Modifié 2 avril par _sb

[F-GAHX]

Il y a 11 heures, _sb a dit :

 

C'est tout de même particulièrement pénible que les serveurs MF refusent après deux, trois voire cinq requêtes aux heures de pointe (sic) alors que je suis bien en-dessous des 50 requêtes / minutes (srv MF -> srv perso). Les serveurs semblent réellement sous-dimensionnés.

Pourquoi ne pas proposer aussi le téléchargement de toutes les échéances en un seul pack (PE Arpege) ? ça augmenterait un peu la BP brièvement mais libérerait le nombre de requêtes et les appels internes.

Dans ce cas ne pas hésiter a leurs faire remonter l'info par le formulaire de contact https://portail-api.meteofrance.fr/web/en/contact

J'ai fait remonter que le rate limit des API radars ne permettait pas les récupération de tout les fichiers avant le renouvellement de ceux ci Le rate limit a été (largement) augmenté 

également proposer l'iddée du pack unique par sortie de modele 

[theperk]

Le 05/01/2024 à 23:29, cunimb a dit :

Tous les programmes utilisés renvoient la même erreur 

unable to open 'bufr_32_linux/localtabd_85_14.csv'
Warning: unable to read local BUFR Table D !
Unknown data descriptor found: F=0, X=1, Y=192 !

 

J'ai beau fouiller sur le site de MF, impossible de trouver les tables qui permettent de décoder leurs bufr. Ou alors j'ai mal regarder??
 

 

Pour ceux qui sont toujours à la recherche d'une solution pour décoder à l'aide de programmes basés sur le soft BUFR d'OPERA, et après plusieurs semaines d'échanges de mail avec MF, voici donc le problème qui faisait planter :

 

Citation

Il faut remplacer la ligne 218 du fichier desc.h

 

#define MAXDESC   2000

par

#define MAXDESC   3000

 

et recompiler par

make clean

make -f makefile.gcc clean;make -f makefile.gcc

ceci résoudra surement vos problèmes de décodage du descripteur F=0, X=1, Y=192.

 

Les tables de MF sont donc plus grandes que ce qui était prévu à l'origine par les concepteurs du programme 😉

[_sb]

Il y a 13 heures, F-GAHX a dit :

Dans ce cas ne pas hésiter a leurs faire remonter l'info par le formulaire de contact https://portail-api.meteofrance.fr/web/en/contact

J'ai fait remonter que le rate limit des API radars ne permettait pas les récupération de tout les fichiers avant le renouvellement de ceux ci Le rate limit a été (largement) augmenté 

également proposer l'iddée du pack unique par sortie de modele 

 

J'avoue ne pas l'avoir fait. Je n'avais jamais eu de réponses de MF par le passé, que ce soit pour des requêtes de « particulier » ou des requêtes commerciales, certes modestes (et qui ne devait pas intéresser l'institution). C'est une des raisons principales qui m'avaient poussé à approfondir l'offre nettement plus étoffée du DWD (et beaucoup plus réactif que leur homologue français).

Donc, je les contacterai pour l'idée du pack unique ("FFDDP1", "RRP1", ...) pour l'ensemble des échéances, comme présent pour AROME et ARPEGE sur data.gouv.fr/fr/organizations/meteo-france

En revanche, ce n'est pas une question de rate limit, je temporise mes appels et je traite chaque paquet reçu avant de requêter le suivant, ce qui me donne une moyenne de 5 appels / minute, très en-deça de la limite de 50 appels / minute.

[F-GAHX]

il y a 36 minutes, _sb a dit :

En revanche, ce n'est pas une question de rate limit, je temporise mes appels et je traite chaque paquet reçu avant de requêter le suivant, ce qui me donne une moyenne de 5 appels / minute, très en-deça de la limite de 50 appels / minute.

Oui mais faire remonter que la récuperation était difficile en heure de pointe permet de rendre l'infra plus fiable par la suite 

c'est plutôt dans cet objectif la 

 

[970hPa]

Le 03/04/2024 à 08:44, F-GAHX a dit :

Dans ce cas ne pas hésiter a leurs faire remonter l'info par le formulaire de contact https://portail-api.meteofrance.fr/web/en/contact

J'ai fait remonter que le rate limit des API radars ne permettait pas les récupération de tout les fichiers avant le renouvellement de ceux ci Le rate limit a été (largement) augmenté 

également proposer l'iddée du pack unique par sortie de modele 

Quand ils ont envie de répondre c'est bien sinon bah, c'est inutile   

[F-GAHX]

il y a 11 minutes, 970hPa a dit :

Quand ils ont envie de répondre c'est bien sinon bah, c'est inutile   

Mon experience avec le support du portail des API a été vachement bon mais spécifiquement sur le portail via le formulaire de contact 

[Sebaas]

Le 06/03/2024 à 12:14, Sebaas a dit :

Annonce officielle du hackathon dont je vous avais parlé:

 

 

 

Notre équipe composée de @Naej @Arkus @theperk @F-GAHX et de Corentin, créateur de l'Aps et du site Hey Météo  s'est amusée sur les données du modèle SIM ; sur les 22 équipes, le jury (constitué notamment de Valérie Masson Delmotte, des directrices de MF et de la DINUM, de Guillaume Rozier,conseiller au numérique auprès du PR) a retenu 4 projets, dont le notre "ClimaViz"

 

On vous montrera à quoi ça ressemble dans les prochains jours, en tout cas on s'est éclatés, et je suis très fier de cette team!

[Arkus]

Oui super expérience, pour être honnêtes on est venus sans prétention, et au vu des autres équipes on ne pensait pas forcément aller si loin ! On a vraiment joué le jeu en repartant d'une feuille blanche sans se baser sur nos acquis. Mais c'est vrai qu'après les discussions avec les autres participants, les organisateurs, et même ce que j'ai perçu du jury, il y avait quand même un certain engouement autour de notre présence, dans le "milieu".

Comme l'a évoqué @Sebaas, le projet était d'aller exploiter le modèle SIM qui contient notamment les données servant à établir les indices pluviométriques, bilans d'enneigements, et le fameux indice d'humidité des sols. C'est ce dernier qu'on a mis en avant comme exemple dans ce qu'on a présenté, avec ce genre de graphique :

 

 

Pour ce qui est de l'interface, vous pouvez avoir une aperçu sur la réutilisation qui a été publiée ici : https://www.data.gouv.fr/fr/reuses/climaviz/

 

L'idée étant qu'à terme (un jour !) cela soit opérationnel et en ligne, mais évidemment cela ne se fait pas en 2 jours 😁 Là, disons qu'on a mis un premier coup de pioche !

[_sb]

Le 03/04/2024 à 08:44, F-GAHX a dit :

Dans ce cas ne pas hésiter a leurs faire remonter l'info par le formulaire de contact https://portail-api.meteofrance.fr/web/en/contact

J'ai fait remonter que le rate limit des API radars ne permettait pas les récupération de tout les fichiers avant le renouvellement de ceux ci Le rate limit a été (largement) augmenté 

également proposer l'iddée du pack unique par sortie de modele 

 

Citation

Bonjour,

Ce type de fourniture n'est pas prévu pour le moment.

Bien à vous,

 

[Sebaas]

Le 02/04/2024 à 21:34, _sb a dit :

 

C'est tout de même particulièrement pénible que les serveurs MF refusent après deux, trois voire cinq requêtes aux heures de pointe (sic) alors que je suis bien en-dessous des 50 requêtes / minutes (srv MF -> srv perso). Les serveurs semblent réellement sous-dimensionnés.

Pourquoi ne pas proposer aussi le téléchargement de toutes les échéances en un seul pack (PE Arpege) ? ça augmenterait un peu la BP brièvement mais libérerait le nombre de requêtes et les appels internes.

 

Du coup, une bonne partie est dispo sur meteo.data.gouv.fr, sur des infras bien plus résilientes : https://meteo.data.gouv.fr/datasets/65bd13e557b26b467363b521

 

Et les ensembles arriveront progressivement.

[_sb]

Oui, il manque la PE et a priori ce n'est donc pas pour bientôt.

Ceci dit, les champs probabilistes disponibles auparavant de la PE le sont toujours sur les anciens serveurs de MF avec les données opérationnelles actuelles. Peut-être pas pour longtemps... Ce ne sont pas les mêmes champs que ceux proposés sur le nouveau portail.

[Sebaas]

il y a 12 minutes, _sb a dit :

Oui, il manque la PE et a priori ce n'est donc pas pour bientôt.

 

Je dirais l'inverse mais on verra bien.