Ouverture des données par Météo-France au 01/01/24

[quantum]

Le 03/01/2024 à 22:12, Fabrice01 a dit :

Il est vrai que par le nouveau portail, nous n'avons pas d'autres choix que d'avoir les données de tout le département, ce qui fait le fichier énorme.

Du coup, j'avais conservé mon compte sur le site de la publithèque. Je passe encore par là pour récupérer précisément que les stations et les données qui m'intéressent.

Pour info, ta station a fermé le 30/06/1990

Bonsoir

 

merci pour pour la date de fermeture de la station.

Il a du quitter le site à la fin de l'année scolaire puisque la station (thermomètre + pluviomètre) était sur le terrain du collège.

 

Quelqu'un peut-il m'expliquer les étapes à suivre pour récupérer les données de la station du Faouet (56) fermé en 1990 parce que je sais pas trop comment faire à partir du site de Météo France ?

Merci d'avance.

 

 

[Fred59_]

Il y a 18 heures, F-GAHX a dit :

Hello à tous,

je trainais sur le portail des données publique et je me demande si les données dont rêve @Fred59_ ne sont pas dispo* 

*Par contre c'est uniquement dans les données "En archive" et en moyen d'accès différé donc probablement un enfer a obtenir 

 

Ce sont les réanalyses COMEPHORE, qui sont déjà présentes sur IC 🙂

Malheureusement, ces analyses en "temps réel" (PANTHERE, ANTILOPE) ne sont pas open-data... 😞 

[F-GAHX]

il y a une heure, Fred59_ a dit :

 

Ce sont les réanalyses COMEPHORE, qui sont déjà présentes sur IC 🙂

Malheureusement, ces analyses en "temps réel" (PANTHERE, ANTILOPE) ne sont pas open-data... 😞 

Avec les talents présent sur IC et les données brut en open data tu pense qu'il serait posible de faire une version maison avec les data brut des radars des pluvio MF et statIC avec même un meilleure résolution ?? (je sait que ça doit être un taff de fou furieux) 

[Fred59_]

Il y a 2 heures, F-GAHX a dit :

Avec les talents présent sur IC et les données brut en open data tu pense qu'il serait posible de faire une version maison avec les data brut des radars des pluvio MF et statIC avec même un meilleure résolution ?? (je sait que ça doit être un taff de fou furieux) 

 

Bien sûr, c'est ce que j'avais anticipé et ce qu'on fait d'ailleurs déjà plus ou moins en moins complexe (pas de fusion avec les stations), mais malgré tout le talent et les idées, il faut... du temps (et/ou beaucoup d'argent) 😅

[F-GAHX]

Il y a 3 heures, Fred59_ a dit :

 

Bien sûr, c'est ce que j'avais anticipé et ce qu'on fait d'ailleurs déjà plus ou moins en moins complexe (pas de fusion avec les stations), mais malgré tout le talent et les idées, il faut... du temps (et/ou beaucoup d'argent) 😅

Je me demandais juste si avec la fusion des station StatIC dça apporterais pas une qualité plus grande que ce qu'a accès MF 

Et sinon oui le taff que vous faites est incroyable 

[theperk]

Le 07/01/2024 à 21:16, quantum a dit :

Bonsoir

 

merci pour pour la date de fermeture de la station.

Il a du quitter le site à la fin de l'année scolaire puisque la station (thermomètre + pluviomètre) était sur le terrain du collège.

 

Quelqu'un peut-il m'expliquer les étapes à suivre pour récupérer les données de la station du Faouet (56) fermé en 1990 parce que je sais pas trop comment faire à partir du site de Météo France ?

Merci d'avance.

 

 

 

Bonjour,

si j'ai bien compris, il faut soit passer par le site des API et requêter avec l'API des données climato : https://portail-api.meteofrance.fr/web/fr/api/DonneesPubliquesClimatologie, (j'ai testé mais il y a plusieurs étapes et apparemment c'est limité à 1 an de donnée par requête)

ou bien passer par le site https://meteo.data.gouv.fr/datasets et télécharger les fichiers du département où se trouve ta station et extraire les données de ta station.

 

J'ai choisi la 2e option et j'ai créé un fichier colab mis à disposition sur mon github  pour ceux qui savent utiliser python:

https://github.com/theperk08/Meteo_France_Climato

 

Y'a qu'à modifier la cellule PARAMETRES (et lancer ensuite toutes les cellules) pour ceux qui veulent télécharger les données de leur station ou télécharger d'un coup les données des départements souhaités.

 

En espérant que ça puisse faire ton affaire ou aider d'autres personnes

[theperk]

Le 05/01/2024 à 23:29, cunimb a dit :

Bjr,

Il y a quelques années je m'étais amusé avec les grib de arome et arpege, ca allait à peu près.

Là je regarde les bufr de l'API "donnees radars" et absolument impossible de les lire. Apparemment MF a oublié de fournir les tables qui permettent de décoder leurs fichiers bufr ?!

Tous les programmes utilisés renvoient la même erreur 

unable to open 'bufr_32_linux/localtabd_85_14.csv'
Warning: unable to read local BUFR Table D !
Unknown data descriptor found: F=0, X=1, Y=192 !

 

J'ai beau fouiller sur le site de MF, impossible de trouver les tables qui permettent de décoder leurs bufr. Ou alors j'ai mal regarder??
 

 

Ce que tu cherches est peut-être dans la documentation :

 

https://donneespubliques.meteofrance.fr/?fond=produit&id_produit=307&id_rubrique=34

et donc : https://donneespubliques.meteofrance.fr/client/document/tables_bufr_361.zip

 

Justement je ne sais pas utiliser les fichiers BUFR, si quelqu'un pouvait m'expliquer (je suis sous Windows donc je ne suis pas sûr de pouvoir m'en servir)

Pour l'instant je ne peux utiliser que les données radar de Lame D'eau en maille 500 (seules données dispo en fichier hdf5) mais je n'arrive pas à afficher un fond de carte avec.

[F-GAHX]

 

il y a 21 minutes, theperk a dit :

 

Ce que tu cherches est peut-être dans la documentation :

 

https://donneespubliques.meteofrance.fr/?fond=produit&id_produit=307&id_rubrique=34

et donc : https://donneespubliques.meteofrance.fr/client/document/tables_bufr_361.zip

 

Justement je ne sais pas utiliser les fichiers BUFR, si quelqu'un pouvait m'expliquer (je suis sous Windows donc je ne suis pas sûr de pouvoir m'en servir)

Pour l'instant je ne peux utiliser que les données radar de Lame D'eau en maille 500 (seules données dispo en fichier hdf5) mais je n'arrive pas à afficher un fond de carte avec.

 

Alors Les BUFR de MF sont codé de maniere hyper compliqué 

et ne respectant pas leurs tables de codage 

certains membres du forum essayent de les décoder autrement et automatiser tout cela 

des que c'et pret j'imagine que ca sera mis en ligne 

[zeDodo]

Pour utiliser l'API de meteoFR il faut un token.

On peut avoir un token via la page web, mais savez vous s'il est possible d'obtenir ce token par un appel web ?

 

Je n'ai pas trouve de doc meteoFR sur le sujet

 

Si en plus il y a du code python ou autre pour faire cet appel, je serai aux anges.

Nicolas

 

[theperk]

Il y a 3 heures, zeDodo a dit :

Pour utiliser l'API de meteoFR il faut un token.

On peut avoir un token via la page web, mais savez vous s'il est possible d'obtenir ce token par un appel web ?

 

Je n'ai pas trouve de doc meteoFR sur le sujet

 

Si en plus il y a du code python ou autre pour faire cet appel, je serai aux anges.

Nicolas

 

Oui c'est possible et c'est d'ailleurs expliqué dans leur FAQ :

https://portail-api.meteofrance.fr/web/fr/faq

cf section 3 : y'a même le code python pour le faire justement

Et ça fonctionne (chez moi en tout cas)

 

Par contre ce qui ne fonctionne pas chez moi c'est l'accès aux API données radar Odyssey et Opera : l'accès m'est interdit ! (alors que pour les autres API l'accès était opérationnel immédiatement)

Je leur ai envoyé un mail à ce sujet la semaine dernière, mais tout ce qu'ils ont su me dire c'est de vider le cache de mon navigateur (ce qui n'a évidemment rien à voir et n'a pas résolu mon problème).

 

Suis-je le seul à avoir ce problème d'accès à certaines API ?

 

 

[cunimb]

Le 16/01/2024 à 18:19, theperk a dit :

Oui c'est possible et c'est d'ailleurs expliqué dans leur FAQ :

https://portail-api.meteofrance.fr/web/fr/faq

cf section 3 : y'a même le code python pour le faire justement

Et ça fonctionne (chez moi en tout cas)

 

Par contre ce qui ne fonctionne pas chez moi c'est l'accès aux API données radar Odyssey et Opera : l'accès m'est interdit ! (alors que pour les autres API l'accès était opérationnel immédiatement)

Je leur ai envoyé un mail à ce sujet la semaine dernière, mais tout ce qu'ils ont su me dire c'est de vider le cache de mon navigateur (ce qui n'a évidemment rien à voir et n'a pas résolu mon problème).

 

Suis-je le seul à avoir ce problème d'accès à certaines API ?

 

 

Bjr,

 

Pareil pour moi pour Odysee et Opera, accés rejeté.

Entre ça et les BUFR impossible à utiliser sans avoir bac +10 informatique...

[theperk]

Finalement c'est "normal" que l'accès soit rejeté pour Odyssey et Opera : j'avais pas fait gaffe mais dans leur doc ( https://portail-api.meteofrance.fr/web/fr/RadarEumetnet/documentation ) il est précisé :

Citation

L'utilisation de ces produits est actuellement disponible à des fins pédagogiques et de recherche.

Cette utilisation est gratuite.

Néanmoins, une licence doit être obtenue auprès d'Eumetnet (le propriétaire de ces produits), avant de pouvoir accéder aux produits via ce portail

 

J'ai fait ma demande à l'adresse concernée, j'attends qu'ils l'acceptent.

 

Quant aux BUFR, je m'y plonge mais ne sais pas si je vais couler ou pas 🙃

[Bunk]

Concernant les données 6 minutes mises à disposition via l'API Données Climatologiques, seules les données de précipitations remontent. Est-ce qu'on sait si les autres paramètres sont prévus d'être partagés via cette API aussi comme c'est le cas pour les données horaires et quotidiennes ?

De plus avec l'API Données d'observation en faisant un test pour récupérer les données 6 minutes les plus proches d'une date donnée en paramètre, j'ai l'impression que l'API ne prend pas en compte la date et renvoie le dernier relevé 6 minutes disponible (du jour même), quelqu'un d'autre a ce souci ?

[theperk]

il y a 55 minutes, Bunk a dit :

[...]

De plus avec l'API Données d'observation en faisant un test pour récupérer les données 6 minutes les plus proches d'une date donnée en paramètre, j'ai l'impression que l'API ne prend pas en compte la date et renvoie le dernier relevé 6 minutes disponible (du jour même), quelqu'un d'autre a ce souci ?

 

Pour cette API "Données d'observation", il faut chercher dans la doc de la doc de la doc 🙃

https://donneespubliques.meteofrance.fr/?fond=produit&id_produit=93&id_rubrique=32 : Documentation puis "Descriptif techniques des produits"

pour comprendre que :

Citation

La profondeur temporelle de rétention des données d'observation est de 24h

 

Donc quand tu entres une date et une heure antérieure à 24h, il te renvoit la donnée la plus lointaine possible, c'est à dire 24h avant le moment de ta requête.

(il ne renvoit pas le dernier relevé du jour, mais le relevé de la veille à la même heure que le jour de ta requête)

[theperk]

Le 15/01/2024 à 12:58, F-GAHX a dit :

Alors Les BUFR de MF sont codé de maniere hyper compliqué 

et ne respectant pas leurs tables de codage 

 

C'est surtout le principe des fichiers BUFR qui est sacrément tordu.

 

Je me suis donc plongé dans la doc et j'ai pondu mon propre programme (en python dans un fichier notebook) pour décrypter ces fichiers et visualiser les données.

Mon programme n'est pas complet, il ne prend pas en compte tous les descripteurs possibles de la table C, mais ça suffit pour l'instant à décoder les fichiers BUFR de l'API "Données Radar".

 

Par contre je ne garantis quand même pas l'exactitude de mon décodage (je ne sais d'ailleurs pas à quoi correspond le descripteur "Height" : serait-ce la hauteur des nuages ?), donc pour ceux que ça intéressent et qui trouvent une erreur, n'hésitez pas à me le signaler :

 

https://github.com/theperk08/Meteo_France_Radars

 

 

 

 

[Bunk]

il y a 10 minutes, theperk a dit :

 

Pour cette API "Données d'observation", il faut chercher dans la doc de la doc de la doc 🙃

https://donneespubliques.meteofrance.fr/?fond=produit&id_produit=93&id_rubrique=32 : Documentation puis "Descriptif techniques des produits"

pour comprendre que :

 

Donc quand tu entres une date et une heure antérieure à 24h, il te renvoit la donnée la plus lointaine possible, c'est à dire 24h avant le moment de ta requête.

(il ne renvoit pas le dernier relevé du jour, mais le relevé de la veille à la même heure que le jour de ta requête)

 

Merci pour ta réponse @theperk, oui effectivement c'est un relevé de la veille et non du jour-même je n'ai pas lu correctement le retour.

Mais du coup je ne comprends pas l'intérêt de pouvoir préciser une date si le relevé renvoyé est forcément du jour ou de la veille 🤔

[F-GAHX]

Welcome to MF 

[Count]

Est-il possible de trouver quelque part la liste de tous les postes qui ont déjà été un jour ouverts et les périodes de relevés ?

[970hPa]

Il y a 14 heures, Count a dit :

Est-il possible de trouver quelque part la liste de tous les postes qui ont déjà été un jour ouverts et les périodes de relevés ?

Tu peux trouver via les métadonnées 

 

https://meteo.data.gouv.fr/datasets/656dab84db1bdf627a40eaae

[F-GAHX]

Hello,

j'avais fait remarquer a MF il y a un bout de temps que le rate limit sur leurs API des radars qui était a 50 par minutes ce qui ne permettait pas une récupération de tout les radars par un seul compte dans le laps des 5 minutes avec les images "fraiches". A l'époque on m'avais dit que la politique de MF était de 50 et pas plus, on m'avais également dit que la politique actuelle était uniquement de la donné brut donc rien de traité je suis désolé @Fred59_ mais les lames d'eau réanalysée ça a pas l'air dans leurs roadmap.

 

 

Il ont monté la limite a 850 par minutes ce qui permet la récupération de tt les données (bien penser a se désabonner puis se réabonner)

les données package OM sont normalement bien présent 

bref pleins de bonne nouvelles  

 

[Arkus]

Le 10/02/2024 à 21:11, Count a dit :

Est-il possible de trouver quelque part la liste de tous les postes qui ont déjà été un jour ouverts et les périodes de relevés ?

 

Je mets à disposition pour tous ceux que ça intéresse les scripts que j'ai pour voir le contenu des fichiers de données quotidiennes de l'open data MF. Ce sont des scripts ksh qui se lancent sous environnement linux. Il suffit juste de placer préalablement les fichiers de données quotidiennes qui nous intéressent sous "data".

Tout est en pièce jointe, il y a un readme, et quelques données d'exemple.

 

Cela permet de voir soit toutes les stations d'un département et dates de mesures pour un paramètre, soit tous les paramètres et dates de mesures pour une station. Et il y a un script pour extraire une série temporelle (1 paramètre - 1 station).

 

Par exemple si on veut connaître toutes les mesures pluvio de la Haute-Garonne, il faut exécuter la commande :

 

./List_stations_MF.ksh 31 RR

 

Et cela renvoie :

 

Station                                 ID        Alt.   Paramètre        Début       Fin      Dispo(%)
ALBIAC-AGGLOMERATION                 31006001     289     RR           1881-02-01  1903-12-31    20.4
ARBAS                                31011001     405     RR           1968-03-01  2024-02-09    99.7
AURAGNE                              31024001     240     RR           1964-06-02  1988-09-30    99.0
AURAGNE-PONTIES                      31024002     240     RR           1988-10-01  2020-12-31   100.0
AURIBAIL-AGGLOMERATION               31027001     250     RR           1904-09-01  1924-03-31    21.7
AURIGNAC                             31028001     390     RR           1872-01-01  1993-02-28    57.1
AUTERIVE-COLLEGE                     31033001     188     RR           1979-01-01  1986-08-31    97.8
...
TOULOUSE-BLAGNAC                     31069001     151     RR           1947-01-01  2024-02-09   100.0
TOULOUSE-BOULEVARD-DES-MINIMES       31555002     140     RR           1959-01-01  1973-12-31    95.5
TOULOUSE-CANAL                       31555012     155     RR           1809-01-01  1899-05-28    99.6
TOULOUSE-ECOLE-NORMALE               31555003     147     RR           1867-01-01  1928-12-31    42.9
TOULOUSE-FRANCAZAL                   31157001     164     RR           1922-06-19  2024-02-09    98.5
TOULOUSE-JARDIN-BOTANIQUE            31555001     144     RR           1952-05-11  1968-09-30    99.9
TOULOUSE-MONTAUDRAN                  31555013     147     RR           1920-12-01  1922-06-13   100.0
TOULOUSE-OBSERVATOIRE-JOLIMONT       31555016     195     RR           1874-01-01  1984-10-31    83.6
TOULOUSE-PONTS-ET-CHAUSSEES          31555009     145     RR           1872-01-01  1879-08-31    23.9
VAUDREUILLE                          31569001     436     RR           1964-06-01  1982-10-31    85.0
VERFEIL                              31573001     158     RR           1972-06-01  2022-12-31    99.5
VERFEIL-AGGLOMERATION                31573002     225     RR           1881-02-01  1889-12-31    47.7
VILLARIES                            31579001     135     RR           1973-06-01  2024-02-09    99.7
VILLEFRANCHE/SA                      31582003     170     RR           1990-09-03  2004-06-30    99.1
VILLEFRANCHE-L                       31582001     190     RR           1899-01-01  1996-12-31    74.9
VILLEMATIER                          31583001     115     RR           1994-01-01  2016-04-30   100.0
VILLEMUR/TARN                        31584001     100     RR           1962-06-01  1993-12-31   100.0
VILLENEUVE-DE-RIVIERE-JUNKASSA       31585001     380     RR           1959-03-01  1974-12-31    99.4
VILLENEUVE-LES-BOULOC                31587001     132     RR           1883-01-01  1911-07-31    52.2

 

Scripts_open_data_MF.zip

Modifié 14 février par Arkus

[Sebaas]

Save the date : hackathon "meteo.data.gouv.fr" prévu les 8 et 9 avril prochain à Paris dans le 7ème.

 

Organisé par la DINUM et MF, il va sans dire qu'IC se débrouillera pour être présent. Les inscriptions devraient ouvrir début mars a priori ; il y a sur ce topic quelques participants qui pourraient constituer une magnifique "Team IC"

[pongiste]

Bonjour @Sebaas

Je t'ai envoyé un MP il y a quelques jours et je cherche désespérément à entrer en contact avec quelqu'un qui gère le site infoclimat pour pouvoir enfin valider mon inscription. Peux-tu m'aider ?

Pour accéder au formulaire de contact du site infoclimat il faut...se connecter. Donc être inscrit...

 

Merci de ton aide ou de l'aide de quiconque.

[F-GAHX]

Bon c'est pas vraiment MF (mais je trouve pas de sujets si les modos veulent déplacer pas de soucis ) 

https://www.ecmwf.int/en/about/media-centre/news/2024/ecmwf-releases-much-larger-open-dataset

Plus de data sur les données de L'ECMWF

https://x.com/ECMWF/status/1763230351105646686?s=20

Modifié 29 février par F-GAHX

[F-GAHX]

Bonsoir à tous 

Pour l'exploitation des Radars on a été battu 

de ce que on a tester ça a l'air de fonctioner 

Enjoy 

https://twitter.com/BramvantVeen/status/1763946636823216522?s=20

github.com/Bram94/NLradar

 

Modifié 3 mars par F-GAHX