Ouverture des données par Météo-France au 01/01/24

[baro54]

Bonjour auront nous une géo-localisation sur l animation radar météo France comme par exemple sur météotel au temps passé l orsque nous avons eu l accès  :avec la carte des ville zoom impact de foudre   etc en temps réel   ect j en doute ?😑

[oliver88]

On 22/12/2023 at 10:22, Sebaas said:

 

Rien de nouveau là-dedans, tout cela est en ligne depuis bien longtemps.

 

Ce qui est disponible sur meteo.data.gouv.fr l'est déjà, il suffit d'aller sur le site: https://meteo.data.gouv.fr/datasets?topic=6571f26dc009674feb726be9

En début d'année prochaine, meteo.data.gouv.fr va aussi accueillir des GRIB Arpège et Arome.

 

L'information essentielle de ces derniers jours, c'est l'enrichissement très significatif le 2 janvier du portail des API MF : https://portail-api.meteofrance.fr

 

Au programme:

 

 

 

L'ARPEGE de résolution de 5 km arrive enfin.🤗 Sera-t-il disponible en téléchargement direct, ou seulement avec l'api ? Actuellement non disponible portail api MeteoFrance 

Modifié 30 décembre 2023 par oliver88
Je l'ai accidentellement envoyé sans réponse

[baro54]

Bonjour j'ai pas trop bien compris l'orsque l'api sera disponible il faudra téléchargé les données radar précipitation à chaque fois que l'on veut consulter l imagerie ?ou cela sera directement en ligne merci 

[Damia]

Hmmm pas tout à fait non.

 

Côté IC on va télécharger les données du radar, qui seront brutes, pour ensuite les convertir en tuiles jpeg (ou png) pour les rendre lisibles dans l'interface du radar, que l'on pourra zoomer, faire défiler, tout ça.

[baro54]

il y a 15 minutes, Damia a dit :

Hmmm pas tout à fait non.

 

Côté IC on va télécharger les données du radar, qui seront brutes, pour ensuite les convertir en tuiles jpeg (ou png) pour les rendre lisibles dans l'interface du radar, que l'on pourra zoomer, faire défiler, tout ça.

Intéressant tout sa avec une actualisation de la carte plus rapide le top 😉

[quantum]

Pour la station Méteo-France de Saint Goazec (29), il n'y a au 01/01/24 que les données de température et de pluviométrie : https://www.infoclimat.fr/observations-meteo/temps-reel/saint-goazec/MF29249002.html

Or d'après la fiche station MF, il y a aussi des capteurs pour l'humidité et le vent : https://donneespubliques.meteofrance.fr/metadonnees_publiques/fiches/fiche_29249002.pdf

 

Cette limitation est-elle volontaire ?

Faudra-t-il attendre les prochains jours pour avoir les autres relevés ?

[970hPa]

il y a 25 minutes, quantum a dit :

Pour la station Méteo-France de Saint Goazec (29), il n'y a au 01/01/24 que les données de température et de pluviométrie : https://www.infoclimat.fr/observations-meteo/temps-reel/saint-goazec/MF29249002.html

Or d'après la fiche station MF, il y a aussi des capteurs pour l'humidité et le vent : https://donneespubliques.meteofrance.fr/metadonnees_publiques/fiches/fiche_29249002.pdf

 

Cette limitation est-elle volontaire ?

Faudra-t-il attendre les prochains jours pour avoir les autres relevés ?

Comme Fred a déjà expliqué c'est un bug d'affichage.. Ces stations ne devrait pas s'afficher sur les cartes 

[stormi26]

il y a 13 minutes, 970hPa a dit :

Comme Fred a déjà expliqué c'est un bug d'affichage.. Ces stations ne devrait pas s'afficher sur les cartes 

 

Je ne comprend pas bien, pourquoi ces stations ne devrait pas s'afficher sur les cartes ?

 

Sinon je constate la même chose pour la station MF de Valence Chabeuil aérodrome, il manque la pression, l'humidité et le vent.

EDIT : J'ai retrouvé le message de Fred, je comprend mieux.

Modifié 1 janvier par stormi26

[F-GAHX]

Il y a 1 heure, stormi26 a dit :

 

Je ne comprend pas bien, pourquoi ces stations ne devrait pas s'afficher sur les cartes ?

 

Sinon je constate la même chose pour la station MF de Valence Chabeuil aérodrome, il manque la pression, l'humidité et le vent.

EDIT : J'ai retrouvé le message de Fred, je comprend mieux.

ceci dis les données ne devraient pas tarder a tomber avec tout les paramètres MF ouvre ces données demain le temps que ça soit ajouter a IC 

[quantum]

Le 12/12/2023 à 16:45, Sebaas a dit :

 

Le 12/11/2023 à 10:50, Sebaas a dit :

Comme indiqué dans ma deuxième diapo, les climato seront récupérables non chez MF mais sur meteo.data.gouv.fr , sur infrastructure cloud Etat gérée par la DINUM. A priori, des packages de .csv par département.

 

Enjoy: https://meteo.data.gouv.fr/

 

EDIT: genre ça, que l'on attend depuis 20 ans sans déconner 😍

 

@Sebaas

1896 pour les données de ta station du Mont Aigoual.

 

1) Je serais intéressé aussi d'accéder à des données d'une station météo qui a fermé il y a plus de 30 ans.

Est-ce qu'il est prévu par MF de donner accès aux données de ses stations fermées il y a longtemps afin de faire des comparaisons climatiques avec les stations proches de ces anciens sites ?

 

2) Suite à la mise à disposition de ses données par Météo France, est-ce qu'il est prévu par Infoclimat du faire du "commerce équitable" avec Météo France en leurs fournissant les données des stations StatIC de manière privilégiée (serveur dédié ou plage horaire réservée) ?

 

 

[Sebaas]

il y a 42 minutes, quantum a dit :

@Sebaas

1896 pour les données de ta station du Mont Aigoual.

Euh oui, l'ouverture de la station quoi. Mais Infoclimat n'a "que" 20 ans, ça fait donc bien 20 ans qu'on attend ces données.

 

il y a 42 minutes, quantum a dit :

Est-ce qu'il est prévu par MF de donner accès aux données de ses stations fermées il y a longtemps afin de faire des comparaisons climatiques avec les stations proches de ces anciens sites ?

 

Elles sont toutes disponibles, y compris celles qui ont fermé, sur meteo.data.gouv.fr

 

il y a 42 minutes, quantum a dit :

2) Suite à la mise à disposition de ses données par Météo France, est-ce qu'il est prévu par Infoclimat du faire du "commerce équitable" avec Météo France en leurs fournissant les données des stations StatIC de manière privilégiée (serveur dédié ou plage horaire réservée) ?

 

On avait quitté le groupe de travail qui bossait sur ce sujet parce que MF ne jouait pas le jeu, et que je ne me voyais pas pas aller défendre en AG le fait de partager 800 stations Infoclimat contre... rien, nada, que dalle.

Le contexte ayant changé, ces travaux vont pouvoir reprendre.

[Arkus]

Il y a 9 heures, quantum a dit :

Pour la station Méteo-France de Saint Goazec (29), il n'y a au 01/01/24 que les données de température et de pluviométrie : https://www.infoclimat.fr/observations-meteo/temps-reel/saint-goazec/MF29249002.html

Or d'après la fiche station MF, il y a aussi des capteurs pour l'humidité et le vent : https://donneespubliques.meteofrance.fr/metadonnees_publiques/fiches/fiche_29249002.pdf

 

Cette limitation est-elle volontaire ?

Faudra-t-il attendre les prochains jours pour avoir les autres relevés ?

 

Voici par exemple la liste des données quotidiennes disponibles pour St-Goazec (ID 29249002), avec date de première données dispo, date de dernière donnée dispo :

 

Paramètre        Début      Fin
DG            2017-06-22 2023-12-30
DHUMI40       2017-06-23 2023-12-30
DHUMI80       2017-06-23 2023-12-30
DXI           2017-06-22 2023-12-30
DXY           2017-06-22 2023-12-30
ETPGRILLE     2017-06-22 2023-12-30
FFM           2017-06-23 2023-12-30
FXI           2017-06-22 2023-12-30
FXI3S         2023-11-28 2023-12-30
FXY           2017-06-22 2023-12-30
HTN           2017-06-23 2023-12-30
HTX           2017-06-23 2023-12-30
HUN           2017-06-23 2023-12-30
HUX           2017-06-23 2023-12-30
HXI           2017-06-22 2023-12-30
HXI3S         2023-11-28 2023-12-30
HXY           2017-06-22 2023-12-30
RR            2017-06-22 2023-12-30
TAMPLI        2017-06-22 2023-12-30
TM            2017-06-23 2023-12-30
TN            2017-06-22 2023-12-30
TNSOL         2017-06-23 2023-12-30
TNTXM         2017-06-22 2023-12-30
TSVM          2017-06-23 2023-12-30
TX            2017-06-22 2023-12-30
UM            2017-06-23 2023-12-30
UN            2017-06-23 2023-12-30
UX            2017-06-23 2023-12-30

 

La station est assez récente mais il y aussi une station "ST-GOAZEC-SA" (ID 29249001) qui a des données de 1986 à 1990.

 

 

il y a une heure, Sebaas a dit :

Elles sont toutes disponibles, y compris celles qui ont fermé, sur meteo.data.gouv.fr

 

 

Oui, il faut vraiment le répéter, car je me souviens de discussions pas très anciennes où ça ne paraissait pas forcément gagné, mais c'est vraiment la totalité de l'historique des observations qui est mis à disposition. Et pour avoir exploré un peu les donnés (et même développé des scripts exprès pour les explorer, cf. liste ci-dessus), c'est absolument colossal ! Évidemment, la qualité des données anciennes est à surveiller mais dans la plupart des villes principales par exemple, on a des historiques de pluviométrie qui remontent au XIXe siècle !

 

Sur Toulouse notamment, on peut remonter en 1809, soit 215 ans de données, avec une cohérence qui semble assez bonne :

 

 

 

Edit : Et j'ajouterais, pour le côté moins positif, que cet historique permet de voir aussi le nombre de séries, parfois longues qui ont été interrompues ces dernières années 🙄

Modifié 1 janvier par Arkus

[quantum]

Il y a 2 heures, Sebaas a dit :

Elles sont toutes disponibles, y compris celles qui ont fermé, sur meteo.data.gouv.fr

@Sebaas

Par quel lien faut-il passer sur meteo.data.gouv.fr ou https://donneespubliques.meteofrance.fr/ pour chercher par commune ?

Je cherche les données climatologiques (temp, pluvio) de l'ancienne station du Faouët (56320) fermée en 1990 ou 1991.

[Count]

Il y a 10 heures, quantum a dit :

@Sebaas

Par quel lien faut-il passer sur meteo.data.gouv.fr ou https://donneespubliques.meteofrance.fr/ pour chercher par commune ?

Je cherche les données climatologiques (temp, pluvio) de l'ancienne station du Faouët (56320) fermée en 1990 ou 1991.

Je crois que tu n'as pas d'autres choix que de télécharger des jeux de données par département, pour le Morbihan dans ton cas, sur la période 1950-2021.

[sylver19]

il y a 22 minutes, Count a dit :

Je crois que tu n'as pas d'autres choix que de télécharger des jeux de données par département, pour le Morbihan dans ton cas, sur la période 1950-2021.

C'est ce que je fais actuellement .

[Sebaas]

Les API promises sont bien en ligne sur le portail des API, mais je m'étonne d'y trouver des températures en K plutôt qu'en °C!

 

Exemple département 75:

 

https://public-api.meteofrance.fr/public/DPPaquetObs/v1/paquet/horaire?id-departement=75&format=json

 

[
  {
    "lat": 48.844667,
    "lon": 2.333833,
    "geo_id_insee": "75106001",
    "reference_time": "2024-01-02T10:10:07Z",
    "insert_time": "2024-01-02T10:02:07Z",
    "validity_time": "2024-01-02T10:00:00Z",
    "t": 284.45,
    "td": null,
    "tx": 284.45,
    "tn": 283.95,
    "u": null,
    "ux": null,
    "un": null,
    "dd": null,
    "ff": null,
    "dxy": null,
    "fxy": null,
    "dxi": null,
    "fxi": null,
    "rr1": 0.6,
    "t_10": null,
    "t_20": null,
    "t_50": null,
    "t_100": null,
    "vv": null,
    "etat_sol": null,
    "sss": null,
    "n": null,
    "insolh": null,
    "ray_glo01": null,
    "pres": null,
    "pmer": null
  },
  {
    "lat": 48.844667,
    "lon": 2.333833,
    "geo_id_insee": "75106001",
    "reference_time": "2024-01-02T09:10:07Z",
    "insert_time": "2024-01-02T09:02:34Z",
    "validity_time": "2024-01-02T09:00:00Z",
    "t": 283.95,
    "td": null,
    "tx": 283.95,
    "tn": 283.85,
    "u": null,
    "ux": null,
    "un": null,
    "dd": null,
    "ff": null,
    "dxy": null,
    "fxy": null,
    "dxi": null,
    "fxi": null,
    "rr1": 0.6,
    "t_10": null,
    "t_20": null,
    "t_50": null,
    "t_100": null,
    "vv": null,
    "etat_sol": null,
    "sss": null,
    "n": null,
    "insolh": null,
    "ray_glo01": null,
    "pres": null,
    "pmer": null
  },
  {
    "lat": 48.844667,
    "lon": 2.333833,
    "geo_id_insee": "75106001",
    "reference_time": "2024-01-02T08:10:07Z",
    "insert_time": "2024-01-02T08:02:32Z",
    "validity_time": "2024-01-02T08:00:00Z",
    "t": 283.85,
    "td": null,
    "tx": 283.85,
    "tn": 283.65,
    "u": null,
    "ux": null,
    "un": null,
    "dd": null,
    "ff": null,
    "dxy": null,
    "fxy": null,
    "dxi": null,
    "fxi": null,
    "rr1": 0.6,
    "t_10": null,
    "t_20": null,
    "t_50": null,
    "t_100": null,
    "vv": null,
    "etat_sol": null,
    "sss": null,
    "n": null,
    "insolh": null,
    "ray_glo01": null,
    "pres": null,
    "pmer": null
  },
  {
    "lat": 48.844667,
    "lon": 2.333833,
    "geo_id_insee": "75106001",
    "reference_time": "2024-01-02T07:10:06Z",
    "insert_time": "2024-01-02T07:01:28Z",
    "validity_time": "2024-01-02T07:00:00Z",
    "t": 283.65,
    "td": null,
    "tx": 283.85,
    "tn": 283.65,
    "u": null,
    "ux": null,
    "un": null,
    "dd": null,
    "ff": null,
    "dxy": null,
    "fxy": null,
    "dxi": null,
    "fxi": null,
    "rr1": 0.7,
    "t_10": null,
    "t_20": null,
    "t_50": null,
    "t_100": null,
    "vv": null,
    "etat_sol": null,
    "sss": null,
    "n": null,
    "insolh": null,
    "ray_glo01": null,
    "pres": null,
    "pmer": null
  },
  {
    "lat": 48.844667,
    "lon": 2.333833,
    "geo_id_insee": "75106001",
    "reference_time": "2024-01-02T06:10:06Z",
    "insert_time": "2024-01-02T06:01:24Z",
    "validity_time": "2024-01-02T06:00:00Z",
    "t": 283.85,
    "td": null,
    "tx": 284.15,
    "tn": 283.85,
    "u": null,
    "ux": null,
    "un": null,
    "dd": null,
    "ff": null,
    "dxy": null,
    "fxy": null,
    "dxi": null,
    "fxi": null,
    "rr1": 0.8,
    "t_10": null,
    "t_20": null,
    "t_50": null,
    "t_100": null,
    "vv": null,
    "etat_sol": null,
    "sss": null,
    "n": null,
    "insolh": null,
    "ray_glo01": null,
    "pres": null,
    "pmer": null
  },
  {
    "lat": 48.844667,
    "lon": 2.333833,
    "geo_id_insee": "75106001",
    "reference_time": "2024-01-02T05:10:09Z",
    "insert_time": "2024-01-02T05:01:22Z",
    "validity_time": "2024-01-02T05:00:00Z",
    "t": 284.15,
    "td": null,
    "tx": 284.55,
    "tn": 284.15,
    "u": null,
    "ux": null,
    "un": null,
    "dd": null,
    "ff": null,
    "dxy": null,
    "fxy": null,
    "dxi": null,
    "fxi": null,
    "rr1": 0.6,
    "t_10": null,
    "t_20": null,
    "t_50": null,
    "t_100": null,
    "vv": null,
    "etat_sol": null,
    "sss": null,
    "n": null,
    "insolh": null,
    "ray_glo01": null,
    "pres": null,
    "pmer": null
  },
  {
    "lat": 48.844667,
    "lon": 2.333833,
    "geo_id_insee": "75106001",
    "reference_time": "2024-01-02T04:10:07Z",
    "insert_time": "2024-01-02T04:01:20Z",
    "validity_time": "2024-01-02T04:00:00Z",
    "t": 284.55,
    "td": null,
    "tx": 284.65,
    "tn": 284.55,
    "u": null,
    "ux": null,
    "un": null,
    "dd": null,
    "ff": null,
    "dxy": null,
    "fxy": null,
    "dxi": null,
    "fxi": null,
    "rr1": 0.4,
    "t_10": null,
    "t_20": null,
    "t_50": null,
    "t_100": null,
    "vv": null,
    "etat_sol": null,
    "sss": null,
    "n": null,
    "insolh": null,
    "ray_glo01": null,
    "pres": null,
    "pmer": null
  },
  {
    "lat": 48.844667,
    "lon": 2.333833,
    "geo_id_insee": "75106001",
    "reference_time": "2024-01-02T03:10:08Z",
    "insert_time": "2024-01-02T03:02:17Z",
    "validity_time": "2024-01-02T03:00:00Z",
    "t": 284.55,
    "td": null,
    "tx": 284.55,
    "tn": 284.25,
    "u": null,
    "ux": null,
    "un": null,
    "dd": null,
    "ff": null,
    "dxy": null,
    "fxy": null,
    "dxi": null,
    "fxi": null,
    "rr1": 0.6,
    "t_10": null,
    "t_20": null,
    "t_50": null,
    "t_100": null,
    "vv": null,
    "etat_sol": null,
    "sss": null,
    "n": null,
    "insolh": null,
    "ray_glo01": null,
    "pres": null,
    "pmer": null

 

[F-GAHX]

il y a 7 minutes, Sebaas a dit :

Les API promises sont bien en ligne sur le portail des API, mais je m'étonne d'y trouver des températures en K plutôt qu'en °C!

 

Exemple département 75:

 

https://public-api.meteofrance.fr/public/DPPaquetObs/v1/paquet/horaire?id-departement=75&format=json

 

 

Donc  sur meteo.data.gouv.fr il y a uniquement de la climato pour de l'observation sol tout le reste est uniquement accesible sur l'API ? 

 

[Sebaas]

il y a 1 minute, F-GAHX a dit :

Donc  sur meteo.data.gouv.fr il y a uniquement de la climato pour de l'observation sol tout le reste est uniquement accesible sur l'API ? 

 

 

Oui.

[metre3]

Bonjour et meilleurs vœux à tous et toutes

 

Est ce que cette ouverture des données permettra à IC d’intégrer dans ses cartes et sa climato toutes ou une partie des stations MF ?

Si oui, avez vous  une visibilité pour un éventuel calendrier ?

Compte tenu du volume, je suppose qu'il est nécessaire d'établir des priorités ?  (peut être par catégorie de station ou par ouverture ou par interet en terme géographique ?)

Si non, et pour valoriser individuellement les données d'une ou quelques stations, est il envisageable d'avoir un outil qui permette à partir des fichiers départementaux téléchargés de faire le tri et l'analyse des données ?

C'est une question naïve mais je me dis que cela doit être automatisable d'avoir les calculs de moyenne, records,... à partir du numéro de la station et pour une période donnée. Ou pas ?

 

Merci d'avance

[F-GAHX]

il y a 4 minutes, Sebaas a dit :

 

Oui.

même pas d'archive des radars et des sorties de modèles sur meteo.data.gouv.fr ou ça fait vraiment trop de données pour une utilisation marginale qui peut se regler par un coup d'API

[Sebaas]

il y a 1 minute, F-GAHX a dit :

même pas d'archive des radars et des sorties de modèles sur meteo.data.gouv.fr

 

Ils l'envisagent, mais ce sont des quantité titanesques de données et si ça se fait il faudra attendre encore quelques mois. La convention entre la DINUM et MF court jusqu'à fin décembre 2024, ça laisse encore pas mal de temps pour la mise en ligne de quelques pétaoctets 🙂

 

[970hPa]

il y a 34 minutes, Sebaas a dit :

mais je m'étonne d'y trouver des températures en K plutôt qu'en °C!

C'est une blague , on est d'accord ? 😵

 

 

 

[Fred59_]

il y a 26 minutes, metre3 a dit :

Bonjour et meilleurs vœux à tous et toutes

 

Est ce que cette ouverture des données permettra à IC d’intégrer dans ses cartes et sa climato toutes ou une partie des stations MF ?

Si oui, avez vous  une visibilité pour un éventuel calendrier ?

Compte tenu du volume, je suppose qu'il est nécessaire d'établir des priorités ?  (peut être par catégorie de station ou par ouverture ou par interet en terme géographique ?)

Si non, et pour valoriser individuellement les données d'une ou quelques stations, est il envisageable d'avoir un outil qui permette à partir des fichiers départementaux téléchargés de faire le tri et l'analyse des données ?

C'est une question naïve mais je me dis que cela doit être automatisable d'avoir les calculs de moyenne, records,... à partir du numéro de la station et pour une période donnée. Ou pas ?

 

Merci d'avance

 

Ça me demanderait autant de travail de faire un outil "temporaire" pour exploiter ces fichiers, que de réaliser l'intégration finale des fichiers dans les bases Infoclimat, donc ça ne change pas grand chose. Quant au calendrier, ça dépend de mes disponibilités bénévoles pour développer le nécessaire et/ou spécifier à Jean ce qu'il faut développer, et c'est une tâche plus complexe qu'il n'y paraît de part la nécessité de prioriser cette source de données par rapport aux autres (plus qualitative = ces données doivent se superposer aux données moins qualitatives déjà présentes).

[baro54]

Bonjour petit souci je viens de m' inscrire sur le portail api  mais impossible de me connecter auriez vous des problèmes de votre côté également merci 

[_sb]

Cela a toujours été compliqué et plus ou moins aléatoire ... Réessaie un peu plus tard ou vide ton cache navigateur.

C'est le nom d'utilisateur comme identifiant, pas le mail, au cas où.