Ouverture des données par Météo-France au 01/01/24

[baro54]

Bonjour petit souci je viens de m' inscrire sur le portail api  mais impossible de me connecter auriez vous des problèmes de votre côté également merci 

il y a 9 minutes, _sb a dit :

Cela a toujours été compliqué et plus ou moins aléatoire ... Réessaie un peu plus tard ou vide ton cache navigateur.

C'est le nom d'utilisateur comme identifiant, pas le mail, au cas où.

merci j ai réussi la connexion par contre je consulte sur smartphone pas tout les page je pense que sa fonctionne mieux sur tablette /ordi

[baro54]

Connexion réussie par contre pour obtenir les images radar bien compliqué tout sa pas très calée en informatique téléchargement des images  etc pourquoi pas mettre en ligne directement l' imagerie radar comme

au temps de meteotel c' était plus simple et  beaucoup plus pratique dommage 

[metre3]

Il y a 2 heures, Fred59_ a dit :

 

Ça me demanderait autant de travail de faire un outil "temporaire" pour exploiter ces fichiers, que de réaliser l'intégration finale des fichiers dans les bases Infoclimat, donc ça ne change pas grand chose. Quant au calendrier, ça dépend de mes disponibilités bénévoles pour développer le nécessaire et/ou spécifier à Jean ce qu'il faut développer, et c'est une tâche plus complexe qu'il n'y paraît de part la nécessité de prioriser cette source de données par rapport aux autres (plus qualitative = ces données doivent se superposer aux données moins qualitatives déjà présentes).

Je m'imagine bien que cela ne peut se faire avec 3 lignes de code écrite vite fait bien fait et qu'il y a un vrai travail de développement et d'intégration à faire.

L'idée d'un outil partagé, c'était plus pour "travailler" les données d'une station dans les tableurs départementaux, pour gagner du temps par rapport à la manipulation à la main, pas pour mettre les données en ligne. Je ne pensais pas forcement à toi pour faire ce boulot mais je suis sur que certains l'ont déjà fait pour avoir les données d'une station (par exemple @arkus et son graphe sur l'Aigoual)

 

La question de la priorisation des données, c'est par rapport aux stations METAR et à l'affichage des cartes de températures (les données Static étant lissées avec des données MF pour assurer une carte de qualité)?

D'ailleurs le poids des stations est il pondéré par leur représentativité, il me semble que la carte du MC est parfois bien refroidi par des static de TAF peu représentative de leur territoire en dehors de leur emplacement ?

 

Ma question initiale portait sur :

1. L'objectif est il de tout intégrer au site IC  (climato, données temps réel pour toute la gamme des stations MF , outils cartographiques (radars), prévisions) ? Si oui, cela peut prendre combien de temps, compte tenu des ressources disponibles ; 2 à 3 mois, 2 à 3 ans ?

2. Si des choix doivent être fait par manque de moyens humains ou financiers, c'est compréhensible et on fera avec.

 

C'est peut être encore trop tôt mais je trouve (comme souvent) que cela manque d'un bout de communication de la part du CA.

 

Bon courage

[_sb]

C'est toujours aussi peu user friendly. Pourquoi faire simple et accessible à tous lorsqu'on peut faire obscur et décourageant au plus grand nombre.

La volonté d'ouverture est vraiment manifeste ... Ça fait presque petite vengeance mesquine, le public on s'en tape. Je ne parle même pas de la doc car peut-être que ça viendra plus tard (quoique, vu le temps que ça a mis à « ouvrir », écrire une doc potable était largement possible).

Quand je vois d'autres organismes nationaux européens qui proposent un double accès synchrone ultra simple via un FTP ou via un serveur web de fichiers, MF ne souhaite pas jouer dans la même cour.

[Arkus]

Il y a 6 heures, metre3 a dit :

 

L'idée d'un outil partagé, c'était plus pour "travailler" les données d'une station dans les tableurs départementaux, pour gagner du temps par rapport à la manipulation à la main, pas pour mettre les données en ligne. Je ne pensais pas forcement à toi pour faire ce boulot mais je suis sur que certains l'ont déjà fait pour avoir les données d'une station (par exemple @arkus et son graphe sur l'Aigoual)

 

 

Je peux effectivement partager ce que j'ai, même si ce ne sont pas des outils vraiment "grand public". Déjà, il faut être sous environnement linux ou équivalent (cygwin par exemple).

J'ai des scripts shell pour l'exploration / extraction des fichiers départementaux MF, et des scripts "R" pour les calculs statistiques et graphiques.

Avec un minimum de mise en forme et documentation ça serait utilisable sans trop comprendre ce qu'il y a derrière, mais c'est plus intéressant pour un public averti qui saurait comment ça marche et comment le modifier.

Faites-moi signe si ça intéresse du monde.

[baro54]

il y a une heure, _sb a dit :

C'est toujours aussi peu user friendly. Pourquoi faire simple et accessible à tous lorsqu'on peut faire obscur et décourageant au plus grand nombre.

La volonté d'ouverture est vraiment manifeste ... Ça fait presque petite vengeance mesquine, le public on s'en tape. Je ne parle même pas de la doc car peut-être que ça viendra plus tard (quoique, vu le temps que ça a mis à « ouvrir », écrire une doc potable était largement possible).

Quand je vois d'autres organismes nationaux européens qui proposent un double accès synchrone ultra simple via un FTP ou via un serveur web de fichiers, MF ne souhaite pas jouer dans la même cour.

Oui franchement je suis très déçu je me répète quand on n avait les codes meteotel c était le top accès au radar avec une carte un zoom etc 

[metre3]

il y a une heure, Arkus a dit :

 

Je peux effectivement partager ce que j'ai, même si ce ne sont pas des outils vraiment "grand public". Déjà, il faut être sous environnement linux ou équivalent (cygwin par exemple).

J'ai des scripts shell pour l'exploration / extraction des fichiers départementaux MF, et des scripts "R" pour les calculs statistiques et graphiques.

Avec un minimum de mise en forme et documentation ça serait utilisable sans trop comprendre ce qu'il y a derrière, mais c'est plus intéressant pour un public averti qui saurait comment ça marche et comment le modifier.

Faites-moi signe si ça intéresse du monde.

Jamais pris le temps de me lancer sous Linux, pourtant ça me tente, mais je sais qu'il y a un investissement au départ.

 

Après, il est surtout important de comprendre les graphes et stats produites par R (j'ai du l'utiliser une fois, il y a 30 ans, pour une étude en junior entreprise) et je connaissais pas la courbe de loess (mais je pense que j'ai compris le principe de la pondération des points par les écarts, même si ce n'est pas encore limpide)

Avoir un outil utilisable (par un utilisateur un peu formé/informé) et avoir un outil personnalisable (par un utilisateur connaisseur) n'est pas forcément incompatible.

 

Après si les données remonte sans trop tarder sur le site, l'outil d'IC est suffisamment puissant pour moi.

[F-GAHX]

Il y a 11 heures, baro54 a dit :

Oui franchement je suis très déçu je me répète quand on n avait les codes meteotel c était le top accès au radar avec une carte un zoom etc 

 

Il y a 12 heures, _sb a dit :

C'est toujours aussi peu user friendly. Pourquoi faire simple et accessible à tous lorsqu'on peut faire obscur et décourageant au plus grand nombre.

La volonté d'ouverture est vraiment manifeste ... Ça fait presque petite vengeance mesquine, le public on s'en tape. Je ne parle même pas de la doc car peut-être que ça viendra plus tard (quoique, vu le temps que ça a mis à « ouvrir », écrire une doc potable était largement possible).

Quand je vois d'autres organismes nationaux européens qui proposent un double accès synchrone ultra simple via un FTP ou via un serveur web de fichiers, MF ne souhaite pas jouer dans la même cour.

D'un coté il faut que la récupération des données soit efficace donc une API est un moyen qualitatif de faire cela de plus bcp des API balancent de la données brut (BUFR ...) .

ceci dis une petite interface qui permete de faire des reqetes simple sur des données style observation sol et mosaique radar 500m et 1Km qui donnes des PNG ou jpg aurais été cool mais sur la données des modèles c'est vraiment pas utile 

[Claude33]

Il y a 23 heures, _sb a dit :

C'est toujours aussi peu user friendly. Pourquoi faire simple et accessible à tous lorsqu'on peut faire obscur et décourageant au plus grand nombre.

La volonté d'ouverture est vraiment manifeste ... Ça fait presque petite vengeance mesquine, le public on s'en tape. Je ne parle même pas de la doc car peut-être que ça viendra plus tard (quoique, vu le temps que ça a mis à « ouvrir », écrire une doc potable était largement possible).

Quand je vois d'autres organismes nationaux européens qui proposent un double accès synchrone ultra simple via un FTP ou via un serveur web de fichiers, MF ne souhaite pas jouer dans la même cour.

 

J'avais écrit quelque part en blaguant que les données seraient libérées par MF sous la forme de pdf scannés. Bon là c'est tout de même un peu mieux 😁

[_sb]

Il y a 10 heures, F-GAHX a dit :

mais sur la données des modèles c'est vraiment pas utile 

 

Depuis plus de 10 ans *, j'utilise préférentiellement les FTP du DWD, d'ECMWF ou du NCEP pour les données binaires des modèles et ça me simplifie/fluidifie grandement les choses.

 

* moins longtemps mais en années quand même pour le DWD et ECMWF

[Fabrice01]

Le 02/01/2024 à 00:48, quantum a dit :

@Sebaas

Par quel lien faut-il passer sur meteo.data.gouv.fr ou https://donneespubliques.meteofrance.fr/ pour chercher par commune ?

Je cherche les données climatologiques (temp, pluvio) de l'ancienne station du Faouët (56320) fermée en 1990 ou 1991.

 Bonsoir.

Il est vrai que par le nouveau portail, nous n'avons pas d'autres choix que d'avoir les données de tout le département, ce qui fait le fichier énorme.

Du coup, j'avais conservé mon compte sur le site de la publithèque. Je passe encore par là pour récupérer précisément que les stations et les données qui m'intéressent.

Pour info, ta station a fermé le 30/06/1990

 

Modifié 3 janvier par Fabrice01

[Sebaas]

il y a 25 minutes, Fabrice01 a dit :

Du coup, j'avais conservé mon compte sur le site de la publithèque. Je passe encore par là pour récupérer précisément que les stations et les données qui m'intéressent.

 

La Publithèque va fermer courant 2024, il va donc bien falloir s'y faire! En attendant, les achats sur la Publithèque sont désormais facturés à 0 point, donc oui, autant en profiter.

[Sebaas]

Le 02/01/2024 à 12:23, 970hPa a dit :

C'est une blague , on est d'accord ? 😵

 

Non non

 

[F-GAHX]

Il y a 2 heures, Sebaas a dit :

 

Non non

 

D'un autre coté ça fait sens de diffuser les données au unités SI.

 

Sur un autre sujet le modele AROME-500 est il prévu de finir dispo par API a sa mise en service ?

 

Modifié 5 janvier par F-GAHX

[Hiigaraa]

il y a une heure, F-GAHX a dit :

D'un autre coté ça fait sens de diffuser les données au unités SI.

 

Dans ce cas, la pluviométrie devrait être fournie en mètre.

[F-GAHX]

il y a 16 minutes, Hiigaraa a dit :

Dans ce cas, la pluviométrie devrait être fournie en mètre.

Non mm c'est 1/1000e de Mètre donc c'est bien SI 

tout comme les m/s et les K, MF distribue de la données brut  il faut que les unitées soient SI 

[Hiigaraa]

Pardon je voulais dire unité de base du SI. Le mm n'est pas une unité de base du SI

[cunimb]

Bjr,

Il y a quelques années je m'étais amusé avec les grib de arome et arpege, ca allait à peu près.

Là je regarde les bufr de l'API "donnees radars" et absolument impossible de les lire. Apparemment MF a oublié de fournir les tables qui permettent de décoder leurs fichiers bufr ?!

Tous les programmes utilisés renvoient la même erreur 

unable to open 'bufr_32_linux/localtabd_85_14.csv'
Warning: unable to read local BUFR Table D !
Unknown data descriptor found: F=0, X=1, Y=192 !

 

J'ai beau fouiller sur le site de MF, impossible de trouver les tables qui permettent de décoder leurs bufr. Ou alors j'ai mal regarder??
 

[F-GAHX]

Il y a 9 heures, cunimb a dit :

Bjr,

Il y a quelques années je m'étais amusé avec les grib de arome et arpege, ca allait à peu près.

Là je regarde les bufr de l'API "donnees radars" et absolument impossible de les lire. Apparemment MF a oublié de fournir les tables qui permettent de décoder leurs fichiers bufr ?!

Tous les programmes utilisés renvoient la même erreur 

unable to open 'bufr_32_linux/localtabd_85_14.csv'
Warning: unable to read local BUFR Table D !
Unknown data descriptor found: F=0, X=1, Y=192 !

 

J'ai beau fouiller sur le site de MF, impossible de trouver les tables qui permettent de décoder leurs bufr. Ou alors j'ai mal regarder??
 

tente un mail a publitheque@meteo.fr 

ils peuvent peut être y faire qqchose 

[Kiglirs]

Bonjour!

Premier message aussi pour moi!

Je suis aussi tombé sur le même problème avec les fichiers BUFR provenant de l'API des données radar. J'ai donc envoyé un mail aussi

Cependant je n'ai pas testé une hypothèse, c'est de tester avec le décodeur du NWS. J'ai vu par-ci par-là que ça serais codé comme les BUFR utilisés par le NWS, mais j'en doute.
Pour moi le décodeur du NWS serait le même que celui normé par le WMO, mais j'ai peut être tord. Je vais quand même tenter et je vous dit des nouvelles!

[cunimb]

A mon avis on perd notre temps à tester le décodeur du NWS, il n'a même pas la dernière version des tables de l'OMM.

Il faut vraiment la table spécifique à ces bufr de MF mais introuvable.

Le DWD allemand fournit des bufr qui eux aussi ont besoin de tables spécifiques, qu'ils proposent facilement en téléchargement....

J'ai fait un mail et on verra s'ils peuvent fournir ce qu'il faut.

[F-GAHX]

Il y a 3 heures, cunimb a dit :

A mon avis on perd notre temps à tester le décodeur du NWS, il n'a même pas la dernière version des tables de l'OMM.

Il faut vraiment la table spécifique à ces bufr de MF mais introuvable.

Le DWD allemand fournit des bufr qui eux aussi ont besoin de tables spécifiques, qu'ils proposent facilement en téléchargement....

J'ai fait un mail et on verra s'ils peuvent fournir ce qu'il faut.

Il faut dire que ça serait hilarant que MF dise "vous avez les données brut ne venez pas faire chier"  a vous de trouver un décodeur qui marche la bise MF 

[Kiglirs]

Il y a 3 heures, F-GAHX a dit :

Il faut dire que ça serait hilarant que MF dise "vous avez les données brut ne venez pas faire chier"  a vous de trouver un décodeur qui marche la bise MF 

ça serait hilarant... mais une partie de mon cerveau ce dit qu'il y a une chance que ça soit le cas, et qu'on se retrouve à devoir à faire de la rétroingénierie de fichiers BUFR avec du Fortran... fun!

[F-GAHX]

Il y a 12 heures, Kiglirs a dit :

ça serait hilarant... mais une partie de mon cerveau ce dit qu'il y a une chance que ça soit le cas, et qu'on se retrouve à devoir à faire de la rétroingénierie de fichiers BUFR avec du Fortran... fun!

Sinon je me dit que météociel doit bien y avoir accès donc une demande de leurs coté serait une option 

[F-GAHX]

Hello à tous,

je trainais sur le portail des données publique et je me demande si les données dont rêve @Fred59_ ne sont pas dispo* 

*Par contre c'est uniquement dans les données "En archive" et en moyen d'accès différé donc probablement un enfer a obtenir