Ouverture des données par Météo-France au 01/01/24

[_sb]

Va y avoir du boulot pour extraire et valoriser toutes ces données.

Je viens de commencer pour Aubagne.

[thib91]

Il y a 1 heure, Sebaas a dit :

 

 

Enjoy: https://meteo.data.gouv.fr/

 

EDIT: genre ça, que l'on attend depuis 20 ans sans déconner 😍

 

 

Oui dingue, je pensais pas voir cela de mes yeux...quelques nuits blanches en perspective pour @Arkus

[fiflot]

Beau cadeau de Noel 🎁🎄🎅

Grand merci

 

[Claude33]

Il a tout de même fallu que MF se fasse un peu tordre le bras...

[metre3]

Il y a 1 heure, _sb a dit :

Va y avoir du boulot pour extraire et valoriser toutes ces données.

Je viens de commencer pour Aubagne.

J'aimerais avoir les compétences pour faire ça vite et bien. Parce que je sens que bâtir un outil qui permette de valoriser ces données, ça va être coton quand même.

[_sb]

Bien, je ne sais pas, vite, sûrement pas les journées terminant au bout de 24h...

 

Edit :

@metre3 extraire les données d'Aubagne et les paramètres et ensuite tenter une valorisation vers la prévision, en y associant d'autres stations du secteur et des analyses plus globales. J'ai quelques idées, à voir pour les développer. Je laisse la partie climatologie aux autres

Modifié 12 décembre 2023 par _sb

[metre3]

à l’instant, _sb a dit :

Bien, je ne sais pas, vite, sûrement pas les journées terminant au bout de 24h...

 

C'est surtout qu'il y a autre chose au programme sur au moins 20 h sur 24 !

 

Je voulais dire proprement avec des tableaux croisés dynamiques qui permettent d'avoir des rendus personnalisables.

Peut être qu'une base de données serait mieux adaptée mais la dernière que j'ai faite était sur dbase III/IV

Bon courage

 

[Arkus]

Il y a 2 heures, thib91 a dit :

 

Oui dingue, je pensais pas voir cela de mes yeux...quelques nuits blanches en perspective pour @Arkus

 

Boah, une poignée de lignes de code pour la lecture des fichiers, et un fichier de conf à modifier, c'est déjà torché 😆

Le plus long sera de récupérer toutes les données qui sont éparpillées dans pas moins de 600 fichiers différents (si on parle juste des données quotidiennes), téléchargeables uniquement à la main

Je compte sur des âmes charitables pour mettre ça à disposition de manière plus automatique.

 

Autrement c'est vraiment fabuleux, surtout qu'on a une sacrée tripotée de paramètres à dispo au niveau climato, il y a vraiment de quoi faire !

 

Pour reprendre l'exemple de @Sebaas voici ce que ça donne avec les données de l'Aigoual :

 

[F-GAHX]

Hello à tous,

je sait que c'est une beta et que des incohérence sont attendu mais, 

sur les données en 6 minutes le seul paramètre dispo est la RR (pluvio 6min) et la qualité de cette mesure 

c'est prévu comme ça ? ou c'est juste la béta et d'autre parametres sont attendu?

sympa le noël avant l'heure 

 

[thib91]

Il y a 13 heures, Arkus a dit :

 

Boah, une poignée de lignes de code pour la lecture des fichiers, et un fichier de conf à modifier, c'est déjà torché 😆

Le plus long sera de récupérer toutes les données qui sont éparpillées dans pas moins de 600 fichiers différents (si on parle juste des données quotidiennes), téléchargeables uniquement à la main

Je compte sur des âmes charitables pour mettre ça à disposition de manière plus automatique.

 

Autrement c'est vraiment fabuleux, surtout qu'on a une sacrée tripotée de paramètres à dispo au niveau climato, il y a vraiment de quoi faire !

 

Pour reprendre l'exemple de @Sebaas voici ce que ça donne avec les données de l'Aigoual :

 

 

 

Ahaha le salopiaud ^^c,'est pas beau de se moquer des anciens qui tournent à Excel et aux tableaux dynamiques croisés, dépassés par les nouveaux outils de codage et autres macro. Il faudrait vraiment que je prenne le temps de me plonger dans tout ceci, mais la vie est parfois faite de sorte qu'il est difficile de trouver de l'espace et du temps, stt que j'en passe déjà pas mal ici.

 

 

 

 

[Damia]

C'est juste énorme et inespéré ! J'ignore comment on peut contribuer pour accélérer l'intégration des données. N'hésitez pas à dire

 

Idée comme ça : on peut travailler sur une ou deux stations proche de chez nous, récupérer le tableau de données, le mettre en forme correctement et vous l'envoyer ?

 

Alors du coup, cette station par exemple, fait partie de ces données publiques ?

 

https://www.infoclimat.fr/observations-meteo/temps-reel/coulounieix/MF24138004.html

 

Je ne me souviens pas que Coulounieix figurait sur la carte il y a une semaine environ.

[Arkus]

il y a 28 minutes, thib91 a dit :

 

Ahaha le salopiaud ^^c,'est pas beau de se moquer des anciens qui tournent à Excel et aux tableaux dynamiques croisés, dépassés par les nouveaux outils de codage et autres macro. 

 

Tu sais les "nouveaux" outils ils sont souvent plus vieux, ou directement basés sur des langages ou outils plus vieux qu'Excel. 😁

Perso je suis à l'ancienne avec du shell / awk pour l'interface des données externes, et R pour les stats. Même Python qui est très utilisé aujourd'hui est loin d'être nouveau.

Après c'est vrai qu'il y a un ticket d'entrée mais ensuite ça ouvre beaucoup de possibilités.

Mais à la limite maintenant on peut faire des morceaux de code par IA pour aller plus vite (pas encore testé de mon côté).

[JOJO_KERMIT]

Le 09/12/2023 à 09:58, LMK a dit :

Ce bug est pas mal car il a même rajouté quelques archives, on peut remonter jusqu'à février 2020 https://www.infoclimat.fr/climatologie/annee/2020/aigues-mortes/valeurs/MF30003001.html  (bon c'est pas un bug à la Monk, sinon il aurait mis janvier 😂)

 

Vive les bugs !

 

En tous cas je vois que les radome sont bien présentes dorénavant sur les cartes temps réel. ça avance.

 

Après ce sera le tour des réseaux secondaires, salamandre, rce, feux de forêts, spc

 

 

 

 

 

Modifié 14 décembre 2023 par JOJO_KERMIT

[Hiigaraa]

Le 13/12/2023 à 10:31, Damia a dit :

C'est juste énorme et inespéré ! J'ignore comment on peut contribuer pour accélérer l'intégration des données. N'hésitez pas à dire

 

Idée comme ça : on peut travailler sur une ou deux stations proche de chez nous, récupérer le tableau de données, le mettre en forme correctement et vous l'envoyer ?

 

Alors du coup, cette station par exemple, fait partie de ces données publiques ?

 

https://www.infoclimat.fr/observations-meteo/temps-reel/coulounieix/MF24138004.html

 

Je ne me souviens pas que Coulounieix figurait sur la carte il y a une semaine environ.

Je plussoie ma collègue. Sinon peut faire des stations locales pour aider on est là

Modifié 21 décembre 2023 par Hiigaraa

[geoffrey.aldebert]

Bonjour,

 

Je suis responsable de la plateforme data.gouv.fr et je me permets d'ajouter ce message car je vois qu'une récupération manuelle de l'ensemble des données est en train d'être effectué de votre côté. L'interface est prévu pour les utilisateurs ayant besoin de récupérer des données ponctuellement. Pour des récupérations automatisées, vous pouvez vous aider de l'API data.gouv.fr.

 

Pour info, les données de meteo.data.gouv.fr sont également stockées sur data.gouv.fr et donc nous pouvons utiliser l'API de data.gouv.fr pour récupérer l'ensemble des métadonnées des jeux de données (et donc automatiser des téléchargement, par exemple). 

 

Voici la procédure : 

- si vous allez sur un jeu de données, par exemple : https://meteo.data.gouv.fr/datasets/6569b4473bedf2e7abad3b72 

- en récupérant l'id (ou le slug) du jeu de données, vous pouvez requêter l'API de data.gouv.fr de cette manière : https://www.data.gouv.fr/api/1/datasets/6569b4473bedf2e7abad3b72 

- vous avez la possibilité de récupérer l'ensemble des resources dans la propriété `resources` du payload et donc de récupérer les urls de téléchargement.

 

A noter également que les ressources possèdent toutes un identifiant unique. Ainsi, pour la ressource "QUOT_SIM2_2020-202311" sur https://meteo.data.gouv.fr/datasets/6569b27598256cc583c917a7 vous avez un identifiant et un URL stable pour celle-ci. Ainsi, quand la donnée sera mise à jour, vous pourrez utiliser le même URL pour télécharger la donnée (visible en cliquant sur "Voir les métadonnées" au niveau du fichier).

 

Bien à vous,

Geoffrey Aldebert

Modifié 19 décembre 2023 par geoffrey.aldebert

[Damia]

Le 15/12/2023 à 20:21, Hiigaraa a dit :

mon collègue

 

Fun fact, tu savais que collègue peut s'utiliser au féminin ?

[Hiigaraa]

Il y a 3 heures, Damia a dit :

 

Fun fact, tu savais que collègue peut s'utiliser au féminin ?

Je te pris de bien vouloir m'excuser. Rien ne laissais transpirer cette information que j'ignorais dans ton message. 😔

[metre3]

Il y a 14 heures, Hiigaraa a dit :

Je te pris de bien vouloir m'excuser. Rien ne laissais transpirer cette information que j'ignorais dans ton message. 😔

C'est pourtant bien écrit.

 

 

Mais pour revenir à nos données, pas de retour de la part du service Informatique ?

 

Parmi les données MF présentes sur IC, je ne sais pas ce qui relève du bug signalé plus haut (ou sur un autre fil) (pax exemple PILAT GRAIX (42) avec des données partielles depuis 2020 visible sur certaines cartes) et de mise en ligne volontaire à partir de données intégrées solidement dans IC.

[F-GAHX]

Pour moi le bug c'est data depuis plus ou moins 2020 sur les RADOME avec temperature et precipitation 

j'imagine que toute la climato de MF est en train d'être assimilé 

[Hiigaraa]

Il y a 10 heures, metre3 a dit :

C'est pourtant bien écrit.

 

 

Mais pour revenir à nos données, pas de retour de la part du service Informatique ?

 

Parmi les données MF présentes sur IC, je ne sais pas ce qui relève du bug signalé plus haut (ou sur un autre fil) (pax exemple PILAT GRAIX (42) avec des données partielles depuis 2020 visible sur certaines cartes) et de mise en ligne volontaire à partir de données intégrées solidement dans IC.

Mes excuses une nouvelle fois mais je suis exclusivement sur téléphone (très sporadiquement sur pc) et cette info n'apparaît pas.

Je suis sincèrement désolé de cette méprise mais ça me rappelle celui qui se fait démonter sur le topic LT pour sa façon d'écrire et il l'explique en signature (qu'il est handicapé), signature qui n'apparaît pas sur la version mobile.

Modifié 20 décembre 2023 par Hiigaraa

[metre3]

Il y a 2 heures, Hiigaraa a dit :

Mes excuses une nouvelle fois mais je suis exclusivement sur téléphone (très sporadiquement sur pc) et cette info n'apparaît pas.

Je suis sincèrement désolé de cette méprise mais ça me rappelle celui qui se fait démonter sur le topic LT pour sa façon d'écrire et il l'explique en signature (qu'il est handicapé), signature qui n'apparaît pas sur la version mobile.

Effectivement, si tu n'as pas l'info, je suis jamais avec l'appli, que j'apprécie peu, même sur téléphone j'utilise le site.

[F-GAHX]

Bon je suis tombé sur cette page plus ou moins par hazard,

j'imagine que ce sont les data dont on va avoir l'accès au 1er janvier sur météo.data.gouv.fr 

https://www.data.gouv.fr/fr/organizations/meteo-france/#/datasets

Enjoy 

[Sebaas]

Il y a 11 heures, F-GAHX a dit :

Bon je suis tombé sur cette page plus ou moins par hazard,

j'imagine que ce sont les data dont on va avoir l'accès au 1er janvier sur météo.data.gouv.fr 

https://www.data.gouv.fr/fr/organizations/meteo-france/#/datasets

Enjoy 

 

Rien de nouveau là-dedans, tout cela est en ligne depuis bien longtemps.

 

Ce qui est disponible sur meteo.data.gouv.fr l'est déjà, il suffit d'aller sur le site: https://meteo.data.gouv.fr/datasets?topic=6571f26dc009674feb726be9

En début d'année prochaine, meteo.data.gouv.fr va aussi accueillir des GRIB Arpège et Arome.

 

L'information essentielle de ces derniers jours, c'est l'enrichissement très significatif le 2 janvier du portail des API MF : https://portail-api.meteofrance.fr

 

Au programme:

 

 

 

[_sb]

Au niveau des PNT/NWP, l'accumulation de paramètres accessibles est une excellente nouvelle et en même temps j'ai l'impression d'un piège pour la communauté amateur où 36 000 cartes seront accessibles, réduisant d'autant le nombre d'analyses. J'espère me tromper !

[sylver19]

Slt , j'espère qu'il y aura un tuto pour s'en servir?