API meteo temps réel

[edel]

Bonsoir,

Je reviens à la charge sur ce sujet, suite à la fermeture de l'API gratuite des données du site Weather Underground. De fait, il devient de plus en plus difficile d'accéder à des données d'observation gratuites, particulièrement de stations personnelles (hors METAR donc), de manière programmatique.

Je suis surpris que ce sujet n'avance pas, on en parle quand même depuis 5 ans, techniquement le plus dur est fait; politiquement, pour les données du réseau StatIC, il suffit de demander à chaque propriétaire de station s'il souhaite rendre ses données publiquement accessibles, dans le même esprit que les photolives. Et à défaut d'autorisation, on considère que les données restent privées.

Chaque délivrance de clé d'API pourrait être conditionnée à une déclaration de non utilisation commerciale de la part du demandeur.

Infoclimat serait un site à visée commerciale, je comprendrais volontiers que çà pose problème, mais ce n'est pas le cas.

Bref, j'espère que ce sujet finira par avancer dans le bon sens.

[Sebaas]

il y a 10 minutes, edel a dit :

Bref, j'espère que ce sujet finira par avancer dans le bon sens.

 

Pour parler "projet": le vote en AG a validé l'opendata des stations de l'asso, les spécifications détaillées sont faites tant pour les stations de l'asso que les stations privées, mêmes les mails aux proprios pour définir et expliquer le 2 licences possibles sont prêts, les actions en amont de préparation des métadonnées sont également bien avancées, bref... il ne manque plus "que" le développement des API proprement dit... Problème de ressources RH donc, et on t'embauche si tu veux

[Matt67]

il y a 25 minutes, Sebaas a dit :

 

Pour parler "projet": le vote en AG a validé l'opendata des stations de l'asso, les spécifications détaillées sont faites tant pour les stations de l'asso que les stations privées, mêmes les mails aux proprios pour définir et expliquer le 2 licences possibles sont prêts, les actions en amont de préparation des métadonnées sont également bien avancées, bref... il ne manque plus "que" le développement des API proprement dit... Problème de ressources RH donc, et on t'embauche si tu veux

Même sur les métadonnées, on avance bien ( surtout @ludo47 et @Elliot17 ).

À ce jour, si je ne me suis pas trompé, 281 métadonnées ont étaient réalisées    

[edel]

il y a 26 minutes, Sebaas a dit :

Il ne manque plus "que" le développement des API proprement dit... Problème de ressources RH donc, et on t'embauche si tu veux

Merci pour ces nouvelles encourageantes !

 

Par contre il était précisé en début de topic :

Citation

Cela n'est pas possible pour le moment, l'API existe en effet mais est réservée à Infoclimat. 

D'où la confusion sur le fait que le problème serait plus politique que technique, alors que visiblement c'est l'inverse.

 

Je ne pourrai pas aider, je ne suis pas développeur; j'arrive plus ou moins à utiliser des API, pour ce qui est de les développer c'est une autre histoire...

[Sebaas]

à l’instant, edel a dit :

D'où la confusion sur le fait que le problème serait plus politique que technique, alors que visiblement c'est l'inverse.

 

Des API à usage interne (typiquement, pour l'application Smartphone) ne sont pas du tout conçues et documentées comme doivent l'être celles exposées pour une utilisation publique.

[970hPa]

Il y a 2 heures, edel a dit :

Je reviens à la charge sur ce sujet, suite à la fermeture de l'API gratuite des données du site Weather Underground. De fait, il devient de plus en plus difficile d'accéder à des données d'observation gratuites, particulièrement de stations personnelles (hors METAR donc), de manière programmatique.

Vous avez toujours l'api !!! et Gratuite!! après  est ce que vous avez une Station qu'envoie les données chez Wu?

 

 

Voici la Doc:

https://docs.google.com/document/d/1eKCnKXI9xnoMGRRzOL1xPCBihNV2rOet08qpE_gArAY/edit

Modifié 22 janvier 2020 par 970hPa

[970hPa]

Il y a 4 heures, toby a dit :

Bonjour,

 

Attention, c'est exact les API WU sont encore gratuite .... MAIS en cas de trop nombreuses requêtes : tu te fais bloqué!!

Comme d'autres réseaux (Davis par exemple) les data (même les tiennes) sont une sources de revenu...

Je suis occupé sur un projet ici au Portugal, et je rigole pas si je ne veux pas ouvrir mon portefeuille 😡

 

La solution est les widgets:

 

 

Les liens Infoclimat et WeatherCloud des widget fonctionnent, ceux de WU non.

 

 

 

 

 

J'explore, avec l'aide d'un portugais, les liens possibles avec OpenStreetMap, c'est une autre paire de manches 😉

Bonne journée à tous

 

 

C'est simple... Avec https://cron-job.org/en/ vous envoyez les donnés WU sur une page "Ex: Api.php" et depuis la vous allez récupérer les données.. Vous faites une requête et vous pouvez l'exporter sur plusieurs sites.. 😉

[edel]

Le 22/01/2020 à 23:08, 970hPa a dit :

Vous avez toujours l'api !!! et Gratuite!! après  est ce que vous avez une Station qu'envoie les données chez Wu?

 

Voici la Doc:

https://docs.google.com/document/d/1eKCnKXI9xnoMGRRzOL1xPCBihNV2rOet08qpE_gArAY/edit

C'est peut-être (encore) gratuit pour les propriétaires de stations qui envoient leurs données sur les sites météo. Mais ce n'est pas mon cas.

Et l'API Wunderground a été remplacée par celle de "The Weather Company" qui est à destination des professionnels, et donc hors de prix.

Modifié 26 janvier 2020 par edel

[edel]

Le 22/01/2020 à 21:02, Sebaas a dit :

 il ne manque plus "que" le développement des API proprement dit... Problème de ressources RH donc, et on t'embauche si tu veux

Bon, dans un premier temps, serait-il possible de donner accès aux données brutes (fichier texte/csv) des stations ayant donné l'autorisation de réutilisation de leurs données ?

Parce qu'au-delà de la spécificité du réseau Stat-IC, j'ai parcouru et testé quelques autres API du web et il y a toujours un truc qui cloche : soit les données semblent peu précises, soient elles ne donnent les températures qu'au format entier (si si...), soit c'est hors de prix.

Ca va finir par me motiver pour la construction de l'API... mais ça me parait un chantier pharaonique cette histoire, et je ne sais pas trop par où commencer...

[Fred59_]

il y a une heure, edel a dit :

Bon, dans un premier temps, serait-il possible de donner accès aux données brutes (fichier texte/csv) des stations ayant donné l'autorisation de réutilisation de leurs données ?

 

 

On le donne au cas par cas aux propriétaires qui en font la demande, et aux entités à but non lucratif qui souhaitent les avoir (le système de licence n'étant pas encore en place sur StatIC, on ne s'engage pas pour les propriétaires). Mais c'est déjà du taf donc on ne souhaite pas à ce que ça devienne systématique. Mais la future API "opendata" va résoudre ce problème.

[Sebaas]

Il y a 1 heure, edel a dit :

Bon, dans un premier temps, serait-il possible de donner accès aux données brutes (fichier texte/csv) des stations ayant donné l'autorisation de réutilisation de leurs données ?

 

Pour te faire la main, tu peux déjà taper dans les fichiers .csv mis à disposition par les stations du réseau Météo l'Ecole: https://www.infoclimat.fr/pedagogie/

(ces données étant sous licence opendata, tu en fais ce que tu veux!)

[edel]

Ah c'est un bon début @Sebaas merci ! Mais le fait qu'il n'y ait que les données horaires en téléchargement, alors que le site elles sont toutes les 10 minutes, est-il un soucis de simplification ou une limitation de la licence ? 

 

EDIT : Ah en fait dans le csv y a toutes les données  

Modifié 26 janvier 2020 par edel

[Sebaas]

Depuis la reprise de MAE sur Infoclimat, on récupère les données toutes les 10 min. On a donc cette fréquence depuis un an et demi, mais pas avant puisque c'est une reprise du contenu de l'époque où l'ancien site MAE récupérait seulement les données horaires.

[edel]

Pour mon usage, ce n'est pas un problème puisque je ne souhaite traiter que les données récentes.

Excellente initiative d'avoir augmenté la fréquence des relevés 👏

 

Edit : voilà j'ai mis au point un script de récupération et de reformatage selon mon besoin des données d'une station MAE, çà répond grandement à mon besoin. Pour que ce soit parfait, il faudrait que les rélévés passent à une fréquence de 5 min. Mais c'est déjà très bien comme çà  

Modifié 26 janvier 2020 par edel

[edel]

Il y a 22 heures, Sebaas a dit :

 

Pour te faire la main, tu peux déjà taper dans les fichiers .csv mis à disposition par les stations du réseau Météo l'Ecole: https://www.infoclimat.fr/pedagogie/

(ces données étant sous licence opendata, tu en fais ce que tu veux!)

A ce propos, il semble y avoir un bug avec les données générées dans le csv, dans un cas de figure : si on demande les données d'une seule journée passée, le CSV résultant donne la journée demandée... + les suivantes, jusqu'à 5 maximum.

A corriger je pense  

Modifié 27 janvier 2020 par edel

[970hPa]

Bonsoir , 

 

Connaissez-vous un site où je pourrais récupérer les données d'un Metar?

Je suis en train de créer mon site et je voudrais afficher les données

 

Merci  

[970hPa]

Bonjour  

 

Suite à ma demande, je trouvais un code pour faire le décodage des ISS Metar/Synop

 

Voici le lien: 

https://github.com/hsdn/metar-taf

 

 

[edel]

Le 26/01/2020 à 20:23, Sebaas a dit :

 

Pour te faire la main, tu peux déjà taper dans les fichiers .csv mis à disposition par les stations du réseau Météo l'Ecole: https://www.infoclimat.fr/pedagogie/

(ces données étant sous licence opendata, tu en fais ce que tu veux!)

Bonjour,

 

Je suis triste depuis quelques jours. Triste parce que ma station fétiche MAE du lycée Parc de Vilgenis à Massy n'émet plus de données  

Et il y a celle du collège des Saules à Guyancourt qui n'émet plus depuis le 13 novembre 2017, d'ailleurs pour celle-ci il y a un bug qui fait qu'un relevé se réenregistre depuis, le 13 de chaque mois.

 

Bon évidemment en ces temps de confinement il ne faut pas espérer de revoir des relevés dans les prochains jours, mais après cet épisode, sera-t-il possible, notamment pour Massy, de retrouver des relevés à jour ? D'ailleurs pour cette station, les relevés s'arrêtent le 15 mars, soit au moment de l'arrêt des cours. Peut-être pas un hasard...

[Ralala78]

il y a une heure, edel a dit :

Et il y a celle du collège des Saules à Guyancourt qui n'émet plus depuis le 13 novembre 2017, d'ailleurs pour celle-ci il y a un bug qui fait qu'un relevé se réenregistre depuis, le 13 de chaque mois

Et à ce propos, j'attends toujours que l'on me fournisse la personne à contacter vu que c'est à côté de mon bâtiment professionnel.

[edel]

Bon en attendant un éventuel retour des stations MAE concernées, j'ai réussi à trouver un plan B, à savoir utiliser le réseau Netatmo.

 

Certes ce ne sont pas les données les plus fiables qui soient, mais j'ai tout de même mis la main sur une station proche de chez moi qui présente des relevés qui semblent assez fiables (hormis peut-être le vent mais çà a une moindre importance pour mon besoin), de plus leur API, sans être un modèle de simplicité dans la structure des requêtes et des données, a le mérite d'être en accès libre (pour les données publiques, pas besoin de posséder une station Netatmo) et apparemment non limitée en nombre de requêtes.

 

Y a personne chez IC qui pourrait profiter du confinement pour avancer sur le sujet de l'API interne d'observations ? ^^

[Fred59_]

il y a 6 minutes, edel a dit :

 

Y a personne chez IC qui pourrait profiter du confinement pour avancer sur le sujet de l'API interne d'observations ? ^^

 

Si si, mais je n'ai que deux bras 🙃

[edel]

J'ai un petit peu de temps libre, et je suis bien intéressé par le sujet. Par contre je ne sais pas encore si j'ai assez bagage technique pour m'y coller. En tout cas  je suis à l'aise avec l'utilisation d'une API existante côté client.

 

Y a déjà un travail qui a été fait en amont, des définitions de structure, de protocole, ou alors il faut partir d'une feuille blanche ?

Modifié 18 avril 2020 par edel

[Fred59_]

il y a 46 minutes, edel a dit :

J'ai un petit peu de temps libre, et je suis bien intéressé par le sujet. Par contre je ne sais pas encore si j'ai assez bagage technique pour m'y coller. En tout cas  je suis à l'aise avec l'utilisation d'une API existante côté client.

 

Y a déjà un travail qui a été fait en amont, des définitions de structure, de protocole, ou alors il faut partir d'une feuille blanche ?

 

Tu peux tester avec ce fichier 😉 (sans garantie que les champs soient exactement formatés de cette manière dans le futur, mais ce sera très proche)

api_07015.json

[_sb]

Aah la curiosité ! J'ai cliqué !

[970hPa]

Le 18/04/2020 à 13:06, Fred59_ a dit :

 

Tu peux tester avec ce fichier 😉 (sans garantie que les champs soient exactement formatés de cette manière dans le futur, mais ce sera très proche)

api_07015.json 34 Ko · 7 téléchargements

Cool  

 

juste, c'est quoi  "temps_omm" ? 🤔

 

Compris 😛 ...Le temps  observé au moment de l'obs ,j'imagine qu'il va y avoir le code (ex : 61) qui va générer les symboles ? 

 

 

Modifié 19 avril 2020 par 970hPa