Script - Vigilance météo

[BenWS2305]

Bonjour à tous,

 

Correction de nombreux bugs ce jour :

L'archivage est optimisé et normalement il n'y a plus d'erreurs, chaque département est bien stocké avec l'ensemble des phénomènes et leur niveau atteint chaque jour. Si certains voient des bugs sur son département dans la vigilance annoncée le jour choisi je veux bien un retour, mais normalement (hormis le 20 aout) tout est ok.
Je suis encore à la recherche des fichiers XML archives de météo france au cas ou certains savent où je pourrais les trouver ^^

 

Petit ajout sur les cartes qui désormais affichent au survol de la souris le numéro du département mais aussi TOUS les phénomènes concernés par le département sous forme de texte avec la couleur du niveau maximum (avant seuls les phénomènes de la vigilance max s'affichaient).

 

Optimisation de toutes les vignettes images réutilisables par tous pour l'ensemble des phénomènes => https://meteo-gournaysuraronde.fr/Vigilances/carte_france/Affichage_vignette.html

 

Voilà voilà

Modifié 15 septembre 2022 par BenWS2305

[BenWS2305]

Mise à jour du script aujourd'hui car il semblait que les vignettes simplifiées réutilisables par tout le monde ne se mettaient pas à jour à chaque fois. Mais je ne suis pas sur que cela soit à 100% corrigé, je vais vérifier cela avec le temps. C'est un peu l'anarchie la génération de png ^^ => https://meteo-gournaysuraronde.fr/Vigilances/carte_france/Affichage_vignette.html 

Vous pouvez copier le lien de chaque image et les réutiliser à votre guise 🙃

Merci à la personne qui est peut être ici de m'avoir envoyé un mail alors que j'ai honteusement renommé les Ardennes par Ariège (en vrai c'était un copier-coller qui n'avait pas été modifié ^^).

Enfin, la mise à jour de l'archive des vigilances de chaque département prenant une ressource considérable au serveur, ce qui souvent provoquait un plantage a été séparée en 9 (1 par phénomène) répartie sur toute la durée de la nuit chaque jour. En espérant que les ressources ne seront plus dépassés sinon il faudra les augmenter mais là niveau tarif je sors un peu du budget plaisir ^^

En état si vous sélectionnez n'importe quel département de l'archive pour n'importe quel phénomène vous avez bien le récapitulatif, du moins jusqu'au 12 juillet car je n'au malhreusement toujours pas pu récupérer des archives plus anciennes...

Exemple pour l'oise et le phénomène Orages : https://meteo-gournaysuraronde.fr/Vigilances/archive_orange_rouge.php?departement=60&phenomene=c&vigilance_orange=1#calendrier

Modifié 30 septembre 2022 par BenWS2305

[BenWS2305]

Nouvelle mise à jour avec le calendrier des archives qui semble cette fois bien stable ! 

Et aussi l'ajout des blocs de vagues submersion autour de la carte 🙃

https://meteo-gournaysuraronde.fr/Vigilances/vigilance-france.php

[BenWS2305]

Bonjour à tous !

 

Avec la mise à jour de la carte de vigilance, j'ai également modifié le script : la mise en place d'une temporalité Aujourd'hui + Demain + Aujourd'hui et demain
En fait c'était déjà largement possible de faire ceci avec les fichiers tels qu'ils sont depuis déjà pas mal de temps.

Par contre les vignettes, étant donné les grosses ressources que cela demande, cela restera celles pour les 2 jours fusionnées.

 

 

Autre point, avec la mise en place des zones infra-départementales, il me semble, sauf si j'ai loupé l'info, qu'aucun fichier XML ne soit en mesure pour l'instant de donner l'état de vigilance pour les avalanches des massifs ou la submersion des portions côtières.
Si de toute façon un jour c'est le cas, je recherche des personnes à l'aise (par exemple avec Illustrator) pour dessiner les massifs montagneux et les petites zones côtières telle que la carte de vigilance officielle le propose ^^

Je joins le fichier CSV utilisé par le script au cas où pour servir de base.

 

https://meteo-gournaysuraronde.fr/Vigilances/vigilance-france.php

carte_vigilance.svg

Modifié 2 décembre 2022 par BenWS2305

[rommar]

Comme toi je n’ai pas constaté le moyen de discerner les différents massifs montagneux dans les données en open data. 

Il est dommage que ce n’est pas été fait en même temps que la mise en place de celle-ci.

 

Ce serait parfait si tu pouvais directement afficher les massifs montagneux en jaune ou orange directement à l’échelle nationale.

Ce serait un vrai progrès. Cela éviterai l’article de ce matin de actu.fr se demandant pourquoi le 31 était en vigilance jaune !

 

Une fois que tu auras les informations, ce ne devrait pas être trop compliquer de récupérer les contours des massifs avec mon aide ou celle de quelqu’un d’autre...

[Thundik81]

Le 02/12/2022 à 11:42, BenWS2305 a dit :

Bonjour à tous !

 

Avec la mise à jour de la carte de vigilance, j'ai également modifié le script : la mise en place d'une temporalité Aujourd'hui + Demain + Aujourd'hui et demain
En fait c'était déjà largement possible de faire ceci avec les fichiers tels qu'ils sont depuis déjà pas mal de temps.

Par contre les vignettes, étant donné les grosses ressources que cela demande, cela restera celles pour les 2 jours fusionnées.

 

 

Autre point, avec la mise en place des zones infra-départementales, il me semble, sauf si j'ai loupé l'info, qu'aucun fichier XML ne soit en mesure pour l'instant de donner l'état de vigilance pour les avalanches des massifs ou la submersion des portions côtières.
Si de toute façon un jour c'est le cas, je recherche des personnes à l'aise (par exemple avec Illustrator) pour dessiner les massifs montagneux et les petites zones côtières telle que la carte de vigilance officielle le propose ^^

Je joins le fichier CSV utilisé par le script au cas où pour servir de base.

 

https://meteo-gournaysuraronde.fr/Vigilances/vigilance-france.php

carte_vigilance.svg 37 Ko · 5 téléchargements

 

J'avais hésité à te répondre à l'époque (pas à moi à le faire et covidé).

Le plus « juste » est de partir de la V6 de MF : https://vigilance.meteofrance.fr/modules/custom/mf_carte_vigilance/francev6.json et refaire le franceSVG-vvs.svg

Ou mieux demander à MF

 

Edit: je répète, je ne devrais pas le faire mais pour l'exemple, à la MF, la vie en vert en PJ.

MF-Vigi-Vie-en-Vert.svg

Modifié 14 décembre 2022 par Thundik81

[BenWS2305]

Merci énormément pour ce svg ! 

Ca va être du boulot pour bien repositionner tous les icônes mais avec ça je peux en effet sans problème afficher tous les massifs montagneux à part ou à l'échelle nationale et leur vigilance ! 

Du moins si un jour il sera possible d'extraire ces infos 😅

Modifié 14 décembre 2022 par BenWS2305

[rommar]

Il y a 20 heures, BenWS2305 a dit :

Du moins si un jour il sera possible d'extraire ces infos 😅

 

C'est sûr. Pour l'instant je ne vois aucune trace de disponibilité de ces données...

Mais si jamais elles venaient à l'être, comment résoudre le problème d'ordre cartographique de superpositions d'informations. Si un département est concerné par une ou plusieurs vigilances et que les massifs à l'intérieur de celui-ci le sont aussi, cela devient coton à représenter. C'est peut-être pour cela que MF a fait le choix de ne montrer l'info que dans un 3e temps après avoir cliqué sur le département puis sur avalanches....

 

[BenWS2305]

Personnellement je pense aussi le présenter mais en deuxième temps juste après le clic sur le département et seulement si un massif du département est concerné par du jaune ou plus. Si tout est vert je pense afficher un petit encart aucune vigilance avalanche active pour "Département" 

Et si oui je mettrai la carte de vigilance entière des massifs en lieu et place de la carte de la France que j'affiche en bas de page. 

 

Je pense aussi présenter un menu clair avec :

Vigilances nationales : aujourd'hui, demain, les 2

Risque d'avalanche 

Risque de submersion

Et la couleur de fond de ces boutons seraient celle de la couleur max national. 

 

A l'avenir à voir si le découpage sera identique pour tous les autres phénomènes.

 

En tout cas je constate que la page de mon petit script est très visitée, robots soustraits 😊

enfin tout est relatif mais pour un truc que je pensais utiliser que perso ça me fait plaisir 🙃

Modifié 16 décembre 2022 par BenWS2305

[BenWS2305]

Bonjour à tous !

Après un échange de mail avec Météo-France il se trouve qu'ils ont créé une plate-forme permettant d'accéder via une API aux données de vigilances sous forme Json.
Cependant, j'ai bien téléchargé les 2 fichiers en question mais aucune trace des données infra-départementales, du moins j'en trouve pas... On retrouve bien la time-line des évènements, les phénomènes concernés, mais rien de nouveau sur ce qui existe.
Je pense que ce système de fichiers JSON via API remplacera dans quelques temps les XML, ce qui fait que le coeur du script devra être changé ...

je vous mets en pièce jointe les 2 derniers fichiers json accessible via API ce 21/12 à 18h30.

 

De même, l'accès aux archives des vigilances depuis novembre se fait désormais ici : http://storage.gra.cloud.ovh.net/v1/AUTH_555bdc85997f4552914346d4550c421e/gra-vigi6-archive_public/

response_1671642379257.json T_CDPV62_C_LFPW_20221219110140_CDP_TEXTES_VIGILANCE.json

[jackT]

@BenWS2305 : de mon côté, et pour mon site, j'ai mis à jour mes scripts pour récupérer les infos vigilance via le nouvel API.

 

Mis à part le changement de protocole d'accès et de format des fichiers (JSON), la seule différence que j'ai pu voir est qu'en plus des bulletins de chaque département, si applicable,  des bulletin sont disponibles pour des zones plus grandes (nord, nord-Est, sud-est....etc), ou bulletin au niveau national. Pour l'instant en tous cas, aucune trace  de zones distinctes infra-départementales.

Concernant la validité des "anciens fichiers XML", voici ce que Météo-France m'a communiqué récemment :  

Citation

L'ancienne vigilance restera disponible encore 2 ou 3 mois, le temps que les usagers s'adaptent à cette nouvelle production

 

[BenWS2305]

Merci pour ces infos !
je vais donc en effet devoir modifier mon script pour utiliser les JSON ... si j'avais su cet été que 6 mois après cela allait être obsolète ^^

Bon après le script d'affichage est là, faut juste que je modifie la partie recherche des infos , mais ce n'est pas rien ...

[Divergent43]

Cool le boulot fait ici, je fais un truc du genre à titre perso aussi, mais je n'ai pas trouvé de lien vers la nouvel API, j'utilise toujours l'ancienne.

 

Edit: c'est bon j'ai trouvé. je trouve que leur JSON est beaucoup plus lourd que ce qui avait avant.

Modifié 23 décembre 2022 par SolarLight

[BenWS2305]

Bonjour tout le monde, 

J'ai commencé aujourd'hui à recoder le script. Ça va être un boulot énorme mais du fait de la première version je devrais bien plus optimiser le script même si l'exploitation de fichiers json est nouveau pour moi. 

Rien d'extra mais pour suivre les avancées du script c'est ici : https://meteo-gournaysuraronde.fr/Vigilances_test/test2.php

Bon OK beaucoup de blabla mais au fur et à mesure vous risquez de voir un truc qui se forme en bas de page 😂

 

@Thundik81 est ce que tu aurais la carte vierge des départements comme tu as publié la dernière fois mais sans les massifs ? 

Modifié 26 décembre 2022 par BenWS2305

[Thundik81]

il y a 3 minutes, BenWS2305 a dit :

[...]

@Thundik81 est ce que tu aurais la carte vierge des départements comme tu as publié la dernière fois mais sans les massifs ? 

 

Un fichier SVG tu peux aussi l'ouvrir dans un éditeur de texte et supprimer les éléments que tu ne veux pas ! [je l'ai reconstitué ainsi à partir du JSON]

Ici les massifs ont une id de la forme « zone-path-MAS » (ligne 1248). Et après suit tout ce qui concerne les côtes.

[BenWS2305]

Bonjour à tous,

Bon la nouvelle version va devoir être développée dès que possible car les bulletins de vigilances XML départementaux ne sont plus mis à jour !

Résultat, si vous cliquez si un département en orange ou rouge et bien vous avez le dernier bulletin de 2022 ...

[jackT]

Le 19/01/2023 à 17:25, BenWS2305 a dit :

Bonjour à tous,

Bon la nouvelle version va devoir être développée dès que possible car les bulletins de vigilances XML départementaux ne sont plus mis à jour !

Résultat, si vous cliquez si un département en orange ou rouge et bien vous avez le dernier bulletin de 2022 ...

@BenWS2305 : j'avais reçu cet email de Météo France le 9 janvier dernier :

 

Citation

Nous vous informons que nous allons modifier temporairement le fichier de contrôle de l'ancien flux Vigilance:  http://vigilance2019.meteofrance.com/data/vigilance_controle.txt  

 

L'objectif est d'alerter les usagers qui, contrairement à vous, ne sont pas authentifiés et que donc nous n'avons pas la possibilité d'alerter sur l'action en cours. 

Nous allons introduire dans ce fichier une bandeau d'information. En mettant en échec l'exploitation temporaire de ce fichier, on espère que ces usagers recevront le message. 

Désolé pour le dérangement si vous exploitez encore l'ancienne Vigilance. 

 

 Actuellement, le fichier "vigilance.zip" contenant tous les fichiers XML est à jour. C'est juste le format du fichier "vigilance_controle.txt" qui est modifié temporairement.

[matmar]

Vous pouvez laisser tomber le xml et les téléchargements de fichier(s), les données ouvertes de Météo-France sont disponibles via API (format json) à l'adresse https://portail-api.meteofrance.fr/devportal/apis/

[BenWS2305]

Oui oui c'est ce que je disais début janvier, mais je pensais juste que les xml fonctionneraient un peu plus longtemps le temps pour moi de digérer les formats JSON qui me posent des soucis de codage car tout nouveau pour moi et pour l'instant je peux pas dire que je trouve ca plus simple ^^ mais il faut que je me penche sur la question et prenne le temps, ce dernier point est le plus problématique ^^

Modifié 27 janvier 2023 par BenWS2305

[Divergent43]

C'est surtout que cette API n'a pas de fichier de petite taille pour la vérification de mise à jour de vigilance, c'est il faut jouer du coté des headers avec le "last-modified", et il faut s'inscrire sur le portail de l'API

[jackT]

il y a 8 minutes, SolarLight a dit :

C'est surtout que cette API n'a pas de fichier de petite taille pour la vérification de mise à jour de vigilance, c'est il faut jouer du coté des headers avec le "last-modified", et il faut s'inscrire sur le portail de l'API

Une fois inscrit au portail de l'API, la seule limitation est :

Citation

Il y a des limitations à l'utilisation de nos API et par exemple, l'API "DonneesPubliquesVigilance" est limitée à 60 requêtes par minutes.

  Il n'y a donc pas besoin de vérification des headers, il suffit de télécharger les fichiers régulièrement, même si ils ne sont pas mis à jour.

[Divergent43]

C'est vrai aussi, mais dl 200ko + toutes les minutes, c'est pas terrible, d'où le principe de faire une requête seulement en headers pour alléger les transferts et ne prendre que l'essentiel

[matmar]

Avec l'API il semblerait que l'en-tête "last-modified" ne soit pas transmis dans la requête HEAD, tu ne l'as que dans le GET et donc avec le contenu (body).

[Divergent43]

En python avec le module requests, je peux faire une requête GET juste en headers, c'est ce que j'utilise, et le laser last modified est présent

[matmar]

salut, pour demain 05/02/2023 je vois des départements en vigi jaune (30, 84, 13) qui n'y seront plus à partir de 0h.

 

 

 

C'est OK sur la timeline: