Script - Vigilance météo

[BenWS2305]

Bonjour à tous,

 

Après m'être aperçu que dans les données open source de Météo France se trouve un tas de fichier XML mis à jour en même temps que les vigilances comprenant tous les derniers bulletins, je me suis amusé à créer un petit script qui récapitule pour chaque département, la vigilance en cours, le bulletin ...
Quelle utilité à part faire doublon avec le site vigilance officiel ? Juste le plaisir de l'avoir fait et éventuellement pour des webmasters si certains veulent l'intégrer.

https://meteo-gournaysuraronde.fr/template/homepage/blocks/current/vigilance-france.php

Si certains souhaitent améliorer je suis preneur ^^

 

Voilà, juste un partage comme un autre.

Modifié 7 juillet 2022 par BenWS2305

[BenWS2305]

J'ai terminé mon bidouillage aujourd'hui avec l'ajout de la time-line quand un département est en vigilance au moins jaune, ainsi que un aperçu en bas de pages des 9 dernières cartes de vigilances (du moins quand le script aura 9 en mémoire).
Météo France met à jour la carte  un poil de temps après tous les fichiers nécessaires à ce script et j'ai remarqué ainsi que le script sera généralement le premier à afficher la carte la plus récente ^^ 

Bref je me suis bien amusé 😂

[Thundik81]

 

Juste pour info, MF a fait cela :

https://donneespubliques.meteofrance.fr/?fond=produit&id_produit=299&id_rubrique=50

[BenWS2305]

Oui c'est grâce à cela que cela fonctionne, les données sont tirées des fichiers contenus dans ce lien. Sinon j'aurai jamais pu bidouiller un script ou récupérer les données du moins sans que cela soit autorisé 🙃

Modifié 8 juillet 2022 par BenWS2305

[Thundik81]

il y a 23 minutes, BenWS2305 a dit :

Oui c'est grâce à cela que cela fonctionne, les données sont tirées des fichiers contenus dans ce lien. Sinon j'aurai jamais pu bidouiller un script ou récupérer les données du moins sans que cela soit autorisé 🙃

 

Cela date... mais c'est très bien de s'essayer à l'exercice !

Les cartes de vigi ont toujours été mises en ligne plus ou moins tardivement selon le serveur utilisé. [Du temps où j'archivais, cela restait quand même, en moyenne, inférieur à 2 minutes.]

[BenWS2305]

Ah oui d'accord, je n'avais pas pensé à l'archivage surtout qu'on peut remonter à n'importe quelle carte toujours sur ce site. 

Oui je suppose que l'utilisation et la publication des fichiers XML par MF ne date pas d'aujourd'hui ! En espérant qu'ils ne changent pas de format tout de suite 😅 j'aimerai profiter de mon petit système un petit moment. 

[Fred59_]

Pour l'anecdote, Infoclimat les archive depuis des temps immémoriaux (à l'époque où le fichier XML n'existait pas et où l'on analysait donc la couleur des pixels sur l'image pour savoir quelle était la couleur de chaque département), mais ne les présente nulle part sur le site. Un jour peut-être, on complètera avec ça et on les affichera ou on en tirera des stats... http://vigilance-public.meteo.fr/

[BenWS2305]

Ah c'est cool que Infoclimat enregistre depuis longtemps. On doit pas être très loin de la date de création des vigilances. 

Je ne vais que conserver les cartes de vigilances oranges et rouges pour le moment et encore une fois tant que j'en aurai le plaisir rien d'autres buts. Mais bon au bout de 15 ans de passions et de suivis acharnés à presque chaque phénomène météo important c'est pas près d'arrêter. 

J'ai fait les ultimes ajouts aujourd'hui avec les pictos sur la carte 🙃

 

1 à 2 minutes c'est en effet ce que j'ai remarqué comme avance entre la publication des xml et la reelle modification de la carte officielle. 

 

Le système d'archive de météo France est cool je l'ai découvert très récemment mais mal optimisé car malheureusement cela plante assez souvent et il faut recommencer souvent. Mais cela doit être une belle base de données ! 

Modifié 10 juillet 2022 par BenWS2305

[BenWS2305]

Ultime mise à jour et pile au moment du début de vigilances orange de la canicule ^^ J'ai remarqué que les timelines des fichiers XML de Météo-France vont un peu plus loin que ce qu'ils affichent sur le site.
Par exemple pour l'Ardèche sur le fichier XML interprété ici : https://meteo-gournaysuraronde.fr/template/homepage/blocks/current/vigilance-france.php?departement=07 la vigilance s'arrête à 06h00 le 14 juillet alors que sur le site de vigilance officiel la timeline s'arrête demain à 16h00.

 Petite vignette PNG généré pour la signature au passage 🙃 

[BenWS2305]

Bon voilà il aura fallu des vigilances rouges pour exploiter tout le script et les données de Météo-France pour corriger l'ensemble des bugs : timeline, vignette pour forum (...) 
Tout est corrigé et l'ensemble des bulletins de Météo-France semble bien téléchargé pour chaque département choisi.

Juste la gestion de la vignette où le passage d'un fichier SVG vers png pose problème si les pictogrammes de vigilance sont présents, du coup je les ai viré et la vignette est tout de suite plus lisible ^^

Modifié 17 juillet 2022 par BenWS2305

[BenWS2305]

Petite incohérence dans les vigilances jaunes ce soir, je pensais à une erreur dans le codage du script et de de la mini carte de ma signature mais Météo-France a bien prévu dans ses fichiers sources une vigilance jaune pour ceux qui apparaissent en vert avec un picto orage + les Alpes sur ma carte.

Donc forcément le script voit vert dans le fichier principal mais Orage dans le fichier des phénomènes c'est un peu perturbant et on peut rien y faire...

=> https://meteo-gournaysuraronde.fr/Vigilances/vigilance-france.php?phen=3

Il y a même une timeline de prévue => https://meteo-gournaysuraronde.fr/Vigilances/vigilance-france.php?departement=38

 

Et pourtant sur leur site aucune trace des orages dans le sud-est => https://vigilance.meteofrance.fr/fr/orages 

 

Je pense pourtant que ils l'ont bien prévu et c'est logique avec les prévisions, peut être une mise à jour une soirée des fichiers XML et de leur carte 🙃

Modifié 21 juillet 2022 par BenWS2305

[Marc09]

Il y a 22 heures, BenWS2305 a dit :

Petite incohérence dans les vigilances jaunes ce soir, je pensais à une erreur dans le codage du script et de de la mini carte de ma signature mais Météo-France a bien prévu dans ses fichiers sources une vigilance jaune pour ceux qui apparaissent en vert avec un picto orage + les Alpes sur ma carte.

Donc forcément le script voit vert dans le fichier principal mais Orage dans le fichier des phénomènes c'est un peu perturbant et on peut rien y faire...

=> https://meteo-gournaysuraronde.fr/Vigilances/vigilance-france.php?phen=3

Il y a même une timeline de prévue => https://meteo-gournaysuraronde.fr/Vigilances/vigilance-france.php?departement=38

 

Et pourtant sur leur site aucune trace des orages dans le sud-est => https://vigilance.meteofrance.fr/fr/orages 

 

Je pense pourtant que ils l'ont bien prévu et c'est logique avec les prévisions, peut être une mise à jour une soirée des fichiers XML et de leur carte 🙃

 

Dans les fichiers, tu reçois bien le niveau de vigilance heure par heure pour chaque département prévu pour les 39 prochaines heures au moment de l'émission de la carte de vigilance ? Corriges-moi si cela n'est pas le cas.

La carte de vigilance officielle n'affiche que l'état de le vigilance pour les 24 prochaines heures au moment de l'émission (de 6 h à 6 h ou de 16 h à 16 h).

Ta carte correspond du coup à la vigilance prévue pour les prochaines 39 h, contrairement à la carte officielle qui correspond à la vigilance prévue pour les prochaines 24 h (pour l'instant, mais cela va évoluer).

Modifié 22 juillet 2022 par Marc09

[BenWS2305]

Oui c'est bien ce que je pense aussi cela va jusque 36h, mais du coup un des fichiers celui sur lequel se base le choix des couleurs ne va pas à plus que 24h je pense ce qui explique que je me retrouvais avec des pictos orages sur des départements verts. 

J'ai ajouté un filtre pour éviter que cela se reproduise mais oui s'ils passent tout en 36H ce serait cool 🙃

Modifié 22 juillet 2022 par BenWS2305

[BenWS2305]

Après l'expiration du certificat de sécurité du site utilisée par Météo France pour publier les fichiers XML, j'ai modifié un peu le code en passant un peu outre la validation de ces certificats et en espérant que cela soit tout de même réglé ^^

Sinon j'en ai profité pour faire quelques ajouts avant les vacances, notamment dans la carte des archives =>https://meteo-gournaysuraronde.fr/Vigilances/archive_orange_rouge.php

Un tableau qui récapitule toutes les vigilances pour la France ou pour un département avec possibilité de choisir un phénomène.

Forcément ne sauvegardant que les fichiers XML depuis le 12 juillet je ne peux pas aller avant. 
C'est une petite option perso car je n'ai trouvé aucune source où l'on peut avoir l'historique des vigilances pour un département (pour la France oui) et surtout par phénomène !

En espérant qu'il puisse être utile à certains, ce qui n'est pas sur vu le peu de recul qu'il y a pour l'instant dans la base de données.

🙃

Modifié 27 juillet 2022 par BenWS2305

[Cyrille81]

Bonjour,

 

Très bon boulot. Bravo pour le travail.

 

Par contre, sur la version simplifiée (et celle de ta signature), n'est pas la même que que celle de MF en cours.

 

Version simplifiée :

 

 

 

On dirait un mix en celle d'hier soir, et celle de ce matin.

 

Un bug ?

 

 

Modifié 20 août 2022 par Cyrille81

[BenWS2305]

Salut @Cyrille81, retour de vacances le 28 et j'ai enchaîné avec la rentrée ^^

Normalement cela correspond, mais les fichiers de Météo-France vont à une échéance de 36H alors que sur leur site les vigilances sont valables sur 24H.

De ce fait, il n'est pas rare qu'une vigilance jaune qui sera surement déclenchée plus tard le soit déjà dans les fichiers et donc sur mon script ce qui explique une telle différence. 

Sauf que le 20 aout a été un peu particulier car suite à une mauvaise manip de ma part depuis mon lieu de vacances, la quasi totalité de la journée de vigilance a été perdue et cela a entrainé forcément un bug dans le système de vignettage que tu as du repéré ce jour là. Dès le soir j'ai corrigé (tout ca pour une balise que j'ai déplacé par erreur dans le code ...)

Sinon :

1- J'ai modifié un peu le script déjà pour qu'il ne se déclenche que 20 minutes après la dernière MAJ des vigilances. Sur mon petit site, c'est toujours instantané, mais pas pour les vignettes du coup.
Cela fait un petit train de retard mais c'est la façon la plus sûre pour que tous les fichiers aient bien eu le temps de se mettre à jour nécessaires à l'archivage et vignettage.

 

2- j'ai contacté Météo France pour obtenir les archives des fichiers XML, sauf que la seule manière est de passer par http://vigilance-public.meteo.fr/ et de télécharger jour par jour .... Sauf que pour l'instant je n'ai jamais réussi, la page se met en erreur, j'ai essayé sur plusieurs jours, plusieurs horaires, plusieurs support (PC, chromebook, Chrome, Edge, Firefox ....)

 

3- J'ai également ajouté une dernière fonctionnalité : L'ajout du bulletin national en bas de la carte en cas de vigilance orange. Depuis le 15 aout, le bulletin national est sauvegardé et en utilisant l'archive des vigilances (https://meteo-gournaysuraronde.fr/Vigilances/archive_orange_rouge.php) on peut donc accéder au bulletin national publié ce jour là si vigilance orange il y a avait (dont le couac du 18 aout avec la Corse qui se voit d'ailleurs car un des bulletins national a été publié quasi vierge ce qui montre la précipitations des choses ce jour-là).

 

Mon objectif est donc de pouvoir récupérer les fichiers XML pour les jours précédents (et aussi ceux du 20 aout pour récupérer le bug que j'ai causé ^^). Mais du coup c'est pas gagné ...

 

Merci pour les quelques messages que je reçois, c'est vrai que je me suis plus éclaté à développer ca (pendant des dizaines d'heures) sans qu'il y ait une réelle utilité derrière mais je vois que certains consultent 😁

Modifié 2 septembre 2022 par BenWS2305

[Thundik81]

il y a 4 minutes, BenWS2305 a dit :

[...]

2- j'ai contacté Météo France pour obtenir les archives des fichiers XML, sauf que la seule manière est de passer par http://vigilance-public.meteo.fr/ et de télécharger jour par jour .... Sauf que pour l'instant je n'ai jamais réussi, la page se met en erreur, j'ai essayé sur plusieurs jours, plusieurs horaires, plusieurs support (PC, chromebook, Chrome, Edge, Firefox ....)

[...]

 

Tu l'as dit de nombreuses fois mais je n'ai jamais compris où tu pouvais rencontrer un problème pour le téléchargement ?

Le lien est de type vigilance-public.meteo.fr/telechargement.php?dateVigi=AAAA-MM-JJ&base=vigilance4

[BenWS2305]

Oui j'ai bien essayé ce lien mais voilà sur quoi je tombe dans 99% des cas.

Même avec un 4 au bout (car je ne sais pas s'il signifie la 4ème vigilance ou pas), même si avec 'base' devant je suppose qu'il s'agit de la base de donnée donc à mettre forcément.

Modifié 2 septembre 2022 par BenWS2305

[Thundik81]

il y a 22 minutes, BenWS2305 a dit :

Oui j'ai bien essayé ce lien mais voilà sur quoi je tombe dans 99% des cas.

[...]

 

Je te transmettrai ce WE les archives.

[BenWS2305]

Hey😳  Ah super si tu les as c'est génial ! Merci beaucoup ! 😁

[Cyrille81]

@BenWS2305
Merci beaucoup pour ta réponse. Et encore bravo pour ton super travail.
 

Oui, je consulte beaucoup, car plus clair que celui de MF (à mes yeux). 😉

Par contre, j'aurais une question : 
A quoi correspondent les symboles "+" sur la carte de vigilance ?
Si c'est pour dire qu'il y a plusieurs vigilances, il y a un soucis, car à plusieurs reprises, il y a eu des "+", et il n'y avait qu'une seule vigilance.

 

Merci.

[BenWS2305]

De rien 🙃

Le symbole PLUS signifie en effet qu'il y a plusieurs vigilances pour la même intensité max. 
Sur la vignette j'ai également repéré que le PLUS sortait trop, normalement c'est fixé depuis 1 semaine.

[Cyrille81]

Ok, c'est bien ce qu'il me semblait.

 

Merci pour ta réactivité. 👍

[Thundik81]

Il y a 17 heures, BenWS2305 a dit :

Oui j'ai bien essayé ce lien mais voilà sur quoi je tombe dans 99% des cas.

Même avec un 4 au bout (car je ne sais pas s'il signifie la 4ème vigilance ou pas), même si avec 'base' devant je suppose qu'il s'agit de la base de donnée donc à mettre forcément.

 

J'aurais dû vérifier quand tu parlais de tes difficultés. Mea culpa.

Cela fait longtemps que je ne suis plus là-dedans et la dernière MàJ de mon archivage des données de ce site remonte à l'année passée (lien vers XML 2001-2021 en PM).

MF y est, en effet, allé un peu fort dans le réglage d'ASM Proactive (anti-bot / anti-DoS) de leur serveur F5 BIG-IP.

Modifié 3 septembre 2022 par Thundik81
coquille

[BenWS2305]

Merci @Thundik81 ! Les bulletins de vigilances depuis 2001 c'est trop classe !

Par contre je vais jeter une bouteille à la mer mais vu que ces archives ne contiennent que les bulletins, est-ce que quelqu'un possède ou sait où il serait possible de trouver des archives qui permettent de connaître l'état de vigilance de chaque département (couleur voire phénomènes associés) depuis aussi longtemps que possible.

 

De toute façon je vais continuer à développer ma petite base de données qui commence au 12 juillet 2022, mais 21 ans après le début des vigilances l'intérêt est bien moindre ^^ 

Dans l'idéal, cela permettrait en un clin d'oeil de savoir combien de fois chaque département a été placé en vigilance pour tel phénomène et la répartition année par année.

@Thundik81 comme je l'ai pu lire aussi évoque la possibilité d'interpréter les cartes brutes pour en extraire département par département les couleurs de quelques pixels stratégiques à chaque fois, mais autant faut-il encore avoir toute la base des cartes et pour le coup cela est hors de portée pour moi de faire cela ^^

 

Voilà la bouteille est lancée 🙃