Vigilance Météo France

[970hPa]

Par contre les 1.4% de non-détection c'est par rapport a une vigilance orange ou rouge??

[Sebaas]

il y a 13 minutes, 970hPa a dit :

Par contre les 1.4% de non-détection c'est par rapport a une vigilance orange ou rouge??

 

Bah déjà vu le nombre de loupés l'an dernier, ce taux n'est clairement pas représentatif (depuis le début, le calcul de ce taux me semble hautement fumeux...), et il serait intéressant de reprendre l'historique de ce topic sur 2022...

 

Ensuite, le loupé du 18 aout devrait valoir à lui tout seul triple ou quadruple niveau de non-détection, car c'est clairement le rouge qu'il aurait fallu envoyer (je reconnais, facile à dire après pour le rouge, en revanche, s'agissant du orange...).

 

Je sens venir une grosse tendance à la minoration de cet événement de toute manière. Et j'attends avec impatience le rapport officiel et public...

[matheo7125]

C'est bien de nous donner des chiffres, ce qui serait encore mieux c'est de savoir d'où sortes tous ces chiffres, parce que bon c'est un peu facile de sortir des chiffres comme ça sans avoir la moindre justification ça n'a strictement rien de scientifique...

Pourtant on apprend ça a l'école de justifier une réponse, sinon c'est 0 point à la question

Après les calculettes sont peut-être devenus trop chères avec l'inflation, ils ont surement joué à la loterie à la place

 

Concernant l'épisode corse, je ne suis même pas sûr qu'ils aient considéré ça comme une non-détection puisqu'ils ont mis la vigilance orange, bon après l'épisode était déjà fini mais c'est pas grave c'est du détail ça

[Nico 14]

Citation

L’intensité exceptionnelle de l’évènement
n’a toutefois pas pu être anticipée et c’est
l’observation de très fortes rafales à l’arrivée
du système orageux sur les terres qui a conduit
les prévisionnistes de l’établissement à placer
toute la Corse en Vigilance orange un peu avant
8 h 30.

[Claude33]

Il y a 4 heures, Sebaas a dit :

Mouais....

Ces tableaux me rappellent mon ancien boulot où il fallait justifier les taux de panne du matos vis à vis d'un client par rapport à ce qu'on lui a vendu. J'aimerais bien ici avoir les chiffres-source, data par date, et département par département 😆

 

L'impression que j'ai, qui n'est pas scientifique et je l'assume, est plus que mitigée vis à vis de ces vigilances, notamment en situation orageuse (qui, je le conçoit, sont parmi les plus difficiles à anticiper) . En gros, si MF a mis mon département en vigi orange aux orages, je dors tranquille, je sais que ça va tomber dans le département d'à côté qui lui est en jaune. Et désolé, mais ça marche quasi à tous les coups

[Thundik81]

Malheureusement le délai de communicabilité du RETEX du derecho du 18/08/2022 est trop important [Cela me fait penser que je n'ai pas regardé ce qu'il en était dans les autres pays touchés.]
RETEX sur le site de l'IGEDD : https://igedd.documentation.developpement-durable.gouv.fr/recherche?motCle=retour d’expérience

 

Malheureusement aussi pour les indicateurs de qualité, les évaluations sont internes.

 

On va faire la mauvaise langue  : en 2006 le taux de non-détection était de 1 % [moins de phénomènes inclus aussi].
Et fut un temps où les Bilans vigilance annuels incluaient beaucoup de photos, d'Infoclimat notamment.

[Azitork]

Bonjour,

 

Je tiens à faire remarquer qu'il ne s'agit pas d'un papier scientifique mais d'un bilan à diffusion large, pour le publique (+ peut-être les partenaires institutionnels et la tutelle ?), il n'y a donc pas lieu d'exposer le détail du calcul, bien que je pense que celui-ci est très basique. (voir plus bas)

Quelques remarques :

 

Il y a 17 heures, 970hPa a dit :

Par contre les 1.4% de non-détection c'est par rapport a une vigilance orange ou rouge??

Réponse dans le rapport :

Citation

Les épisodes pour lesquels des effets significatifs ont été relevés sont également examinés pour identifier les éventuels cas de non-détection : ceux qui auraient dû être placés en Vigilance orange voire rouge.

 

 

Il y a 16 heures, Sebaas a dit :

Ensuite, le loupé du 18 aout devrait valoir à lui tout seul triple ou quadruple niveau de non-détection, car c'est clairement le rouge qu'il aurait fallu envoyer (je reconnais, facile à dire après pour le rouge, en revanche, s'agissant du orange...).

Clairement, aucun poids ne semble être appliqué sur les gros ratés, je pense que seules les occurrences de dépassement de seuils de vigilance sont prises en compte.

 

Je pense que le calcul des taux de non-détection et fausse alarme se résume bien avec une table de confusion :

Maintenant si quelqu'un veut s'amuser à refaire le calcul, on pourra comparer.

 

Il y a 13 heures, Claude_L a dit :

En gros, si MF a mis mon département en vigi orange aux orages, je dors tranquille, je sais que ça va tomber dans le département d'à côté qui lui est en jaune. Et désolé, mais ça marche quasi à tous les coups

Bravo, tu as mis  en exergue la difficulté à prévoir les orages, mes félicitations. Le paramètre orage est celui qui, par nature, cause le plus de fausses alarmes.

Modifié 25 mai 2023 par Azitork
correction taux

[cirrus007]

C'est clair que ce 1.4% semble tout droit sorti du chapeau d'un magicien, et la libre interprétation d'un loupé semble un peu trop subjective. 

De toute façon malheureusement on en est pas à un coup d'essai de MF niveau mauvaise foi, ces indicateurs pipés ne servent qu'à (tenter de) dorer le blason de l'institution et sont limite de la masturbation intellectuelle. 

[970hPa]

il y a 55 minutes, Azitork a dit :

il n'y a donc pas lieu d'exposer le détail du calcul, bien que je pense que celui-ci est très basique. (voir plus bas)

Il ya un réel intérêt de partager le calcul puis 1.4% ça ne vaut rien dire car si c'est une vigi raté comme l'ep en Corse le 18 Aout 2022, ça reste quelque chose de grave  

 

 

[Azitork]

il y a 46 minutes, cirrus007 a dit :

C'est clair que ce 1.4% semble tout droit sorti du chapeau d'un magicien, et la libre interprétation d'un loupé semble un peu trop subjective. 

De toute façon malheureusement on en est pas à un coup d'essai de MF niveau mauvaise foi, ces indicateurs pipés ne servent qu'à (tenter de) dorer le blason de l'institution et sont limite de la masturbation intellectuelle. 

 

Au-delà de ton bashing de base, on peut aussi réfléchir.

Ce qui est demandé à MF c'est d'avoir un taux de non détection faible (<2%), le critère ne porte pas sur le nombre de non-détection (je pense que cette info se trouve dans le Contrat d'Objectif et de Performance de MF, en plus dudit bilan). Donc lorsque le nombre de vigilances justifiées augmente (A dans la matrice de confusion de mon précédent message), le taux de non-détection diminue mécaniquement ! Et au vu du taux de détection (A/A+B) élevé cette année (74%), on peut décemment penser que le nombre de vigilances justifiées A était élevé cette année. En regardant 2020 par exemple, on voit que le taux de détection est faible (48%) alors que le taux de non-détection est de 6.7%, on peut donc facilement imaginer que A a une impact fort sur ce taux.

Nota : dans le bilan, A est taux de détection anticipée de plus de 6 heures, c'est donc normal que la somme des 2 taux soit inférieur à 100%.

 

il y a 17 minutes, 970hPa a dit :

Il ya un réel intérêt de partager le calcul puis 1.4% ça ne vaut rien dire car si c'est une vigi raté comme l'ep en Corse le 18 Aout 2022, ça reste quelque chose de grave

Oui, clairement, c'est grave et je pense qu'on attend tous le RETEX avec impatience.

Je n'ai pas dit qu'il n'était pas intéressant de partager le calcul, bien au contraire, simplement que ce n'est sans doute pas l'objectif de ce rapport de le décrire. Je pense quand même qu'ils se basent sur une matrice de confusion (un peu élaborée sans doute) au vu des termes qui sont utilisés.

 

Modifié 25 mai 2023 par Azitork

[cirrus007]

il y a 2 minutes, Azitork a dit :

 

Au-delà de ton bashing de base, on peut aussi réfléchir.

Ce qui est demandé à MF c'est d'avoir un taux de non détection faible (<2%)

 

 

C'est du bashing oui, mais bon c'est de bonne guerre. 

Tout ceci me fait penser aux résultat du BAC qui doivent atteindre un certain %, cela sous entend derrière de nombreux mécanismes plus ou moins sophistiqués pour atteindre l'objectif. 

D'ailleurs ce <2% est-il est un objectif "obligatoire" ? Si tel est le cas on peut imaginer de sérieux biais pour se conformer à cet objectif. 

 

Je dis cela, car 1.4% de taux de non détection me semble complétement farfelu, à longueur d'année on a des exemples de phénomènes mal appréhendés (aussi bien des vigi oranges pas déclenchées, voire des vigi orange déclenchées pour rien), ce topic est d'ailleurs un illustre exemple. 

Je préférerai entendre MF dire qu'ils ont capoté à de nombreuses reprises sur les précédentes années, peut-être du à un manque cruel de suivi temps réel et un système de vigi complétement archaïque à l'époque des smartphones et réseaux ou tout va très vite, mais non au lieu de ça on est le droit a un "regardez on est encore meilleur qu'avant!". Je suis désolé mais c'est une forme de politique de l'autruche. 

[amateur]

il y a 13 minutes, cirrus007 a dit :

Je dis cela, car 1.4% de taux de non détection me semble complétement farfelu, à longueur d'année on a des exemples de phénomènes mal appréhendés (aussi bien des vigi oranges pas déclenchées, voire des vigi orange déclenchées pour rien), ce topic est d'ailleurs un illustre exemple. 

 

Je pense que sur IC nous avons un biais non négligeable sur les "ratés" de MF  

 

Une "non-détection" peut avoir une incidence très forte (cas de la Corse l'année dernière) mais à l'inverse sans réel impact (un seuil de canicule dépassé de justesse).

 

Comme l'a très bien détaillé Azitork, cela reste une statistique, et si le nombre vigilance à posteriori (A+B dans la matrice) est important, les erreurs qu'elles soient importantes ou non sont noyées dans la masse.

[Tim39]

Il y a 12 heures, 970hPa a dit :

Il ya un réel intérêt de partager le calcul puis 1.4% ça ne vaut rien dire car si c'est une vigi raté comme l'ep en Corse le 18 Aout 2022, ça reste quelque chose de grave  

 

Oui clairement... C'est 1.4% seulement, ok, mais c'est 1.4% qui sont très significatifs aussi. On peut pas oublier ce qu'il s'est passé en Corse sous prétexte que le taux de non détection a été plus faible en 2022 que les autres années (et je suis de votre avis, j'y crois pas vraiment à ce 1.4%...)

[Azitork]

Il y a 22 heures, cirrus007 a dit :

D'ailleurs ce <2% est-il est un objectif "obligatoire" ? Si tel est le cas on peut imaginer de sérieux biais pour se conformer à cet objectif. 

Vraiment ? Tu peux aussi lire le bilan   :

Pour info, l'objectif "taux de non-détection < 2%" est le même depuis au moins 2012. Voir Contrat d'Objectif et de Performance 2012-2016 (page 18) et Contrat d'Objectif et de Performance 2017-2011 (page 25).

 

 

 

Il y a 10 heures, Tim39 a dit :

j'y crois pas vraiment à ce 1.4%...

Il y a 22 heures, cirrus007 a dit :

1.4% de taux de non détection me semble complétement farfelu

Je suis très perplexe devant votre mentalité où ce qui ne va pas dans votre sens est un mensonge, vous pensez sincèrement que MF truque ses scores pour enjoliver ses bilans ?

Je pense avoir clairement expliqué les limites de la statistique probablement utilisée.

Continuer à débattre sur ce chiffre de 1.4% relève de la mauvaise foi. Pour le reste ça joue, il y a débat !

On peut par exemple se poser la question du choix de la statistique d'évaluation et donc de sa représentativité, de la non pondération des non détections aux conséquences graves, etc.

 

Il est certain qu'il y a des couacs, parfois graves, et que MF ne les reconnaît pas souvent officiellement (Corse, août 2022 par exemple). Ce bilan aurait pu être l'occasion de se remettre en question sur les loupés, ce n'est pas le cas et c'est critiquable, mais de là à remettre en question l’honnêteté de ses chiffres, vous y allez trop fort.

 

 

 

Il y a 22 heures, cirrus007 a dit :

on est le droit a un "regardez on est encore meilleur qu'avant!".

Ton interprétation. Rien de tel dans le rapport.

Le bilan commente les scores de façon pragmatique, sans relief quant à la réalité des évènements, mais sans vantardise pour autant.

Citation

Le taux de détection anticipée à plus de 6 heures s’élève à 74 %. Cela signifie que plus des deux tiers des épisodes de Vigilance ont été activés plus de 6 heures avant la survenue du phénomène dangereux et de ses impacts.
Le taux de non-détection de la Vigilance s’élève à 1,4 %, soit l’un des plus faibles observés au cours de la décennie, à égalité avec l’année 2019.

 

Modifié 26 mai 2023 par Azitork
typo

[cirrus007]

De toute façon que cela soit 1.4%, 4% ou 0.4% ça n'apporte pas grand chose au débat, la méthode de calcul et d'attribution d'une non détection me semble un peu bancale dès le départ, mais là c'est purement méthodologique. Comme cela a été dit la non pondération vis à vis de non détection d'événements graves à eux seuls mettent à mal ce type de calcul simpliste et limite binaire (détecté/pas détecté). 

Pour le trucage je n'irais pas jusque là, mais travaillant dans la fonction publique au CNRS je ne vois que trop souvent des petites manipulations - ou disons plutôt une présentation des chiffres sous un prisme arrangeant de façon plus ou moins subtile pour rentrer dans les clous - (à tous les niveaux d'ailleurs que ce soit des bilans d'activité, des demandes d'achats de gros systèmes >500 k€, des gestions d'inventaires etc...), alors j'avoue me méfier de plus en plus des indicateurs magiques qui disent que tout va bien quand tout va "mal". Malheureusement, même si elle n'est pas majoritaire heureusement, la malhonnêteté et le trucage scientifique est une réalité beaucoup plus présente qu'on le pense. Mais fort probablement que ce 1.4% est tout à fait crédible tel qu'il est mathématiquement décrit, c'est juste son cadre de calcul et ce qu'il représente à la fin qui ne veut pas dire grand chose et qui est une sorte de "trucage" en soit. 

 

Mais bon j'arrête ma mauvaise foi, peut-être qu'effectivement c'est globalement mieux qu'avant (ou équivalent) et que sur IC on est collectivement biaisé. Mais je ne puis m'empêcher de penser que MF a pris quelques gros retards sur le coté suivi temps réel et la diffusion des infos (via réseaux ou tout autres canaux plus efficients que la simple carte). Je conçois aussi que la critique est facile, on a tendance à souvent taper du doigt sur ce topic mais il y a aussi eu de belles réussites et quand c'est le cas j'étais aussi présent pour le dire (typiquement les 2 vigi rouges Canicule en 2019 qui à mon sens étaient bien amenées et communiquées), le gros point noir reste le suivi très court terme en cas d'évènements violents orageux mal cernés, et il y en aura de plus en plus. 

 

Modifié 26 mai 2023 par cirrus007

[_sb]

Outre l'indication de la méthodologie, détailler par type de vigilance aurait son intérêt (vents, pluie-inondation, orage, etc) : est-ce les coups de vent et tempêtes obtiennent un score similaire à celui des orages ? Est-ce que les phénomènes d'origine synoptique obtiennent un score similaire aux phénomènes d'échelles réduites (mesoscale..., par exemple, dégradation orageuse SW->NE à l'avant d'un long FF atlantique vs dégradation méditerranéenne ) ?

 

 

Pour la Corse, le commentaire ne pousse pas plus que celui émis antérieurement : on ne pouvait pas anticiper. Certains prévisionnistes avaient montré que c'était anticipable en opérationnel quelques heures avant (probabilité en forte hausse pour un évènement violent), ce serait à retrouver je n'ai malheureusement pas garder les références, c'est donc sous réserve.

 

Citation

De telles valeurs de rafales n’ont jamais été
observées auparavant en métropole. Le manque
d’observations en mer, l’extrême rapidité du
phénomène et les difficultés générales à prévoir
précisément les orages n’ont pas permis de les
anticiper.

 

C'est vrai que les évènements de petites échelles restent souvent plus difficile à prévoir. Cependant, MF en reste à un "on ne sait pas faire mieux" qui renvoie, pour ma part, à un sentiment d'inquiétude sur les capacités opérationnelles de l'institution, sentiment renforcé par l'absence de communication sur les améliorations entreprises ou envisagées.

 

Citation

Taux de non‑détection
Un épisode de Vigilance est quali-
fié de non-détection lorsque des
conséquences significatives sont
constatées sur un département
non placé en Vigilance orange.
Les cas de non-détection sont
majoritairement dus aux phéno-
mènes orageux, dont la localisation
et l’extension géographique restent
difficiles à estimer à l’échelle
départementale

 

[Nico 14]

Il y a 2 heures, _sb a dit :

Pour la Corse, le commentaire ne pousse pas plus que celui émis antérieurement : on ne pouvait pas anticiper. Certains prévisionnistes avaient montré que c'était anticipable en opérationnel quelques heures avant (probabilité en forte hausse pour un évènement violent), ce serait à retrouver je n'ai malheureusement pas garder les références, c'est donc sous réserve.

 

On en a parlé déjà en long en large et en travers sur d'autres topics mais je ne suis pas complètement d'accord.Quelques heures avant en observation oui mais certains prévisionnistes chevronnés(estofex) en prévision convective malgré des incertitudes ont jugé que la réaction des modèles à mailles fines était en corrélation avec les ingrédients des modèles globaux(CAPE et cisaillements notamment) et ont sorti le niveau 3 la veille au soir à 22h17.

Le souci, c'est qu'arome surréagit fortement sur les rafales convectives et ses scénarios n'ont pas été pris au sérieux sur le 12z du 17 et le 00z du 18.Quand on confronte la prévision à l'observation vers 05h du matin il y a encore moyen de faire quelque chose au niveau de la vigilance et l'alerte.

 

 

[_sb]

Je ne vois pas en quoi tu n'es pas complètement d'accord ?

[Nico 14]

il y a 5 minutes, _sb a dit :

Je ne vois pas en quoi tu n'es pas complètement d'accord ?

 

Sur les "quelques heures avant",tu parles de la matinée sur observation ou sur la prévision la veille au soir?

[_sb]

De la prévision de la soirée de la veille au début de matinée.

En soirée, le risque augmentait mais, en opérationnel, le doute restait important. En cours de seconde moitié de nuit, l'observation satellitaire montrait une dégradation rapide et violente, d'où les « quelques heures ».

Comme je n'ai plus les sources sous la main, j'indiquais pudiquement « sous réserve ».

 

Dans cet évènement, est-ce que la sévérité a été anticipée mais la décision a été erronée ? Est-ce que la sévérité n'a pas été correctement interprété, voire incomprise, et donc la décision était faussée ? Est-ce que les outils à disposition étaient suffisants pour interpréter correctement les observations ? etc.

Il ne s'agit pas de relancer la discussion mais à replacer dans le ratio des évènements non / mal détectés en fonction de leur type.

Un phénomène extrême / unique peut être un révélateur, peut avoir un effet grossissant si des évènements de même échelle mais moins violents génèrent aussi des non détections plus fréquents.

Le manque de communication est dommageable en entretenant le doute sur les capacités de l'Institution (je ne parle pas du/des prévis mais bien de MF dans sa globalité).

[Nico 14]

Oui et oui pour les outils à disposition.Malgré tout, même en début de nuit le système à l'observation montrait déjà des signes d'organisation violente à la sortie des côtes espagnoles et avec le passage sur Minorque et un report de rafales violentes ainsi que des détournements d'avions.Le tout dans un environnement avec entre 3000 et 4000j/kg de MLCAPE et des cisaillements significatifs.Le modèle expérimental(combinaison IFS/ICON/GFS) d'ESSL pour la grêle avait aussi parfaitement ciblé le risque sur la sortie 12z du 17.

Je remets ce que j'avais mis sur le topic dédié ,c'est bien dommage que toute cette expertise soit restée vaine!!

 

Citation

21:00 – 00:00 UTC: Storms initiated over the Balearic Sea. One of the storms became a right-moving supercell and intensified.

18 August

00:00 – 03:00 UTC: The right-moving severe storm grew in size and impacted Menorca. Heavy rainfall and severe wind gusts were reported. Further storms formed to the north.

 

 

 

https://www.essl.org/cms/the-derecho-and-hailstorms-of-18-august-2022/

Modifié 26 mai 2023 par Nico 14

[Claude33]

.

Modifié 31 mai 2023 par Claude_L
Erreur d'aiguillage

[_sb]

Il y a 13 heures, Claude_L a dit :

.

Modifié il y a 13 heures par Claude_L
Erreur d'aiguillage

 

Tu n'as pas été vigilant !

--> [ ]

[Thundik81]

En attendant demain après-m' (Nîmes-Garons), MàJ de l'appli (exemple Android)

 

Edit: je n'avais pas encore comparé les APK, désolé

Modifié 1 juin 2023 par Thundik81

[lucas77]

Pas de nouvelles de la fameuse météo des forets ?