Les écarts modélisations/réalité

[Météo Roussillon]

Bonjour à tous, j’ai pas vu de topic sur ce sujet, mais pas mal de passionnés de météo se lasse des modélisations, certe ça reste que des données brutes  mais y’a parfois des écarts vraiment impressionnants avec l’observation sur le terrain.. voici quelques cas sur mon secteur.

 

Arome: surestimation des cumuls de pluie, des intensités, et surtout dès valeurs de vent et parfois des tx. Sous estimation des tn et régulièrement la couverture nuageuse.

 

Arpege: (maillage plus large donc moins exigent) Très nette surestimation du vent (même si y’a du mieux depuis quelques mois), très grosse surestimation des tx à long terme.

 

wrf: Sous estimation des précipitations, surestimation du vent, très nette sous estimation des tn et surestimation des tx.

 

Voici un exemple sur la journée d’aujourd’hui, je sais qu’il faudrait plusieurs journée pour faire des statistiques. Pour mon secteur:

 

Arome: (moyenne des runs)

- Rafale maxi: 85 km/h (réalité 48)

- cumul maxi: 3-5 mm (réalité 0.2)

- Tx prévu: 23 (réalité 21,6) 

- tn prévu: 15 (réalité 16,8)

 

Arpege: (moyenne Run) 

- Rafale maxi: 80 km/h 

- Cumul maxi: 2-5 mm 

- tx prévu: 23-24

- tn prévu: 14-15

 

WRF: (moyenne Run)

- Rafale maxi: 65-70 km/h

- Cumul maxi: 2-4 mm 

- tx prévu: 24

- tn prévu: 13-14

 

Voila je sais que la météo n’est pas une science exacte j’en suis très bien conscient, les modèles sont parfois très performant mais je pense que dans les modélisations (malgré les mailles assez larges) il y’a encore du travail sur les particularités locales, et je pense très sincèrement que beaucoup comme moi ou @MP13850 sont dans le même cas de figure avec parfois de très grosses dérives dans les modélisations, alors que celle-ci sont stable (quand elles sont instable exemple divergence entre 2 Run! je peux comprendre) comme pour aujourd’hui.

[Palaja11]

J'avais lancé un sujet similaire sur les épisodes méditerranéens en fin d'année dernière....

Pour moi le best of the best dans les épisodes méditerranéens dans mon secteur ça restera toujours Arome.
Il voit excellement bien les convergences des vents dans toutes les Corbières et donc très fiable sur les cumuls.

Wrf, le plus "nul" des modèles.
Il surestime systématiquement ma zone lorsqu'un flux d'ouest frais arrive et surtout sur des plages horaires beaucoup trop rallongées.

Gfs surestime les coups de chalumeau car chaque été il voit des 41-42°C. Lui il a un gros défaut à gérer la barrière pyrénéenne.
En flux d'ouest, je le trouve assez bon au niveau des précipitations, mais très mauvais lors de flux maritime.

Au niveau des orages, le modèle que je préfère, c'est le modèle Moi 🙂 . Je suis plutôt bon rien que dans l'observation aérologique et des nuages pré-orageux 🙂

J'aurais pu donner d'autres modèles mais je ne les regarde plus trop (à commencer par Arpège)

[MP84120]

Personnellement j'ai un peu abandonné la prévision a cause de ça. 

 

Trop de déceptions, des modélisations bien souvent loin de la réalité, alors bien-sûr on sait tous que ça ne sera jamais une science exacte, mais perso quand j'entends des personnes dire qu'on progresse au niveau de la prévision franchement je n'en suis vraiment pas convaincu et je pense que bien au contraire on ne progresse pas du tout. 

De toute façon un ordinateur n'a jamais fait a lui seul la météo, il faut toujours l'expérience du terrain et c'est ça qui fait toute la différence.

 

Après le facteur changement climatique doit très certainement jouer aussi sur le fait qu'on a beaucoup de mal a prévoir le temps, il y a des changements profonds qu'il faut arriver à prendre en compte.

Modifié 5 juin 2019 par MP13850

[Thundik81]

Tiens un truc « récent » que j'avais vu passer :

http://wgne.meteoinfo.ru/wp-content/uploads/2019/05/ProcessVerif_JWGFVR_final.pdf

Un bon point de départ !

Modifié 5 juin 2019 par Thundik81

[_sb]

Je vais écrire quelques (longs ! ) mots sur les WRF. Oui, LES !

 

WRF n'est pas un modèle en tant que tel, pas comme GFS ou IFS. Je ne parle pas là du maillage car on peut très bien faire de la grosse maille avec un WRF, et même plus grosse que les modèles globaux (mais il n'y aurait aucun intérêt à cela).

 

WRF est un modèle « personnalisable ».

 

Pour poser les choses clairement, GFS ou IFS (ou ICON, JMA, UKMO, etc), il n'y qu'une et une seule source : NWS/NCEP pour GFS, ECMWF pour IFS, DWD pour ICON, Met'Off pour UKMO, etc pour chacun d'eux. Les données brutes sont les mêmes pour tout le monde.

Les cartes de base, même si elles ont des « looks » différents sont les mêmes.

En revanche, certains sites / éditeurs ajoutent des cartes non standards par le calcul de paramètres supplémentaires. Suivant le calcul, les résultats diffèrent.

 

Par exemple, et j'en fais régulièrement état, je m’intéresse particulièrement au paramètre « IVT » (GFS ne le fournit pas à l'état brut) qui est l'intégration verticale sur tout ou partie de la colonne troposphérique de l'humidité spécifique et du vent. Pour cela, je prends un niveau bas à 1000 hPa et un niveau haut à 300 hPa, avec une intégration à chaque niveau disponible dans les données brutes, soit, pour GFS par exemple, tous les 50 hPa + les niveaux 925 et 975.

Certains sites proposent l'IVT intégré entre les niveaux 1000 et 200 hPa, d'autres entre 900 et 300 hPa, et un autre entre 1000 et 100 hPa. Certains intègrent tous les 100 hPa, un autre que les niveaux intermédiaires 850, 700, 500 pour ce que je peux savoir.

Vous l'aurez compris, les résultats ne sont pas du tout les mêmes ! Et c'est aussi le cas pour les Theta, les divergences/convergences etc ...

 

Parfois, c'est comme les informations, pour un même fait, suivant le journal, vous n'aurez pas les mêmes descriptions. Ici, c'est la même chose et une solution pour pallier cette difficulté est la même que pour les informations : consulter plusieurs sources.

Pour les paramètres de base, aucun souci (*), c'est partout les mêmes. Pour les autres, plusieurs sites sont nécessaires ou alors avoir bien conscience du biais et en tenir compte.

 

(*) : presque sans souci en fait. Il faut bien regarder la résolution utilisée pour GFS par exemple. Des sites proposent GFS avec une résolution de 1°, d’autres avec celle de 0.5° et d’autres enfin avec celle à 0.25°.  Suivant le paramètre ou l'échelle (planétaire, synoptique, régionale, ...) ça peut faire une différence. Les 3 résolutions sont disponibles de la même façon sur les serveurs de la NOAA. Même chose pour AROME par exemple.

 

Et les WRF dans tout ça ?

 

C'est « pire » ! Dans le sens où il n'y a quasiment pas deux WRF identiques !

Les WRF ne fonctionnent pas « tout seul ». Les dernières versions de WRF permettent d'ajouter de l'assimilation de données, c'est-à-dire en gros, des observations. Mais cela reste qu'une surcouche à l'état initial et qui permet de corriger certains biais.

Un WRF demande en entrée un modèle « global » tels que GFS, IFS, ARPEGE, etc ou même AROME ou un autre WRF ! On peut même y « mixer » plusieurs modèles sources. Ainsi, un WRF va modéliser à partir des données modélisées par un autre modèle...

 

Vous imaginez sans peine que puisque les modèles sources diffèrent déjà, la modélisation des WRF sera forcément différentes d'un WRF à l'autre.

Une grande majorité sont issus de GFS mais il y en a un certain nombre sur le Net quivent dérivent d'IFS ou de GEM et d'autrs encore. D'ailleurs, dans mes posts, vous remarquerez que je précise souvent ARW issu de GFS ou issu d'IFS, etc. Cela a son importance bien que le modèle WRF doit permettre de s'affranchir en partie de ces différences.

 

ARW ? c'est un « noyau » du modèle WRF. Il en existe d'autres : NMM, NMMB .... On ne peut pas « mélanger » ces noyaux et chaque noyau a ses particularités.

 

Et on peut choisir sa résolution, de quelques dizaines de mètres seulement à quelques dizaines de kms ! Comme pour les « gros » modèles, ça change beaucoup de choses.

 

Mais tout cela ne sont que la partie émergée de l'iceberg des différences entre WRF. La principale différence est la configuration du WRF qu'on exécute.

 

Au début de mon post, j'écrivais que les WRF sont « personnalisables ».

En effet, on peut configurer très finement le comportement de « notre » WRF (notre = celui que le site ou l'éditeur exécute lui-même).

Vous le savez, les équations de la mécanique des fluides et de la thermodynamique qui régissent l'essentiel de notre atmosphère sont incalculables comme telles. Des approximations et des algorithmes permettent de s'en approcher au mieux. Croyez-moi, configurer un WRF est tout sauf une partie de plaisir : ce n'est qu'une série de compromis entre plusieurs algorithmes et approximations pour un même paramètre qui vont, du coup, générer une perturbation sur un autre paramètre en fonction des choix pris. Et tout ceci, en prenant compte de la puissance de calcul des ordinateurs sur lesquels la modélisation sera exécutée.

 

Et puis, une configuration satisfaisante pour un territoire ne l'est vraiment pas du tout pour un autre. Ce qui rend les WRF sur une région trop grande bien moins efficace car on est obligé de niveler par le bas l'efficacité des algorithmes choisis. C'est le cas, par exemple, pour un WRF sur la France par rapport à un WRF spécifique à la région méditerranéenne.

Ce n'est pas pour autant qu'un « grand » WRF est inutile, il fournit de précieuses informations. Il est nécessaire d'adapter la conclusion qu'on peut en faire.

 

Ce qui est regrettable est que peu de WRF publient leur configuration. Du coup, il est bien difficile de qualifier les cartes fournies.

J'ai actuellement 2 WRFs, un pour test et un que j'expérimente sur PACA en gros (et aussi un Meso-NH) et je teste WRF-Hydro et EF5 qui sont deux modèles de prévisions des cours d'eau (et de leurs réactions / inondations / crues). Ce n'est pas facile !   J'avais un WRF « France » mais j'ai arrêté. Si j'obtiens des résultats satisfaisants avec le WRF « PACA », je le mettrais en ligne et j'expliciterais sa configuration.

 

Enfin, de manière plus générale, chaque modèle a des qualités et des défauts car même GFS et consorts sont configurés sur des compromis (et je n'ai même pas parlé des limitations techniques dans les routines de calcul !). Plusieurs sites, et tous les éditeurs (NWS, ECMWF, ...) publient les vérifications et les comparaisons intra- et inter-modèles.

 

Faut-il pour autant abandonner la prévisions ?

Pour moi, non ! C'est un exercice difficile surtout si on cherche à faire de l'hyper local ou même du semi départemental. Mais c'est super intéressant, il y a toujours quelque chose de nouveau, d'imprévus, c'est changeant, indéterminé. Bref, c'est vivant !

 

Vous l'avez dit vous-même, vous connaissez des biais, faut intégrer ses biais et ne pas regarder que les températures, même à différents niveaux, même si on cherche à prévoir la T2M. Une donnée brute restera toujours une donnée brute. Honnêtement, les modèles progressent.

 

Franchement, s'intéresser à la prévision, c'est cool !  

il y a 9 minutes, Thundik81 a dit :

Tiens un truc « récent » que j'avais vu passer :

http://wgne.meteoinfo.ru/wp-content/uploads/2019/05/ProcessVerif_JWGFVR_final.pdf

Un bon point de départ !

 

Ou encore, https://www.ecmwf.int/en/forecasts/charts/catalogue/?facets=Type,Verification

[Thundik81]

il y a 14 minutes, _sb a dit :

[...]

Ou encore, https://www.ecmwf.int/en/forecasts/charts/catalogue/?facets=Type,Verification

 

Relis bien le PDF que j'ai mis 😘

[_sb]

il y a une heure, Thundik81 a dit :

 

Relis bien le PDF que j'ai mis 😘

 

Mea culpa ! Je t'avoue que je n'avais pas lu , que j'avais vu un pavé de texte et me suis dit que quelques graphes pourrait être plus parlant pour une première ébauche.

 

EDIT : ceci dit, le sujet lancé par @Météo Roussillon est intéressant et il est récurrent sur les forums (les modèles ne progressent pas, ils ne sont pas faibles, etc)

Modifié 5 juin 2019 par _sb

[_sb]

Je continue mon post d'hier soir ...

 

Un modèle a une résolution, il a aussi un domaine. Ce domaine peut être « global » (exemple : GFS) car il couvre la totalité de la surface terrestre ; il peut être « régional » (exemple : AROME) car il ne couvre qu'une partie de la surface terrestre (un continent, un pays, une ville).

 

Plus le domaine augmente, plus les terrains (sols) et les comportements de l'atmosphère changent d'un lieu à un autre au sein du même domaine. Bien sur, au niveau de la conception du modèle, c'est pris en compte ... jusqu'à un certain point. Ce point va dépendre essentiellement de la résolution, des physiques utilisées et des données disponibles.

 

On connaît la résolution en terme de maillage du modèle. À considérer aussi, la résolution du terrain qui est normalement inférieure à la résolution de grille.
Une résolution de terrain de 5 km va lisser les reliefs locaux (leur surface, leur hauteur, leurs pentes, etc), l'impact d'une ville, la découpe d'une côte, etc. À échelle locale, le lissage d'une petite colline, d'un cours d'eau, d'une « cuvette » aura un impact sur le ressenti prévision/réalité de l'observateur. D'ailleurs, beaucoup prennent en compte ces aspects pour relativiser les données brutes des modèles.
Je m'étais « amusé » (je suis curieux) à créer un domaine très petit (Aubagne-centre) pour le modèle Meso-NH. Je l'avais configuré sur une résolution de 20 mètres seulement (le modèle peut descendre à moins de 5 mètres). Le résultat fut mauvais. Naturellement, je n'avais pas à ma disposition une résolution de terrain suffisamment fine par rapport à ma résolution de grille (20 m) ! D'où le résultat. Je précise aussi que Meso-NH n'est pas primairement conçu pour ce type d'application.

 

Entrent également en scène les physiques, c'est-à-dire toutes les équations simplifiées et les algorithmes qui essaient à la fois d'être au plus près des équations générales, de l'objectif (convection, convergence humide, etc) et de la réalité des terrains rencontrés.
Chacun de ces physiques excelle dans un secteur et comporte des biais dans un autre qui impacteront le comportement d'autres éléments. Alors, des correctifs sont développées pour là encore tenter d'amoindrir ces impacts en générant le moins possible d'effets de bord. Et puis il y a l'état de l'art : les avancées et les lacunes mathématiques et technologiques.
Conceptuellement, un modèle numérique de prévision du temps (NWP) est à la fois très simple et d'une complexité infinie. Tout dépend de ce qu'on regarde.

 

Les données, des stations au sol ou en mer, des satellites, etc sont elles absolument fiables ? Couvrent-elles uniformément et avec la même précision l'ensemble de la surface ? Sachant que le comportement de l'atmosphère est global (c'est un Tout).

 

Le documentaire « L'aventure météo » diffusée dernièrement sur France 5 évoque plusieurs de ces points.
- un grand nombre de données sont manquantes. le doc l'illustre par les recherches sur les vagues et les courants marins qui tentent de combler une partie de ces lacunes.
- des inconnues sur le développement orageux et prise en compte de mesures jusqu'alors ignorées.
- l'ambition de multiplier le nombre de sources d'observations via des capteurs sur les véhicules.
- des défis mathématiques et technologiques lors de la visite des supercalculateurs chez ECMWF.
- etc
Cela a un impact direct sur les sorties des modèles.

 

Le gros morceau actuel est la modélisation océan / atmosphère et, plus généralement, surface d'eau / atmosphère ce qui implique aussi les lacs et les rivières.

D'un autre point de vue, comment peut-on évaluer la fiabilité / l'efficacité d'un modèle ?

 

- par le ressenti. On le fait tous et on a un feeling envers les modèles et les situations rencontrées. Ce n'est sûrement pas très scientifique mais ce n'est pas inintéressant : ça a ses avantages et ses inconvénients. Comme dit par d'autres intervenants, l'expertise humaine a son importance. Peu importe le niveau d'expertise.

 

- par des comparaisons entre valeurs prévues et valeurs mesurées. C'est nettement plus scientifique mais cela a aussi ses avantages et ses inconvénients.

Ces comparaisons doivent être cohérentes avec le domaine et les résolutions de grille et de terrain du modèle (entre autres choses).
Le domaine car on va comparer sur l'ensemble du domaine et ques les résultats sont moyennées sur cet ensemble.
Les résolutions  pour le même type de raisons.
Les résultats sont donc lissés (meilleurs dans une zone que sur une autre, meilleurs sur certains niveaux que sur d'autres, etc).

 

Finalement, les deux méthodes d'évaluations sont utiles.

 

Évaluer un modèle est aussi sur quoi porte l'évaluation. La méthode « scientifique » cadre généralement bien l'objet de l'éval'. La méthode du « ressenti » l'est généralement moins.
Dans le cas 1, la lecture des résultats doit se faire à l'aune de l'objet de la recherche. Dans le cas 2, c'est du coup plus flou.

 

Pour le ressenti, quelle est la part d'erreurs du modèle et la part d'erreurs de l'observation ?
Dans la part d'erreurs du modèle, quelle sous-part a pour origine des limitations connues du modèle (basiquement, sa résolution, et, je l'ai montré précédemment, tous les éléments plus fins générateurs de biais connus qui entrent dans la formulation de la prévision) et la sous-part de « plantages » (problèmes de conception ou d'implémentation) ?

 

Peut-on reprocher à un modèle 4°C d'écart parce qu'une colline pentue créée une subsidence locale lorsd'un flux particulier alors que le modèle ne « connaît » pas l'existence de cette colline (sa résolution est inadaptée) ? À mon avis, non.

 

Peut-on reprocher à un modèle 4°C d'écart alors qu'aucun élément perturbant sur la zone d'influence est présent ? À mon avis, oui.

 

Quelles sont les origines des erreurs constatées ?
Qu'est-ce-qui est imputable au modèle (sa conception, son implémentation) ?
Qu'est-ce-qui est imputable aux limitations techniques ?
Qu'est-ce qui est imputable aux connaissances mathématiques ?
Qu'est-ce-qui est imputable aux manques de données d'observations ?
Qu'est-ce-qui est imputable aux observations erronées ?
Qu'est-ce-qui est imputable à la subjectivité du ressenti ?
Qu'est-ce-qui est imputable à la demande inadaptée de l'observateur pour la prévision ?

 

Les modèles progressent. C'est un fait indéniable. En suivant les mises à jour des modèles pour s'en rendre compte. En lisant des papiers (pas tous tellement il y en a) de chercheurs qui collaborent avec les équipes des modèles et dont les idées et résultats sont implémentées et testées dans les modèles.
Nous savons plus de choses sur l'avenir proche de l'atmosphère.

 

En revanche, là où on peut se demander si le progrès est de même nature, ce sont les interactions entre ces données prévues. Plus le système chaotique étudié se complexifie, plus son évolution est difficile à prévoir. Et plus l'aspect chaotique (au sens physique) prend le dessus.
Ne sommes-nous pas, à l'instar de bien d'autres domaines hors météo, trop gourmands par rapport à nos ressources ?
N'exigeons-nous pas des résultats toujours plus fiables sur des modélisations éminemment plus complexes qu'autrefois ?

 

Je ne défends pas les modèles. Je n'accuse pas les observateurs.
Quasiment chaque jour, je passe entre deux et trois sur les modèles. Ce n'est pas énorme mais c'est déjà pas mal (et parfois trop ! ). Comme vous, je constate les erreurs « grossières » à parfois très courtes échéances. Mais je suis bien incapable de porter un jugement sur les modèles.
Quand il est annoncé 50 mm et que la journée se déroule sous le soleil sur toute la région, je me dis : il y a flop du modèle !
Quand il est annoncé 50 mm et que la journée se passe chez moi sous le soleil mais sous la flotte à 50 km, je peux pas imputer la totalité de la responsabilité au modèle.
Quand il est annoncé 30°C et que je relève que 25°C et des relevés variants fortement d'une station à l'autre de ma région, je ne me dis pas que c'est un flop du modèle.

 

L'erreur est à prendre en compte autant que les paramètres « concrets » (T, RH, etc).

Enfin, je souhaiterais aborder un dernier point plus subjectif.
Je lis souvent que la prévision n'est pas intéressante car non fiable.

 

L'observation est-elle fiable ?
Entre une station à 200 € et une autre à 1500 € au même lieu précisément, les relevés sont-ils identiques ?
On sait que telle station sous-mesure les Tn, telle autre surchauffe.
On pourrait se dire que mesurer une quantité de pluies est fiable. Après tout, naïvement, on se dit qu'on récupère ce qui tombe dans un pluvio et on mesure. Ben en fait non. Sans même parler de la qualité de l'installation, tous les pluvios ne vont pas mesurer la même quantité ...
C'est pire encore pour un anémo alors que la vision naïve paraît toute bête.

 

On le sait et on le prend en compte, on crée des normes, des grilles d'évaluations, des stations, on les catégorise etc.
Pour entrer dans le réseau StatIC, il faut respecter une « norme » minimale de l'installation et des composantes de la station.
Cela paraît évident et naturel à tout le monde. Personne ne dit que l'observation est nul et non fiable et qu'il se désintéresse.

 

Si on trouve évident et naturel les erreurs et les biais dans les observations, qui sont donc des mesures concrètes en temps réel, pourquoi ne trouve-t-on pas encore plus naturels et évidents les erreurs et les biais dans les prévisions ?

 

En climato, les biais et erreurs des observations sont pris en compte, autant que possible. La prévision ferait bande à part ??

J'ai essayé de rester simple et de ne pas trop entrer dans le détail (que je ne maîtrise pas de toutes façons). Le sujet est intéressant car trop méconnu (alors que trop souvent abordé !) 😉 .

 

PS : j'avais posté un lien d'ECMWF présentant les étapes de modélisations et expliquant les raisons des erreurs de prévisions. C'était sous forme de schéma et de diagrammes simples. Je ne le retrouve plus dans mes marque-pages ni le topic dans lequel je l'avais inséré. Si quelqu'un s'en rappelle ...
Les papiers sont malheureusement souvent jargonneux et font appel à de nombreuses références.

[Thundik81]

Il y a 12 heures, _sb a dit :

[...]

PS : j'avais posté un lien d'ECMWF présentant les étapes de modélisations et expliquant les raisons des erreurs de prévisions. C'était sous forme de schéma et de diagrammes simples. Je ne le retrouve plus dans mes marque-pages ni le topic dans lequel je l'avais inséré. Si quelqu'un s'en rappelle ...
Les papiers sont malheureusement souvent jargonneux et font appel à de nombreuses références.

 

?

 

[Sebaas]

Thundik81, le Google français compatible avec les principes de _sb.

[_sb]

Il y a 9 heures, Sebaas a dit :

Thundik81, le Google français compatible avec les principes de _sb.

 

Génial et impressionnant !!

Autant Thundik81 que mes principes sur le respect de la vie privée !

[Cotissois 31]

La prévision des services météo et la qualité des modèles institutionnels progresse, il n'y a aucun doute. Tous les scores sont vérifiés, le gain d'affaires et économique grâce aux progrès de la prévision météo est croissant, etc.  

 

Par contre, il est probable que l'exigence a changé. Avant 2000 voire 2005, l'exigence était que le modèle sache envoyer des signaux au bon moment, mais la valeur numérique des signaux était loin de correspondre à la valeur mesurée sur station.  La valeur de pression sur une maille de 100 km ne vous disait absolument pas quel/où serait le creusement  à 50 km près. 

 

De plus, la modélisation fine-échelle générique (multi-public) a une réponse statistiquement bonne mais peut ne pas toujours correspondre à la spécialité de l'utilisateur.  Les modèles ne sont pas développés en faisant un sondage chez les passionnés météo, mais plutôt suivant des demandes des autorités ou la politique scientifique.  Du moment que le gain national/international* est vérifié, il n'y a pas de problèmes à priori.  La solution à cette incompatibilité potentielle entre la modélisation fine-échelle générique et l'utilisateur est en fait toute simple : la prévision météo personnalisée par des professionnels.

 

*la prévision des cyclones tropicaux est probablement l'objectif majeur des modélisateurs.  Il suffit de voir que même CEP a misé énormément sur l'amélioration des cyclones tropicaux.

 

 

Modifié 8 juin 2019 par Cotissois 31

[Sebaas]

Il y a 3 heures, Cotissois 31 a dit :

Les modèles ne sont pas développés en faisant un sondage chez les passionnés météo, mais plutôt suivant des demandes des autorités ou la politique scientifique.  Du moment que le gain national/international* est vérifié, il n'y a pas de problèmes à priori.

 

Encore heureux, parce que nos modèles emporteraient alors un sacré biais vu la perception très subjective de certains desdits passionnés! Le fait même d'ouvrir un topic pour mettre en doute l'incroyable amélioration des modèles en une dizaine d'années est révélateur d'un manque total de recul sur le travail colossal accompli par les chercheurs, les modélisateurs, les statisticiens, les informaticiens etc.

 

Évidemment que c'est perfectible, et devinez quoi (attention spoiler!): il y aura toujours du travail dans ce domaine car on n'atteindra jamais la perfection!

 

Enfin, au moins ça permet à toi ou à _sb de remettre quelques points sur les i , en espérant que vous soyez lus, compris, écoutés. Pour cela, je vous remercie de votre soucis de pédagogie et la patience dont vous faites preuve, car moi je dois dire que je commence à me lasser de certaines approches ras les pâquerettes,  dépourvues de rigueur scientifique et méthodologique, confondant toutes les échelles de temps et d'espace, et réduisant le niveau de perception (et donc de résultat) à une quantité d'eau ou une T°C + ou - bien mesurées dans son jardin...

[Cotissois 31]

Tout ce que dit seb_ est long car prend des exemples un par un mais tout çà a une traduction technique condensée en scores.

Les scores des modèles sont souvent connus par leur développeurs et ça inclut le taux de fausses alarmes, taux de manqués, etc.

Je pense que le rapport de Thundik81 doit en contenir, même si dans les rapports techniques, les scores sont complexes.

Libre à chacun de contacter l'institut développeur pour avoir le taux de fausses alarmes du modèle sur tel phénomène.

Modifié 9 juin 2019 par Cotissois 31

[Cotissois 31]

Elements de vérification à Météo-France, incluant AROME

http://documents.irevues.inist.fr/bitstream/handle/2042/56837/meteo_2015_90_40.pdf

 

Notez que le premier réflexe de justification de AROME est un orage méditerranéen.  En fait, AROME cherche à reproduire des orages réalistes partout en France. Que l'orage soit mal prévu à J+1 à 10 km près n'est pas grave, c'est déjà génial de pouvoir savoir la structure à J+1 d'un orage à 50 km près. Si cela n'est pas une amélioration pour le public en attente du cumul sur sa commune, c'est une amélioration exceptionnelle pour le prévisionniste qui saura en retour ré-estimer les risques sur des zones géographiques.

Modifié 9 juin 2019 par Cotissois 31

[_sb]

J'ai essayé de partager mon expérience en ce domaine. C'est peut-être long à lire pour certains, surtout les personnes qui connaissent le sujet mais même si j'ai suggéré de lire les nombreux papiers publiés par les chercheurs, je doute que beaucoup de béotiens ( nullement péjoratif), pour peu qu'ils fassent l'effort de les rechercher, les comprennent, tout comme les nombreux graphes qui jalonnent les sites des centres mondiaux.

J'espère que cette forme de complémentarité, même si elle n'est pas scientifiquement rigoureuse (mon expérience est partielle et partiale) profitera au lecteur peu habitué. Désolé pour le public aguerri qui doit trouver ces posts inintéressants et verbeux, eux qui savent trouver directement l'information pertinente.

[Kendor]

Le 06/06/2019 à 11:56, _sb a dit :

On connaît la résolution en terme de maillage du modèle. À considérer aussi, la résolution du terrain qui est normalement inférieure à la résolution de grille.
Une résolution de terrain de 5 km va lisser les reliefs locaux (leur surface, leur hauteur, leurs pentes, etc), l'impact d'une ville, la découpe d'une côte, etc. À échelle locale, le lissage d'une petite colline, d'un cours d'eau, d'une « cuvette » aura un impact sur le ressenti prévision/réalité de l'observateur. D'ailleurs, beaucoup prennent en compte ces aspects pour relativiser les données brutes des modèles.
Je m'étais « amusé » (je suis curieux) à créer un domaine très petit (Aubagne-centre) pour le modèle Meso-NH. Je l'avais configuré sur une résolution de 20 mètres seulement (le modèle peut descendre à moins de 5 mètres). Le résultat fut mauvais. Naturellement, je n'avais pas à ma disposition une résolution de terrain suffisamment fine par rapport à ma résolution de grille (20 m) ! D'où le résultat. Je précise aussi que Meso-NH n'est pas primairement conçu pour ce type d'application.

 

Pour rebondir sur cette partie, Meso-NH est bien conçu pour simuler des phénomènes de taille meso-échelle à la micro-échelle grâce notamment à son schéma de turbulence 3D (Cuxart et al. 2000) et ainsi réaliser des Large-Eddy simulations si la résolution choisie est adaptée. Il permet également depuis peu de simuler des domaines à maille millimétrique, mais cela reste encore anecdotique (Colin et al. 2017). 

 

Concernant votre simulation, il serait effectivement intéressant de comprendre l’origine d’un « mauvais » résultat. (Si besoin, nous contacter : mesonhsupport@obs-mip.fr). Une base de données de l’orographie a 90 mètres de résolution en Europe SRTM est actuellement disponible et utilisable avec SURFEX (http://www.umr-cnrm.fr/surfex/spip.php?article134).

Les écarts entre modélisation et observations ne seront jamais évidents à expliquer. Que ce soit pour des raisons internes à la physique ou dynamique du modèle, à sa résolution, son initialisation jamais parfaite et au forçage de grande échelle pour les modèles à aires limitées...

 Mettre en évidence la cause d’une simulation erronée reste encore une tâche bien ardue !

[_sb]

Bonjour,

 

 Je pense surtout à une résolution inadaptée du terrain, Aubagne est une ville située dans une cuvette ; sur quelques km2, l'altitude varie entre moins de 100 m et plus de 1000 m.

Il est aussi très probable que la configuration n'était pas optimale. Je tenterai une nouvelle expérience avec l'orographie que vous proposez.

Vous semblez faire partie de l'équipe de Meso-NH, j'apprécie ce modèle pour les usages que j'ai eu jusqu'à présent. Lorsque j'écrivais que « Meso-NH n'est pas primairement conçu pour ce type d'application. »,  je pensais à de la prévision et/ou l'évolution de phénomènes (méso- à micro-échelles) sur quelques heures, jusqu'à disons 12h ou 24h suivant l'échelle.

Je me trompe ? C'était dans cette optique que j'avais réalisé l'expérience citée.

[Kendor]

Bonjour,

Oui dans une vallée si étroite, l'orographie impacte fortement la dynamique de l'écoulement. Je vous envoie prochainement en MP l'orographie, que je mentionnais, interpolée sur une grille modèle à 100 mètres de résolution horizontale autour d'Aubagne avec Méso-NH si cela vous intéresse.

 

Vous avez raison, Méso-NH n'est effectivement pas un modèle de prévision opérationnel comme AROME par exemple dans le sens où il n'y a pas d'assimilation de données. Cependant, il peut, tout comme l'est AROME via ARPEGE, être forcé aux bords par un modèle forceur (ex: par des sorties AROME, ARPEGE, GFS, IFS ou GFS) et ainsi être utilisé en mode "forecast", mais avec une initialisation sans assimilation de données directes (ou bien par une analyse AROME par ex).

Il a principalement été conçu dans la recherche pour l'amélioration des paramétrisations physiques de l'atmosphère (ALADIN avant, puis ARPEGE et AROME notamment  à présent) et le développement du modèle de surface SURFEX. L'utilisation du modèle est aujourd'hui très variées en fonction des utilisateurs, que ce soit pour de la recherche ou de l'opérationnel (même si moins nombreux pour ce dernier).

[_sb]

Merci. L'usage forecast est davantage dans mon champ d'intérêts (classiques et de simulations d'événements passés). Je signale d'ailleurs que la doc est plutôt bien construite et qu'elle permet de se poser de bonnes questions, notamment sur les physics.

Modifié 11 juin 2019 par _sb

[Météo Roussillon]

 

 

Bref, on sait tous que y’a du progrès dans les modélisations, j’avoue être un peu perdu dans les explications de Sb même si je suis aller me documenter un peu de mon côté, mais plus les modèles ont une mailles fines plus l’incertitude d’un phénomène grandi à mon goût vu qu’on a des scénarios plus précis et développés.

 

Modifié 12 juin 2019 par Sebaas
modéré pour des raisons évidentes...

[_sb]

il y a 37 minutes, Météo Roussillon a dit :

j’avoue être un peu perdu dans les explications de Sb

 

il y a 37 minutes, Météo Roussillon a dit :

plus les modèles ont une mailles fines plus l’incertitude d’un phénomène grandi à mon goût vu qu’on a des scénarios plus précis et développés.

 

Si je dois résumer en quelques mots, j'insisterai sur ces points :

- avoir conscience de l'échelle du modèle et du phénomène (exemple : quand tu fais une photo avec un objectif grand angle et une photo avec un objectif macro ; dans le 1er cas, tu ne t'attends pas à avoir une grande précision mais une vue d'ensemble ; dans le second, tu as une vue très précise d'un objet mais la moindre perturbation extérieure au cadre changera ta photo).

- comparer ce qui est comparable. Même exemple : tu ne vas pas prendre la photo d'une branche pour reconnaître une forêt ; et inversement.

- les mailles fines disponibles sur internet peuvent être très mal configurés et donc mieux vaut recouper les sources. Toujours le même exemple : quand tu prends une macro, tu ne règles pas comme pour un grand angle. Configurer finement un modèle opérationnel à son domaine prend énormément de temps (et de ressources !).

- avoir une demande réaliste envers les modèles ; les humains, c'est nous, pas les modèles.

- enfin, garder un peu d'humilité.