Les modèles numériques de prévisions et leurs performances

[rico]

Tout d'abord très bonne année 2011 à Infoclimat et à l'ensemble des membres du forum!

Santé, bonheur, prospérité et réussites, j'espère, vous accompagneront lors de cette année qui s'annonce pleine de promesses!

je crée une nouveau sujet (je ne savais pas trop dans quelle rubrique la mettre, si les modérateurs pensent que ce sujet doit être déplacé, n'hésitez surtout pas), car je pense qu'il manque un espace ici pour discuter et analyser a posteriori (par comparaison avec le temps réel) des performances de chaque modèle, à différentes échéances. Par exemple à des échéances de 48-72h (2-3jours - court terme), 96-120h ( 4-5 jours - moyen terme) et 144h-192h voire au-delà ( 6 à 8 jours - long terme).

En général, on met en avant 3 modèles (en tous les cas parmi ceux qui sont publics sur Internet) : UKMO, CEP et GFS. Mais les autres sont -ils pour autant à mettre au placard? On retrouve régulièrement des discussions et des échanges notamment dans le topic long terme sur la performance de chacun, GFS tend à être plutôt bon sur l'ensemble du globe et meilleur à long terme, CEP (alias ECMWF) meilleur sur le court et moyen terme (en tout cas à l'échelle de l'Europe) avec un maillage plus fin, UKMO plus stable en général au fil des runs, mais toutes ces "allégations" que l'on peut constater plus ou moins de façon empirique devraient être vérifiées par des tests statistiques de corrélation objectifs entre la prévision et le temps réel...

Un site permet de visualiser certaines de ces vérifications statistiques (NCEP) : vérif. prévisions modèles NCEP

Ainsi on peut voir que pour la hauteur géopotentielle à l'échelle de l'HN, à échéance de 5 jours, le meilleur modèle pour décembre 2010 a été ECMWF suivi à peu près à égalité de UKMO et GFS (choisir dans la zone de gauche Height dans Anomaly Correlation pour voir les résultats).

Sur l'année c'est également le cas... (choisir "annual stats")

Du coup, la même différence de performance se voit à nouveau pour la prévision de la température à 500HPa, et à un degré moindre à 850hPA, et ce pour toutes les échéances disponibles sur ce site! Selon ces vérifications objectives, ECMWF apparaît donc comme le meilleur modèle. Tout cela n'est pas forcément étonnant, car le modèle ECMWF utilise un maillage plus fin que GFS...

On peut également comparer les runs GFS entre eux. ET comme on pouvait s'y attendre, les runs 00Z et 12Z sont les plus performants suivi par le 18Z (qui est lui-même plus performant que le 06Z)

D'autre part, beaucoup utilisent ici les ensemblistes mais peut-on réellement utiliser les ensemblistes comme les déterministes, et en particulier si le run de controle est déjà complètement différent du scénario déterministe (et donc sensible au maillage utilisé avec pourtant les données réellement mesurées en entrée)?

Qu'en pensez-vous?

[stonio22]

sujet très intéressant, d'ailleurs je suis étonné que ca remue pas plus que ca, c'est vrai que gfs avec ses 4 réactu par jour fait quelque fois des plantages mais il a les qualités de ces défauts il nous proposent des données assez complètes et ouvertes d'ailleurs en commencant à consulter les modèles gfs étatit mon chouchou car pour un débutant il offre des cartes varieés ( a 0.5°) maintenant avec le temps je dirais que gfs me fait rever et que le cep me fait revenir à la réalité (je me rappele de l'hiver dernier et des sorties du 18z de gfs avec des temp à 850 hpa de malade surtout par chez moi) par contre je m'interresse de plus en plus à UKMO malgré ces donées limités mais je remarque que sur ukmo les précip à court terme je les trouve mauvaises mais en synoptique je le trouve performant sinon je garde un oeil sur le dernier venu BOM et pour les derniers régalges wrf par la qualité de sa résolution et des données que même gfs n'affiche pas donc pour moi et en conclusion 1) cep 2) gfs 3 ) ukmo (passerait peut etre devant gfs si ces données étaient plus large en plage horaires 4) bom puis les autres que je consultent moins.

[bernardt60]

Suite à la discussion sur les modèles de prévisions dans les prévisions LT, j'ai trouvé ce lien :

http://mdpdanech.free.fr/stage/stage_sauvadet.pdf

Je pense que dans la première partie beaucoup de réponses seront apportées ou de fausses idées recadrées.

D'ailleurs le but de ce rapport de stage est d'expliquer comment fonctionnent les modèles de prévisions en Météorologie pour l'appliquer aux prévisions de trafic (Bison futé)

[rico]

une étude afin de comparer les différents modèles est visible depuis le site de MeteoFrance, confirmation que CEP gagne haut la main sur les autres modèles (en bleu clair sur le graphe):

Voici l'explication associée sur ces différentes performances:

performances des modèles

Enfin une page intéressante (encore Meteo-France) sur les différences entre modèles déterministes et ensemblistes:

les différents types de modèles de prévision

[rico]

Si on reprend le graphe de performance de l'étude MF pour l'échéance de 72h à 500hPA (voir post ci-dessus), le tant aimé GFS (symbolisé par le drapeau Américain) n'arrive qu'en 4ème position à égalité avec JMA!...

CEP est loin devant suivi à égalité par UKMO et le modèle MF Arpège.

[snowman43]

Voici le même type de comparaison mais réalisé par la NOAA : http://www.emc.ncep.noaa.gov/gmb/STATS_vsdb/

Les résultats ne sont pas les mêmes (même si dans les deux cas CEP reste en tête, ce qui permet de dire que ce modèle est le meilleur au monde) et ça se comprend, chacun défend son bout de gras.

[Invité Guest]

Ces résultats ne m'étonne pas du tout, le CEP c'est de la balle.

[Run999H]

Cela ne m'étonne pas tellement non plus. Maintenant ça reste délicat car chaque modèle a à priori sa synoptique favorite et c'est souvent la complémentarité qui dégage les meilleures prévisions. Maintenant je suis plutôt d'avis de ne pas prendre trop de modèles dans les prévisions, un peu comme MF peut faire, car on arrive à trop de disparités et le tube de prévision se desserre par conséquent. Le trio CEP/GFS/UKMO est à mon avis le trio de choc pour faire la meilleure prévision tout en gardant un oeil avisé sur les ensemblistes qu'ils proposent (GFS et CEP).

[Fantomon]

Moi je pense que CEP est le meilleur mais GFS est plus disponible sur le net et à plus longue échéance et a des runs plus abusés (Du genre -30°C à 850 hPa ou 30°C en France toujours à 850 hPa) aux très longues échéances, on peut tout voir de son ensembliste, il fait le monde entier et t'as plus de paramètres disponibles. Mais il devient un peu foufou contrairement à CEP qui est plus stable.

UKMO, je le trouve vraiment bof car il ne fait qu'une semaine à peine et qu'il n'est pas si stable que ça je trouve et en plus tu n'as que les géopotentiels et peu d'autres choses et à très court terme, donc pour moi il y a GFS et CEP et ensuite les autres. Les modèles MF sont pas mal également.

[Invité Guest]

Ce qui est marrant c'est d'observer sur ces graphiques une baisse relative (et conjointe) des performances des modèles (CEP et GFS) à chaque saison estivale. Il s'agit peut-être d'un effet des cut-offs, nombreux durant la saison chaude, qui complexifient les calculs !

[lillois59]

C'est une comparaison des modèles a 72h!

Quand on voit déjà le taux d’échecs a 72h on peut se demander quel est le taux d'erreurs a 168h ( soit une semaine) par exemple!

[Run999H]

Moi je pense que CEP est le meilleur mais GFS est plus disponible sur le net et à plus longue échéance et a des runs plus abusés (Du genre -30°C à 850 hPa ou 30°C en France toujours à 850 hPa) aux très longues échéances, on peut tout voir de son ensembliste, il fait le monde entier et t'as plus de paramètres disponibles. Mais il devient un peu foufou contrairement à CEP qui est plus stable.

UKMO, je le trouve vraiment bof car il ne fait qu'une semaine à peine et qu'il n'est pas si stable que ça je trouve et en plus tu n'as que les géopotentiels et peu d'autres choses et à très court terme, donc pour moi il y a GFS et CEP et ensuite les autres. Les modèles MF sont pas mal également.

L'étude est pourtant explicite et ton avis est bien subjectif donc !