GFS, un modèle biaisé vers le froid, acte II

[TreizeVents]

J'avais réalisé l'été dernier une étude sur les prévisions de températures de GFS, étude dont il était ressorti que ce modèle avait tendance à sous-évaluer chroniquement les températures et ce quelle que soit l'échéance (J+1, J+3, J+5 et J+7). J'ai reproduit une étude similaire sur une période de 30 jours, entre le 5 mars et le 4 avril derniers.

J'ai cette fois-ci réservé mon études à des échéances très proches, à savoir J+1 et J+2, et j'ai pris comme référence les runs 12z. Chaque soir, j'ai ainsi relevé les températures maximales et minimales prévues pour 5 stations différentes, prises au hasard parmi les stations nationales où l'effet urbain n'est pas trop sensible (donc par exemple, on évite Montsouris ou Bron...), qui ne sont pas sur des côtes, et qui se situent à des altitudes inférieures à 400 mètres. J'ai pris chaque jour des stations différentes, et ainsi un très grand nombre de stations nationales ont servi à un moment ou à un autre d'échantillon.

Comme toujours je m'attendais à ce que les prévisions de GFS soient biaisées vers le froid, mais je voulais avoir une évaluation assez précise de ce biais. Voici donc les résultats.

En ce qui concerne les prévisions de minimales à J+1, le modèle a tendance a sous-estimer les Tn de pas moins de 1,57° en moyenne. En terme de pourcentages, les températures sont prévues trop froides dans 89% des cas (contre donc 11% de cas de surestimation). Dans 26% des cas, les températures sont sous-évaluées d'au moins 2°, et dans 6% des cas elles le sont d'au moins 4°. Dans le sens inverse, on observe seulement 3% de cas de surévaluation d'au moins 2°, et moins de 1% de cas de surévaluations d'au moins 4°.

En ce qui concerne les prévisions de maximales à J+1, le modèle a tendance a sous-estimer les Tx de pas moins de 1,19° en moyenne. En terme de pourcentages, les températures sont prévues trop froides dans 83% des cas (contre donc 17% de cas de surestimation). Dans 18% des cas, les températures sont sous-évaluées d'au moins 2°, et dans 4% des cas elles le sont d'au moins 4°. Dans le sens inverse, on observe seulement 4% de cas de surévaluation d'au moins 2°, et moins de 1% de cas de surévaluations d'au moins 4°.

En ce qui concerne les prévisions de minimales à J+2, le modèle a tendance a sous-estimer les Tn de pas moins de 1,51° en moyenne. En terme de pourcentages, les températures sont prévues trop froides dans 88% des cas (contre donc 12% de cas de surestimation). Dans 27% des cas, les températures sont sous-évaluées d'au moins 2°, et dans 11% des cas elles le sont d'au moins 4°. Dans le sens inverse, on observe seulement 4% de cas de surévaluation d'au moins 2°, et moins de 1% de cas de surévaluations d'au moins 4°.

En ce qui concerne les prévisions de maximales à J+2, le modèle a tendance a sous-estimer les Tx de pas moins de 1,28° en moyenne. En terme de pourcentages, les températures sont prévues trop froides dans 81% des cas (contre donc 19% de cas de surestimation). Dans 23% des cas, les températures sont sous-évaluées d'au moins 2°, et dans 7% des cas elles le sont d'au moins 4°. Dans le sens inverse, on observe seulement 5% de cas de surévaluation d'au moins 2°, et moins de 2% de cas de surévaluations d'au moins 4°.

Pour cloturer l'étude, une petite démonstration, j'ai enregistré la carte des prévisions de T° de GFS d'hier, et je la compare aux Tn réellement observées. J'ai entouré en vert les valeurs correctement prévues, en bleu les valeurs plus froides que celles qui étaient prévues par le modèle, en rouge les valeurs plus élevées. Deux cadres représentent une valeur sur ou sous évaluée d'au moins 2°, trois cadres des valeurs sur ou sous évaluées d'au moins 4°.

-----

[Tomar]

Merci TreizeVents,

Une fois de plus on retrouve bien ce qui a été mis en évidence pour GFS à plusieurs reprises ces dernières années, à toutes les échéances, maintenant à 1 ou 2 jours aussi : T sous estimées en moyenne de 1 à 2 °C.

Cela se retrouve non seulement au printemps mais aussi aux autres saisons, avec un bémol en période favorable aux inversions (de novembre à février) où les cas de surestimation sont plus fréquents.

Paramètre intéressant à prendre en compte par nos prévisionnistes amateurs /emoticons/smile@2x.png 2x" width="20" height="20">

Edit :

Pour les Tn de ce jour, à noter que même les prévisions de Tn à 6 h sont biaisées (à comparer avec les cartes de TreizeVents au dessus) :

[printemps]

Elles ne sont pas si biaisées que cela les tn de gfs pour aujourd hui;

http://www.meteociel.com/temps-reel/obs_te...&envoyer=OK

de plus il vaut mieux prendre les cartes de gfs 0.5 sur top karten, elles sont plus justes sans que je sache pourquoi

sinon gfs met demain des tn comprises entre -2 et -4 de l'alsace au poitou, jusqu a -8 dans le massif central, -4 sur rhones alpes, -3 dans l'interieur de laquitaine

[Sylvain]

de plus il vaut mieux prendre les cartes de gfs 0.5 sur top karten, elles sont plus justes sans que je sache pourquoi

Normalement il ne doit pas y avoir de différence du tout puisque c'est 100% les mêmes données. Maintenant il y a peut être une différence dans la conversion de températures Kelvin -> Celsius (certaines personnes utilisent C = K - 273, sur meteociel on utilise C = K - 273.15), peut être une différence dans l'arrondi aussi pour l'affichage de la valeur, moi je prends juste la partie entière de la valeur, donc pas d'arrondi (je ne sais pas si c'est une mauvaise chose d'ailleurs ?)

[snowman43]

Ton étude n'est pas bonne Treizevents car tu n'utilises pas assez de mesures.

La maille de GFS est de 0.5°, la valeur transmise représente toute la maille et non un point précis, tu ne peux pas comparer la valeur transmise par une station météo avec celle calculée par GFS pour toute une maille.

Une maille de GFS couvre environ 2500km², une station météo n'est représentative que d'un 2 à 5km² voir moins pour ce qui est des Tn.

Le plus gros problème de GFS, ce n'est pas la prévision des températures, mais la prise en compte des phénomènes de BC, il est ultra mauvais dans ce domaine.

[TreizeVents]

Ton étude n'est pas bonne Treizevents car tu n'utilises pas assez de mesures.

La maille de GFS est de 0.5°, la valeur transmise représente toute la maille et non un point précis, tu ne peux pas comparer la valeur transmise par une station météo avec celle calculée par GFS pour toute une maille.

Une maille de GFS couvre environ 2500km², une station météo n'est représentative que d'un 2 à 5km² voir moins pour ce qui est des Tn.

Je dirais que tu as raison si je prenais une seule station météo, toujours la même, et que je me servais de cette station et uniquement d'elle pour en tirer des conclusions sur toute une maille. Mais ce n'est pas le cas : ce que je démontre, c'est que le modèle sous-estime globalement les températures et ce quelle que soit la maille prise en compte.

Ce que je démontre, c'est que quand tu prends au hasard une station, n'importe laquelle, et ce dans n'importe quelle maille, tu auras entre 8 et 9 chances sur 10 que la température qui sera relevée à cette station sera supérieure à celle prévue dans la maille où cette station se situe. Si tu retiens par exemple les températures minimales prévues demain dans 10 villes différentes prises totalement au hasard, en moyenne 9 stations sur les 10 relèveront des températures minimales supérieures à ce qui a été prévu dans leur maille, dont 3 qui relèveront des températures supérieures d'au moins 2° à ce qui a été prévu.

A ce stade, ce n'est plus un problème de représentativité de maille...!

Le plus gros problème de GFS, ce n'est pas la prévision des températures, mais la prise en compte des phénomènes de BC, il est ultra mauvais dans ce domaine.

On est d'accord, GFS éprouve souvent de grosses difficultés dans la modélisation des phénomènes de BC. Et la conséquente immédiate, c'est qu'il est totalement biaisé dans la prévision des T° au sol.

[Invité Guest]

Citation:

"Je dirais que tu as raison si je prenais une seule station météo, toujours la même, et que je me servais de cette station et uniquement d'elle pour en tirer des conclusions sur toute une maille. Mais ce n'est pas le cas : ce que je démontre, c'est que le modèle sous-estime globalement les températures et ce quelle que soit la maille prise en compte.

Ce que je démontre, c'est que quand tu prends au hasard une station, n'importe laquelle, et ce dans n'importe quelle maille, tu auras entre 8 et 9 chances sur 10 que la température qui sera relevée à cette station sera supérieure à celle prévue dans la maille où cette station se situe. Si tu retiens par exemple les températures minimales prévues demain dans 10 villes différentes prises totalement au hasard, en moyenne 9 stations sur les 10 relèveront des températures minimales supérieures à ce qui a été prévu dans leur maille, dont 3 qui relèveront des températures supérieures d'au moins 2° à ce qui a été prévu.

A ce stade, ce n'est plus un problème de représentativité de maille...!"

Réponse:

Tout à fait d'accord et constaté depuis un certain temps. Les phénomènes de basse couche sont presque systématiquement à la ramasse. Un modèle européen n'est pas fait pour prévoir les effets locaux nombreux en basses couches.

Si ce n'était pas valable d'avoir pris les stations pour comparer avec les données des mailles, ça veut dire que la climatologie fournie par nos stations n'est pas bonne. Or elle est (hors records) en général assez représentative.

Même si on considère que ce n'est pas une bonne méthode, mais je ne le pense pas, il reste que ça nous permet de savoir à quoi s'en tenir. On devrait toujours cofronter les prévisions avec ce qu'on a relevé, et ce au niveau des modèles ou des simples amateurs que nous sommes.

Pour nous, ça nous permet de voir où on s'est trompés et pour les modèles, c'est le meilleur moyen de les rendre plus performants.

Je trouve la démarche d'avoir un oeil critique sur les modèles très intéressante. Ca change des forums de prévisions où quand le modèle a dit, il n'y a plus a discuter! Par contre, quand le modèle s'est vautré, et ce qui l'ont admis comme la parole de l'évangile avec, personne n'est là pour le dire. Je n'ai pas la prétention d'être un bon prévisionniste mais je crois sincèrement que ce sont des démarches comme celle ci qui nous font progresser.

Beau travail!

PS : désolé pour le bug de citation automatique, il faut que j'enlève mes mouffles pour taper /emoticons/biggrin@2x.png 2x" width="20" height="20">

[Cotissois 31]

La remarque de snowman est sans doute fondamentalement pertinente.

Mais en pratique, est-ce que c'est un argument pour invalider l'étude de Treize Vents, je ne pense pas.

En étant réaliste on peut admettre que c'est une généralité : GFS sous estime les températures.

Les autres modèles on ne sait pas car les champs de Tx/Tn ne sont pas proposés. Mais je pense que beaucoup sous-estiment.

Ce n'est pas très important à mon goût car on ne peut pas demander à un modèle de prévoir au degré près la température. Il faut surtout qu'il modélise bien les vents et la nébulosité. A partir de ces deux paramètre clés, et connaissant soi-même le relief à fine échelle d'une région on peut prévoir mieux que le modèle.

Pour GFS et les phénomènes de basse-couche, la paramétrisation est "ratée" c'est clair lol

On peut se baser sur ukmo3b qui est une version visiblement modifiée de ukmo, réussissant remarquablement bien à prévoir les brouillards, à une échelle pourtant moins fine que GFS 0.5.

Mais avec les coupes de theta et d'humidité, on peut rapidement deviner le risque de brouillard sur GFS.

Dans ce cas, ukmo3b peut servir plus de "témoin" que de "base".