GFS, un modèle biaisé vers le froid

[TreizeVents]

Depuis plusieurs années que je surfe sur Infoclimat, j'ai souvent vu des personnes tantôt mettre en cause la fiabilité des prévisions de températures de GFS, tantôt au contraire mettre en avant les très bonnes prévisions de ce modèle. Tout comme j'ai vu se succéder les affirmations disant tout et son contraire, mais sans jamais que les auteurs n'en apportent la preuve. J'ai donc décidé de lancer une étude visant à confronter les prévisions de températures au sol du modèle avec la réalité, à des échéances différentes, afin de savoir de quoi il en retourne.

Comment a été réalisée cette étude ?

Pour cette étude, j'utilise les données de GFS 05°, disponible sur Météociel. Je précise que je ne prends que les données du même run, le 06z (le plus commode au vu de mes heures de présence sur le net quotidiennement). Chaque jour, j'ai relevé les températures minimales et maximales prévues pour trois villes, bien réparties sur le territoire, et ayant autant que possible la spécificité de n'être pas placées dans un milieu trop urbanisé ni d'être concernées par des micro-climats particuliers. Les trois stations en question sont Laval Entrammes, Dijon Longvic et Albi le Séquestre.

Chaque jour, j'ai donc relevé les températures maximales et minimales prévues pour ces trois villes, à quatre échéances différentes : J+1, J+3, J+5 et J+7. Cela va permettre de comparer tant la prévision court terme que moyen et long terme, et analyser la manière dont varie la fiabilité en fonction de l'échéance.

Je précise une chose, qui est un gage de fiabilité à mon sens des résultats que je vais donner (et qui sont la moyenne des résultats des trois villes), c'est que pour les trois stations je n'ai que très peu de variations et la tendance générale est la même.

Les résultats préliminaires...

I - Distinction

Avant de donner les résulats de l'étude, je vais faire une nécessaire remarque sémantique. Il va en effet être question d'erreurs et d'écarts, et j'utilise ces deux mots pour distinguer deux résultats bien précis :

_ Je parle d'erreur pour désigner la différence brute entre la prévision et la réalité observée, elle est négative ou positive selon que le modèle sur-estime ou sous-estime la température réelle

_ Je parle d'écart pour désigner la différence absolue entre la prévision et la réalité observée, qui est toujours positive.

Pour donner un exemple, imaginons que le modèle ait prévu 3° le matin et 8° l'après-midi, et que l'on ait observé en réalité 2° le matin et 10° l'après-midi. Dans ce cas, le modèle a surestimé de 1° la Tn et sous-estimé de 2° la Tx, l'erreur moyenne sur la journée est une sous-estimation de 0,5° (moyenne de -1 et de +2) tandis que l'écart moyen est de 1,5° (moyenne de +1 et de +2). La nuance est importante, car elle va permettre de distinguer selon l'échéance la manière dont le modèle surestime ou sous-estime la température, ainsi que l'importance des écarts entre prévision et réalité.

II - Les erreurs de GFS

Bon alors disons le de suite car c'est le coeur de cette étude, GFS sous-évalue de manière assez importante les températures et ce quelle que soit l'échéance. Après cela, fini de dire que GFS est très bon sur la prévision des Tn et des Tx !

_ A J+1, le modèle se trouve en moyenne à 2,48° en dessous de la réalité observée (2,34° pour les Tn, 2,63° pour les Tx). En terme de récurrences, le modèle sous-estime les températures dans 90,7% des cas (Tn et Tx confondues). Dans 68,5% les températures sont mêmes sous-estimées de 2° ou plus, et dans 19,4% des cas elles sont sous-estimées d'au moins 4°. Aucune fois sur les 20 premiers jours de l'étude le modèle n'a surévalué d'au moins 2° une Tn ou une Tx !

_ A J+3, le modèle se trouve en moyenne à 1,98° en dessous de la réalité observée (2,17° pour les Tn, 1,79° pour les Tx). En terme de récurrences, le modèle sous-estime les températures dans 85,4% des cas ; dans 47,9% des cas elles sont sous-estimées d'au moins 2° et dans 14,6% des cas elles le sont d'au moins 4°. A titre de comparaison on n'observe que 4,2% de surestimations d'au moins 4°, et 3,1% de surestimations d'au moins 4°.

_ A J+5, le modèle se trouve en moyenne à 2,31° en dessous de la réalité observée (2,79° pour les Tn, 1,82° pour les Tx). En terme de récurrences, le modèle sous-estime les températures dans 81% des cas ; dans 53,6% des cas elles le sont d'au moins 2° et dans 26,2% elles le sont d'au moins 4°. A l'inverse, sur les 19% de cas de surestimation, on a 3,6% de surestimations d'au moins 2° et 2,4% d'au moins 4°.

_ A J+7, le modèle se trouve en moyenne à 1,15° en dessous de la réalité observée (1,59° pour les Tn, 0,70° pour les Tx). En terme de réccurences, le modèle sous-estime les températures dans 72,2% des cas ; dans 33,3% elles le sont d'au moins 2° et dans 18,1% elles le sont d'au moins 4°. Inversement, on a 16,7% de surévaluations d'au moins 2° et 6,9% d'au moins 4°.

Déjà, une observation : c'est clairement à J+1 que le modèle sous-estime le plus les températures, alors qu'inversement c'est J+7 que la sous-estimation, bien que présente, est la moins forte. On peut y voir la tendance globale du modèle à sous-évaluer les températures sur une situation donnée et fiable car très proche, alors qu'inversement à long terme en gérant moins bien la situation il va avoir moins tendance à sous-évaluer les divagations du mercure. D'ailleurs, on a une pente bien établie au niveau des récurrences : 90,7% de sous-évaluations à J+1, 85,4% à J+3, 81% à J+5 et 72,2% à J+7.

Au niveau des Tn et des Tx, on remarque que mis à part à J+1, le modèle sous-évalue davantage les Tn que les Tx ; d'ailleurs toutes échéances confondues on a 87,8% de sous évaluations de Tn contre 76,2% de sous-évaluations de Tx. Toujours toutes échéances confondues, l'erreur moyenne du modèle est de 1,98°; les sous-estimations concernent 82,3% des cas. Dans 50,3% des cas elles atteignent au moins 2° (contre 6,1% pour les surévaluations) et dans 19,6% elles sont d'au moins 4° (contre 3,1%).

Une dernière petite chose en ce qui concerne les erreurs (mais c'est vrai aussi pour les écarts), il n'y a pas de différences sensibles des résulats selon le type de temps (flux de NO comme de S).

III - Les écarts de GFS

Ici, il est donc question de la fiabilité même du modèle, et de l'importance moyenne des erreurs qu'il va commettre. Logiquement, on me dira, les écarts doivent être relativement faibles à J+1, et augmenter considérablement en arrivant à J+7. C'est ce qui serait logique, mais c'est loin d'être le cas.

Sur les 20 premiers jours de l'étude, l'écart moyen est en effet de 2,65° à J+1, 2,51° à J+3, 2,92° à J+5 et 2,72° à J+7. Concrètement, cela signifie que la différence de fiabilité selon l'échéance est très faible, au point d'en devenir presque négligeable. Si l'on vous dit donc qu'il ne faut pas regarder les températures au sol au dela de J+3 car après cela n'a aucune valeur, c'est une affirmation non fondée : en regardant une température à J+7 en moyenne vous n'aurez que 0,07° de plus d'erreur qu'à J+1 ! Et si l'on met en commun les écarts moyens avec les erreurs moyennes, c'est à J+7 que le modèle est le plus fiable...!

EDIT : L'étude a porté sur 32 jours, je devais initialement la faire durer 100 jours mais j'ai eu un empêchement et j'ai du la suspendre en août. J'ai lancé une étude similaire au 22 octobre pour observer si les résultats sont similaires à une période différente de l'année.

/emoticons/tongue@2x.png 2x" width="20" height="20">

[Ced30]

Merci pour cette étude, tu me feras la même chose avec BOLAM 21, BOLAM 6.5, NMM4 maintenant

Sous-estimation chronique donc, par contre le même GFS s'enflamme systématiquement en cas de fortes chaleurs dans le sud-ouest (il prévoyait 38°C aujourd'hui et 40°C demain). De quoi rééquilibrer la tendance d'ici la fin de ton étude ? Pas sûr car cette remarque n'est pas valable pour tout le pays ...

[TreizeVents]

Merci pour cette étude, tu me feras la même chose avec BOLAM 21, BOLAM 6.5, NMM4 maintenant /emoticons/smile@2x.png 2x" width="20" height="20">

Sous-estimation chronique donc, par contre le même GFS s'enflamme systématiquement en cas de fortes chaleurs dans le sud-ouest (il prévoyait 38°C aujourd'hui et 40°C demain). De quoi rééquilibrer la tendance d'ici la fin de ton étude ? Pas sûr car cette remarque n'est pas valable pour tout le pays ...

Merci Ced de ton message

En effet GFS a en contrepartie une facheuse tendance à voir s'envoler le mercure dans le SO par flux de sud, mais il avait été évoqué sur le forum il y a quelques années que cela provenait d'un défaut de modélisation de la barrière pyrénéenne associé à certaines difficultés du modèle d'appréhender le foehn. Auquel cas, on a un cas particulier de surestimation du modèle mais qui est géographiquement et temporellement limité. Cependant, je précise que Albi se trouve en dehors de la zone où GFS donne cette surestimation qui en devient presque grossière (c'est surtout un triangle Foix-Cahors-Biarritz). D'ailleurs en flux de sud, pour le peu que j'en ai eu sur la période, il n'y a pas eu surestimation à Albi.

[autan81]

Merci TreizeVents pour cette étude approfondie des sous-estimations (et sur-estimations dans le cas du Sud-Ouest) de GFS.

Cependant, je précise que Albi se trouve en dehors de la zone où GFS donne cette surestimation qui en devient presque grossière (c'est surtout un triangle Foix-Cahors-Biarritz). D'ailleurs en flux de sud, pour le peu que j'en ai eu sur la période, il n'y a pas eu surestimation à Albi.

Pour rebondir sur ce que tu dis à propos de la station d'Albi, puisque je connais très bien le coin, il y a en effet le plus souvent sous-estimation des températures, parfois assez aberrante (notamment en hiver mais aussi lors des fortes chaleurs en été).

Cela s'explique à mon avis par le fait que la maille du modèle est beaucoup trop grande pour prendre en compte les particularités de la zone, qui en effet est complexe puisqu'elle fait office d'interface entre les plaines du Sud-Ouest et le relief du Massif-Central.

Ainsi, du fait de cette maille trop lâche, le point de grille correspondant à la ville se retrouve alors par défaut dans le Massif-Central, d'où des sous-estimations très importantes (d'autant plus qu'en été, la configuration en "cuvette" de l'agglomération accentue encore plus de manière locale la différence entre la prévision du modèle américain et la réalité).

[val au nez]

Bonsoir,

oui très intéressant cette étude! Bien sûr, il faudra attendre la fin des 100 jours pour s'en faire une idée statistiquement plus pertinente.

Car je me pose la question des causes sous-jacentes de ces biais. En plus des problèmes liés à la maille faible (en tout cas pour la prévision de températures extrêmes à l'échelle régionale), je me demande si cette étude ne permettrait pas de mettre en lumière d'autres biais.

Je m'explique, sur les 20 derniers jours je crois, on a connu pas mal de situations perturbées avec des bonnes traînes.

Si (à cause peut-être également de la maille du modèle) le modèle présente trop de nébulosité dans ces traînes, il sous-estimera les éclaircies diurnes et donc limitera la hausse du thermomètre, pourtant sensible dans ce cas en plein mois de juillet. (mais ça n'explique pas le biais froid des minimales /emoticons/sleep@2x.png 2x" width="20" height="20"> )

C'est une interrogation ouverte, une piste de recherche des causes, car je n'ai pas fouillé.

En tout cas, c'est chouette de prendre du temps comme ça pour faire un étude enrichissante pour tous! /emoticons/wink@2x.png 2x" width="20" height="20">

[Nico36]

Je m'explique, sur les 20 derniers jours je crois, on a connu pas mal de situations perturbées avec des bonnes traînes.

Si (à cause peut-être également de la maille du modèle) le modèle présente trop de nébulosité dans ces traînes, il sous-estimera les éclaircies diurnes et donc limitera la hausse du thermomètre, pourtant sensible dans ce cas en plein mois de juillet. (mais ça n'explique pas le biais froid des minimales /emoticons/tongue@2x.png 2x" width="20" height="20"> )

C'est une interrogation ouverte, une piste de recherche des causes, car je n'ai pas fouillé.

Tout d'abord Merci à Treizevents de nous faire paraître ces résultats-préliminaires- de son étude

Ces résultats sont quand même vraiment énormes, ce n'est pas de l'ordre du dixième de degré près mais de plus de 2°C...Aussi, je me demande si tu as déjà plus de renseignements sur quel type de temps -ou quelle circulation atmosphérique- a la sous-estimation la plus significative ???

En tout cas, il sera intéressant de comparer cela avec les autres saisons (en particulier l'hiver) si tu continues cette tâche fort intéressante

Aussi, l'apport de val au nez est vraiment intéressant... A ton avis, tu penses aussi que lors de journée avec de moindres variations de températures (le contraire donc qu'il ciel de traîne), la sous-estimation est moins importante?

En tout cas cette étude va certainement servir dans un futur proche à faire évoluer certaines évaluations de températures de passionnés de ce site

[Tomar]

Comme rappelé il y a quelques semaines, j'ai fait la même constatation pour Strasbourg-Entzheim et Le Bourget il y a 2 ans, résultats évoqués ici à l'époque.

Mesures faites sur 4 fois un mois, aux 4 saisons (avril, juillet, septembre et décembre, sous-estimation de près de 2 °C à J+4 et J+5. La sous-estimation est plus faible en décembre (GFS surestime alors souvent les T en cas d'inversion) mais est nette quand même, supérieure à 1 °C.

On pouvait avoir un doute quant aux résultats pour Le Bourget compte tenu de l'effet urbain, mais les résultats de Treizevents donnent des conclusions très proches pour d'autres localités en France.

Bon à savoir pour nos prévisionnistes amateurs.

Bonne continuation Treizevents

[patrickb]

pour ce qui conçerne ma région je constate que GFS surestime les Tn de 2° environ par contre les Tx sont sous-estimés de 1° c'est un constat que j'ai pu faire sur de longs mois d'observations cela dit je n'ai pas noté toutes les T° prévues par GFS comme je le fait pour mes observations

[js13120]

Il serait intéressant d'étudier ces écarts en fonction de la nébulosité prévue par GFS et la nébulosité effective selon les étages. En tout cas belle initiative. /public/style_emoticons/'>http://forums.infoclimat.fr/public/style_emoticons/default/original.gif

[Cotissois 31]

Intéressante étude, qui donne surtout l'occasion de débattre sur la réalité de cette observation

Perso j'ai l'impression que les Tx de GFS 1° sont par ici assez cohérentes, sachant qu'il faut interpréter les données à échelle locale. A échelle plus fine, je regade pas trop les modèles pour les Tx mais ça me semble pas trop mal pourtant.

Comme dit js, il faut voir comment le modèle gère la nébulosité, car c'est la principale influence des Tx.

Le fait qu'il voit souvent des situations récurrentes à longue échéance peut montrer que le schéma numérique tend à converger souvent vers la même situation à partir d'une situation initiale proche. Ce serait bien sûr involontaire, et c'est de toute façon discutable étant donné le principe de l'effet papillon.

[Llewaragorn]

très bon début étude , on voit déjà les résultas.

Je suivrai tout le long des 100 jours.

Courage on est derrière et avec toi

[le-an]

Il est à noter que les meilleures prévisions de températures sont réalisées non pas en utilisant les données brutes de modèles, mais par adaptations statistiques de celles-ci. Ces adaptations statistiques consistent - très grossièrement - à réaliser une courbe de régression entre les températures observées et celles prévues par le modèle. Cette courbe varie en fonction du moment de l'année et se réalise station par station sur de longues séries statistiques. La statistique permet alors de palier à bon nombre de défauts du modèle.

[JeromeR28]

Et c'est bien connu... Lorsqu'un modèle est biaisé, on se fait b....

Enfin, vous voyez ce que je veux dire, hein !