La communauté Netatmo améliore les prévisions d'un service météo public

[cirrus007]

A lire: Comment la communauté Netatmo améliore les prévisions d'un service météo public 

 

https://www.netatmo.com/blog/meteo/comment-la-communaute-netatmo-ameliore-t-elle-les-previsions-dun-service-meteo-public/

 

Alors bien sur l'article peut faire rire et fait plus penser à du marketing qu'à de la science, qui plus est venant d'une société comme Netatmo (dont 90% des stations sont destinées à des amateurs néophytes implantant leurs stations le plus souvent en classe 5). Mais en y réfléchissant bien et en mettant en perspective les suppressions de postes à MF, la réduction du nombre de stations bénévoles entretenues par MF, l'intensification du big data et de la prévision automatique (cf les autres topics sur ce forum), on obtient un savant mélange de ce que pourrai devenir la météorologie de demain en France ... 

 

Cela met aussi en avant, au delà du réseau Netatmo, l'importance cruciale des réseaux  de stations secondaires, au delà des stations détenues par les grands organismes de météo nationaux. L'exemple semble ici bien concret, l'article insiste pas mal sur l'importance de "l'ultra local". 

 

Qu'en pensez-vous ?   

Modifié 17 avril 2018 par cirrus007

[Ralala78]

C'est sûr que c'est une communauté beaucoup plus importante que celle des VP2, j'en vois "fleurir" régulièrement autour de chez moi, par contre il y a du déchet dans les mesures, car comme tu le précises, beaucoup ne savent pas implanter ces dernières et les mettent souvent en plein soleil ce qui donne des valeurs farfelues.

 

Alors, il y a des filtres sur la map de Netatmo, mais je ne sais pas comment ils sont établis, c'est là-dessus que le travail d'organismes météo souhaitant utiliser ces données est à faire.

 

Même dans le cas de stations bien positionnées, il peut y avoir des valeurs aberrantes, mon exemple est flagrant quand je change les piles, la température fait un bond pendant un laps de temps non négligeable. Je supprime les mesures par la suite sur l'intervalle correspondant, mais je ne suis pas sûr que tout le monde fasse de même.

 

Donc, pour moi, c'est le filtrage des données qui est le plus important à établir pour être à peu près sûr d'avoir les bonnes données. 

[Sebaas]

Il y a 1 heure, cirrus007 a dit :

Qu'en pensez-vous ?   

 

Rapidement, j'en pense qu'on le veuille ou non, c'est clairement l'avenir. Si aujourd'hui MF s'intéresse d'aussi près aux données dites "d'opportunité" (ie, issues de capteur qui ne sont pourtant pas fait pour faire de la météo), c'est qu'il y a bien une raison.  Et quand on connait le culte de la DSO pour l'instrumentation et la classe d'installation, et le mépris  affiché par certains il y a encore quelques années sur nos VP2, je peux vous dire qu'il s'agit là d'une véritable révolution culturelle.

 

Une donnée d'opportunité, c'est par exemple une sonde dans un rail ou un aiguillage qui mesure la T°C. On est très très très loin de la mesure sous abri normalisé à 1 m 50 du sol en classe 1, et pourtant cette donnée a une valeur dans la mesure où on peut en déduire par exemple la puissance de l'ensoleillement dès lors qu'on a compilé et corrélé cette donnée avec les millions d'autres qu'offrent le développement du big data et l'augmentation des puissances de calcul.

 

Au regard de cet exemple, on comprend pourquoi même une Netatmo collée sur un mur plein Sud a un intérêt, et que des travaux sur l'ICU sont ainsi menés sur la métropole de Toulouse en intégrant précisément ces données en complément des SYNOP et des VP2 installées dans l’agglomération qui servent alors en quelque sorte d'étalon. 

 

Si je milite tant pour l'opendata (qui permet le big data), c'est précisément parce que ce sont ces solutions techniques (associée à de l'IA prédictive à base de machine-learning) qui sont susceptibles de repousser un peu tous les problèmes de fiabilité de prévi à CT sur de la très fine échelle. 

[ludo47]

Très honnêtement je trouve dangereux le fait d'utiliser des données météo sans connaitre les conditions de mesure. Certaines Netatmo sont vraiment très mal installée (en ville contre un mur exposé pleins Sud par exemple) et j'ai du mal à comprendre comment un service public peut utiliser les données sans connaitre les conditions de mesure. Attention, je ne critique pas Netatmo car ce problème se retrouve sous tout le réseau amateur. Certaines stations sont très bien installée et là je peux comprendre que l'on utilise les données, mais dans le cas contraire non. 

[Pan]

.

Modifié 26 août 2023 par Pansa

[Sebaas]

il y a 22 minutes, ludo47 a dit :

Très honnêtement je trouve dangereux le fait d'utiliser des données météo sans connaitre les conditions de mesure. Certaines Netatmo sont vraiment très mal installée (en ville contre un mur exposé pleins Sud par exemple) et j'ai du mal à comprendre comment un service public peut utiliser les données sans connaitre les conditions de mesure. 

 

Justement, c'est là où tu te trompes. On voit que t'as passé du temps chez MF toi  , car tu raisonnes sur une valeur ponctuelle en te disant "nannnn, ils vont pas utiliser cette donnée pour faire tourner le modèle ou pire encore la diffuser".  Sauf que ce n'est pas du tout la logique du big data, qui d'une certaine façon se moque bien de la valeur absolue. Rien qu'une évolution à la hausse ou à la baisse est une information en tant que telle sur le rayonnement solaire, la vitesse du vent, la turbulence etc... à condition d'avoir enregistré et corrélé ces valeurs sur des longues séries dans différentes conditions, ce que permet le machine-learning.

 

Il faut vraiment sortir de notre zone de confort et de notre approche hyper-restrictive de l'observation météo, pour raisonner en terme de données (par milliards dans le temps et l'espace) et d’algorithmes. Je vous rassure, moi aussi y'a 2 ans de cela j'ai sur le coup avalé ma casquette quand on m'a parlé en commission du CSM d'utiliser des Netatmo pour travailleur l'ICU de la métropole Toulousaine - sauf que depuis, en creusant le sujet comme informaticien et passionné de météo, j'ai compris l'intérêt.

 

La problématique n'est pas du tout la même pour des stations normalisées, qui loin d'être reléguées au second rang, deviennent presque + importantes encore car au milieu des ces milliards d'informations de toutes origines et de qualité très aléatoires, s'érigent  en maître-étalons permettant d'évaluer, filtrer, corriger les données d'opportunité. Pour ces stations, le matériel, son installation, son entretien sont encore + importants à suivre via les fameuses méta-données.

[ludo47]

il y a 2 minutes, Sebaas a dit :

 

Justement, c'est là où tu te trompes. On voit que t'as passé du temps chez MF toi  , car tu raisonnes sur une valeur ponctuelle en te disant "nannnn, ils vont pas utiliser cette donnée pour faire tourner le modèle ou pire encore la diffuser".  Sauf que ce n'est pas du tout la logique du big data, qui d'une certaine façon se moque bien de la valeur absolue. Rien qu'une évolution à la hausse ou à la baisse est une information en tant que tel sur le rayonnement solaire, la vitesse du vent, la turbulence etc... à condition d'avoir enregistré et corrélé ces valeurs sur des longues séries dans différentes conditions, ce que permet le machine-learning.

 

Il faut vraiment sortir de notre zone de confort et de notre approche hyper-restrictive de l'observation météo, pour raisonner en terme de données (par milliards dans le temps et l'espace) et d’algorithmes.

Ce que je ne comprend pas c 'est à quoi peut servir une observation pas fiable.  Prenons l'exemple d'une station installée dans une ville X. La station est  exposée pleins Sud, l'hiver elle peut enregistrer une hausse qui n'est pas réelle ou représentative des conditions réelles. De ce fait, si on introduit dès le départ une observation fausse, forcément le risque d'erreur dans le modèle augmente à l'échelle locale. Pour moi (du moins pour le moment), il vaut mieux avoir moins d'observation mais de bonnes qualité que des milliers d'observations sur lesquelles seulement une minorité sont réellement exploitables.  Ce qui par contre est très intéressant c'est le fait que les services météo publics commencent à s'intéresser aux différents réseaux amateurs pour compléter les leurs avec les stations amateurs remplissant un minimum les conditions de mesure. 

 

(oui Sebaas j'ai du passer un peu (trop) de temps chez MF à lire les notes techniques^^) 

 

[cirrus007]

il y a 5 minutes, ludo47 a dit :

Ce que je ne comprend pas c 'est à quoi peut servir une observation pas fiable.  Prenons l'exemple d'une station installée dans une ville X. La station est  exposée pleins Sud, l'hiver elle peut enregistrer une hausse qui n'est pas réelle ou représentative des conditions réelles. De ce fait, si on introduit dès le départ une observation fausse, forcément le risque d'erreur dans le modèle augmente à l'échelle locale. Pour moi (du moins pour le moment), il vaut mieux avoir moins d'observation mais de bonnes qualité que des milliers d'observations sur lesquelles seulement une minorité sont réellement exploitables.  Ce qui par contre est très intéressant c'est le fait que les services météo publics commencent à s'intéresser aux différents réseaux amateurs pour compléter les leurs avec les stations amateurs remplissant un minimum les conditions de mesure. 

 

(oui Sebaas j'ai du passer un peu (trop) de temps chez MF à lire les notes techniques^^) 

 

 

Ce que veux dire Sebaas, corrige moi si je me trompe, c'est que la multiplicité des données permet dans la philosophie du big data d'avoir accès à une multiplicité d'informations qui n'ont aucun sens prises individuellement et de façon ponctuelle, mais qui une fois recoupées et corrigées informatiquement obtiennent une valeur ajoutée immense et permettent à la fin de potentiellement enrichir les bases de données climato à l'échelle locale.

Avec le machine learning, autrement dit l'auto apprentissage  par l'ordinateur (ou encore "l'intelligence artificielle"), un algorithme n'aurait pas de mal à déceler les situations de surchauffe/souschauffe des Netatmo et pourrait les corréler de façon efficace aux stations officielles.

Exemple d'apprentissage tout bête que pourrait déceler l'algorithme: toutes les sondes exposées au sud hors abri surchauffent l'après-midi de X°C, avec un coefficient de surestimation proportionnel aux radiations solaires mesurées (en gros la déduction logique que nous humains arrivons à déceler rapidement: il y a plus de surchauffe l'été que l'hiver).

 

Je prend l'exemple le plus simple qui me viens en tête, mais on peut également pondérer tous ces paramètres et coefficients entre eux si on fait rentrer d'autres paramètres dans l'input de l'algorithme (le vent, la nébulosité etc). In fine, je suis certain qu'un algorithme bien construit peut réussir à corriger efficacement un bon nombre de situation météorologique qui induisent les biais sur les Netatmo, et au final il n'y en a pas des milliers ! Ce sont surtout les conditions radiantes qui mettent à mal les réseaux amateurs (plein soleil/nuit dégagées), lorsque le ciel est couvert l'homogénéité des Netatmo est excellente, c'est sans doute pour ça aussi que l'intégration des Netatmo a été envisagées pour ces pays Nordiques où l'ensoleillement n'est pas majoritaire. 

[Sebaas]

J'aurais pas dit mieux

 

Dans le monde du big data, l'intérêt ne vient pas d'une donnée et de sa qualité, elle vient de leur quantité que des algo parviennent à traiter/filtrer/interpréter/corréler statistiquement d'une manière qui commence à dépasser notre propre intelligence. En soit, le concept n'a rien de nouveau, la phase d'assimilation de données par un modèle numérique passe bien par une vérification de cohérence entre les données et sur la base des dernières modélisations (quitte à en invalider une bonne partie), mais là on passe à une toute autre dimension en terme de volume du fait de la multitude des capteurs disponibles et de leur connectivité (de la Netatmo au capteur de pression d'un smartphone, ou bien la détection de pluie par une voiture via le capteur de pluie pour les essuies glace automatiques, le déclenchement des feux, la détection par l'ESP de conditions d'adhérence limitées, etc etc etc) et du développement des intelligences artificielles.

 

Pourquoi croyez-vous qu'IBM (inventeur de l'IA Watson) a racheté Wunderground? Ne vous y trompez pas, les VP2 en ligne sur Wunderground sont déjà largement exploitées par IBM! 

[ludo47]

Ok je veux bien croire qu'avec le big data on ai réussi à  augmenter légèrement la qualité des prévis (même s'il va me falloir du temps pour l'accepter totalement ) mais on est d'accord que sur la partie temps réel et climatologie, ces données ne sont pas exploitables? 

[Sebaas]

Je ne sais pas si on a réussi à améliorer quoique ce soit aujourd'hui, là pour le coup c'est la partie "pub" de l'actu Netatmo. Il faudrait une étude comparative pour en juger. Certaines ont déjà montré l'intérêt  de ces mesures opportunes (par exemple, personne n'avait prévu lors de la conception du GPS qu'on allait l'utiliser pour évaluer l'humidité en altitude, données aujourd'hui assimilées dans les modèles, ou bien encore qu'on pourrait utiliser les variations de puissance d'un faisceau hertzien entre deux relais de téléphonie mobile pour identifier la présence de précipitations dans des pays africains dépourvus d'un réseau radar dédié).

 

Ce que je sais en revanche, c'est que c'est actuellement une piste prometteuse de recherche.

 

Sur la climato, peu d'intérêt a priori.

 

Sur le temps réel, avec des interpolations un peu malines, y'a certainement déjà moyen d'améliorer pas mal la description des conditions initiales, à condition de pouvoir rassembler et compiler très rapidement énormément de données et les traiter via des calculs haute-fréquence.

 

Sur la qualité des prévi, j'aurais tendance à dire que ça affine encore plus l'échelle... fine, et donc pour du CT. Après je ne mesure pas l'impact sur la prévi à moyen et long terme, où les pistes d'amélioration relèvent plutôt de la prévi d'ensemble pour ce que j'en sais.

 

Je sais pas moi, imaginez que le big data capté des données (anonymisées hein, cf affaire Cambridge Analytica et cie...)  de nos smarphones, de nos stations, de nos voitures, de nos objets connectés, du mobilier urbain des smart-cities, de tout le matériel utilisé dans l'agriculture, en forêt, à la montagne ou en mer etc etc permettent au final d'obtenir une grille de valeurs observées permettant de (in)valider en temps réel une modélisation Arome à l'échelle de la centaine de mètres: un Td qui dérive légèrement, une zone de convergence qui se corrige de moins d'un km...  et bim, à 1h de l'échéance, Arome pointe à moins de quelques centaines de mètre près la zone d'ascendance qui finira en Cb, ce qui peut tout changer sur des petits bassins versants ou pour une parcelle de vigne.

 

Ce que j'essaye d'expliquer, c'est le point où j'en suis dans ma compréhension de ce sujet qui me dépasse largement. Si ça se trouve j'ai déjà écrit quelques grosses conn**** dans ce qui précède . Le sujet est quasi infini, et surtout il mène rapidement à des concepts mathématiques et statistiques qui dépassent mes compétences et mon niveau en maths, stats et algorithmie .  J'ai juste le sentiment que le champs des possibles dépasse déjà celle de notre imagination (en tout cas, la mienne), et qu'on a tout intérêt à s'y intéresser à la fois à titre perso (y'a de l'avenir pour ceux qui ont les capacités en maths et qui deviennent data analyst!) et à titre collectif (communauté météo IC, qui en produit, de la donnée, et de la "bonne"!).

 

Je vous renvois par exemple au rapport de Cédric Villani sur l'IA (rapport complet - synthèse) pour tenter de mesurer les enjeux que cela soulève, notamment en terme de recherche, mais aussi d'éthique, de business, etc...

[Pan]

.

Modifié 26 août 2023 par Pansa

[Martini]

Plus que les Netatmo, ce sont pour moi les voitures connectées qui ont le plus grand potentiel de données sur les températures. C'est à dire presque toutes les voitures vendues neuves ces 2-3 dernières années.

La donnée température d'une voiture, qui roule bien entendu, est franchement fiable et vu le nombre de voiture en circulation même dans des régions reculées, le potentiel est énorme pour un cout proche de 0.

[Pan]

.

Modifié 26 août 2023 par Pansa

[Martini]

Je n'ai pas dis que le capteur de température d'une voiture valait la précision d'une VP2. J'ai juste dis que c'était une donnée fiable, certainement plus fiable qu'une Netatmo en plein soleil plein sud et surtout bien plus répandu.

Je ne suis pas certain que la chaleur d'un pneu ou même d'un bitume fasse énormément évoluer la température du capteur lorsque l'on roule sur des routes hors villes. A la limite c'est plus la présence du soleil en rayonnement direct qui pourrait jouer un rôle.

 

L'avantage également de la voiture c'est l'historique avec le GPS, rien de mieux pour appréhender les inversions de températures par exemple.

[Cotissois 31]

Sur cette affaire, qui est un partenariat académique-privé, il  faut être spectateur des réunions internes pour savoir l'ampleur réelle du résultat positif et tout ce qui ne marche pas. Les comm's officielles (externes) comme quoi les résultats sont positifs n'ont pas beaucoup d'intérêt.

Modifié 19 avril 2018 par Cotissois 31

[Pan]

.

Modifié 26 août 2023 par Pansa