Jump to content
Les Forums d'Infoclimat

Ce tchat, hébergé sur une plateforme indépendante d'Infoclimat, est géré et modéré par une équipe autonome, sans lien avec l'Association.
Un compte séparé du site et du forum d'Infoclimat est nécessaire pour s'y connecter.

La communauté Netatmo améliore les prévisions d'un service météo public 


Recommended Posts

Posted
Nice (06)-Corniche Fleurie / parfois Saint-Félix de Lodez (34)

A lire: Comment la communauté Netatmo améliore les prévisions d'un service météo public 

 

https://www.netatmo.com/blog/meteo/comment-la-communaute-netatmo-ameliore-t-elle-les-previsions-dun-service-meteo-public/

 

Alors bien sur l'article peut faire rire et fait plus penser à du marketing qu'à de la science, qui plus est venant d'une société comme Netatmo (dont 90% des stations sont destinées à des amateurs néophytes implantant leurs stations le plus souvent en classe 5). Mais en y réfléchissant bien et en mettant en perspective les suppressions de postes à MF, la réduction du nombre de stations bénévoles entretenues par MF, l'intensification du big data et de la prévision automatique (cf les autres topics sur ce forum), on obtient un savant mélange de ce que pourrai devenir la météorologie de demain en France ... 

 

Cela met aussi en avant, au delà du réseau Netatmo, l'importance cruciale des réseaux  de stations secondaires, au delà des stations détenues par les grands organismes de météo nationaux. L'exemple semble ici bien concret, l'article insiste pas mal sur l'importance de "l'ultra local". 

 

Qu'en pensez-vous ? ;)  

Edited by cirrus007
  • J'aime 1
Link to post
Share on other sites
Posted
Gambais (78) - Altitude : 100 m et Guyancourt (78) pour le travail

C'est sûr que c'est une communauté beaucoup plus importante que celle des VP2, j'en vois "fleurir" régulièrement autour de chez moi, par contre il y a du déchet dans les mesures, car comme tu le précises, beaucoup ne savent pas implanter ces dernières et les mettent souvent en plein soleil ce qui donne des valeurs farfelues.

 

Alors, il y a des filtres sur la map de Netatmo, mais je ne sais pas comment ils sont établis, c'est là-dessus que le travail d'organismes météo souhaitant utiliser ces données est à faire.

 

Même dans le cas de stations bien positionnées, il peut y avoir des valeurs aberrantes, mon exemple est flagrant quand je change les piles, la température fait un bond pendant un laps de temps non négligeable. Je supprime les mesures par la suite sur l'intervalle correspondant, mais je ne suis pas sûr que tout le monde fasse de même.

 

Donc, pour moi, c'est le filtrage des données qui est le plus important à établir pour être à peu près sûr d'avoir les bonnes données. :)

Link to post
Share on other sites
Posted
Montreuil (93) ou Ciran (37)
Il y a 1 heure, cirrus007 a dit :

Qu'en pensez-vous ? ;)  

 

Rapidement, j'en pense qu'on le veuille ou non, c'est clairement l'avenir. Si aujourd'hui MF s'intéresse d'aussi près aux données dites "d'opportunité" (ie, issues de capteur qui ne sont pourtant pas fait pour faire de la météo), c'est qu'il y a bien une raison.  Et quand on connait le culte de la DSO pour l'instrumentation et la classe d'installation, et le mépris  affiché par certains il y a encore quelques années sur nos VP2, je peux vous dire qu'il s'agit là d'une véritable révolution culturelle.

 

Une donnée d'opportunité, c'est par exemple une sonde dans un rail ou un aiguillage qui mesure la T°C. On est très très très loin de la mesure sous abri normalisé à 1 m 50 du sol en classe 1, et pourtant cette donnée a une valeur dans la mesure où on peut en déduire par exemple la puissance de l'ensoleillement dès lors qu'on a compilé et corrélé cette donnée avec les millions d'autres qu'offrent le développement du big data et l'augmentation des puissances de calcul.

 

Au regard de cet exemple, on comprend pourquoi même une Netatmo collée sur un mur plein Sud a un intérêt, et que des travaux sur l'ICU sont ainsi menés sur la métropole de Toulouse en intégrant précisément ces données en complément des SYNOP et des VP2 installées dans l’agglomération qui servent alors en quelque sorte d'étalon. 

 

Si je milite tant pour l'opendata (qui permet le big data), c'est précisément parce que ce sont ces solutions techniques (associée à de l'IA prédictive à base de machine-learning) qui sont susceptibles de repousser un peu tous les problèmes de fiabilité de prévi à CT sur de la très fine échelle. 

  • J'aime 4
Link to post
Share on other sites

Très honnêtement je trouve dangereux le fait d'utiliser des données météo sans connaitre les conditions de mesure. Certaines Netatmo sont vraiment très mal installée (en ville contre un mur exposé pleins Sud par exemple) et j'ai du mal à comprendre comment un service public peut utiliser les données sans connaitre les conditions de mesure. Attention, je ne critique pas Netatmo car ce problème se retrouve sous tout le réseau amateur. Certaines stations sont très bien installée et là je peux comprendre que l'on utilise les données, mais dans le cas contraire non. 

  • J'aime 1
Link to post
Share on other sites

Même si je comprends l'argument de Sebaas, je rejoins plutôt l'avis de ludo47. L'incertitude sur ces mesures faites par des instruments soit mal situés, soit mal calibrés (quid des déficiences de l'appareil) ne me parait pas être un gain substantiel. D'autre part, il a été montré que dans le cas de certains instruments (les capteurs de pression dans les smartphones), le gain pour la prévision méso-échelle était faible ("marginal" en anglais). C'est bien sûr quelque chose qui va se développer de plus en plus et nous manquons de recul à l'heure actuelle, mais pour l'instant je trouve ça peu convaincant.

Link to post
Share on other sites
Posted
Montreuil (93) ou Ciran (37)
il y a 22 minutes, ludo47 a dit :

Très honnêtement je trouve dangereux le fait d'utiliser des données météo sans connaitre les conditions de mesure. Certaines Netatmo sont vraiment très mal installée (en ville contre un mur exposé pleins Sud par exemple) et j'ai du mal à comprendre comment un service public peut utiliser les données sans connaitre les conditions de mesure. 

 

Justement, c'est là où tu te trompes. On voit que t'as passé du temps chez MF toi :D , car tu raisonnes sur une valeur ponctuelle en te disant "nannnn, ils vont pas utiliser cette donnée pour faire tourner le modèle ou pire encore la diffuser".  Sauf que ce n'est pas du tout la logique du big data, qui d'une certaine façon se moque bien de la valeur absolue. Rien qu'une évolution à la hausse ou à la baisse est une information en tant que telle sur le rayonnement solaire, la vitesse du vent, la turbulence etc... à condition d'avoir enregistré et corrélé ces valeurs sur des longues séries dans différentes conditions, ce que permet le machine-learning.

 

Il faut vraiment sortir de notre zone de confort et de notre approche hyper-restrictive de l'observation météo, pour raisonner en terme de données (par milliards dans le temps et l'espace) et d’algorithmes. Je vous rassure, moi aussi y'a 2 ans de cela j'ai sur le coup avalé ma casquette quand on m'a parlé en commission du CSM d'utiliser des Netatmo pour travailleur l'ICU de la métropole Toulousaine - sauf que depuis, en creusant le sujet comme informaticien et passionné de météo, j'ai compris l'intérêt.

 

La problématique n'est pas du tout la même pour des stations normalisées, qui loin d'être reléguées au second rang, deviennent presque + importantes encore car au milieu des ces milliards d'informations de toutes origines et de qualité très aléatoires, s'érigent  en maître-étalons permettant d'évaluer, filtrer, corriger les données d'opportunité. Pour ces stations, le matériel, son installation, son entretien sont encore + importants à suivre via les fameuses méta-données.

  • J'aime 5
  • Haha 1
Link to post
Share on other sites
il y a 2 minutes, Sebaas a dit :

 

Justement, c'est là où tu te trompes. On voit que t'as passé du temps chez MF toi :D , car tu raisonnes sur une valeur ponctuelle en te disant "nannnn, ils vont pas utiliser cette donnée pour faire tourner le modèle ou pire encore la diffuser".  Sauf que ce n'est pas du tout la logique du big data, qui d'une certaine façon se moque bien de la valeur absolue. Rien qu'une évolution à la hausse ou à la baisse est une information en tant que tel sur le rayonnement solaire, la vitesse du vent, la turbulence etc... à condition d'avoir enregistré et corrélé ces valeurs sur des longues séries dans différentes conditions, ce que permet le machine-learning.

 

Il faut vraiment sortir de notre zone de confort et de notre approche hyper-restrictive de l'observation météo, pour raisonner en terme de données (par milliards dans le temps et l'espace) et d’algorithmes.

Ce que je ne comprend pas c 'est à quoi peut servir une observation pas fiable.  Prenons l'exemple d'une station installée dans une ville X. La station est  exposée pleins Sud, l'hiver elle peut enregistrer une hausse qui n'est pas réelle ou représentative des conditions réelles. De ce fait, si on introduit dès le départ une observation fausse, forcément le risque d'erreur dans le modèle augmente à l'échelle locale. Pour moi (du moins pour le moment), il vaut mieux avoir moins d'observation mais de bonnes qualité que des milliers d'observations sur lesquelles seulement une minorité sont réellement exploitables.  Ce qui par contre est très intéressant c'est le fait que les services météo publics commencent à s'intéresser aux différents réseaux amateurs pour compléter les leurs avec les stations amateurs remplissant un minimum les conditions de mesure. 

 

(oui Sebaas j'ai du passer un peu (trop) de temps chez MF à lire les notes techniques^^) 

 

Link to post
Share on other sites
Posted
Nice (06)-Corniche Fleurie / parfois Saint-Félix de Lodez (34)
il y a 5 minutes, ludo47 a dit :

Ce que je ne comprend pas c 'est à quoi peut servir une observation pas fiable.  Prenons l'exemple d'une station installée dans une ville X. La station est  exposée pleins Sud, l'hiver elle peut enregistrer une hausse qui n'est pas réelle ou représentative des conditions réelles. De ce fait, si on introduit dès le départ une observation fausse, forcément le risque d'erreur dans le modèle augmente à l'échelle locale. Pour moi (du moins pour le moment), il vaut mieux avoir moins d'observation mais de bonnes qualité que des milliers d'observations sur lesquelles seulement une minorité sont réellement exploitables.  Ce qui par contre est très intéressant c'est le fait que les services météo publics commencent à s'intéresser aux différents réseaux amateurs pour compléter les leurs avec les stations amateurs remplissant un minimum les conditions de mesure. 

 

(oui Sebaas j'ai du passer un peu (trop) de temps chez MF à lire les notes techniques^^) 

 

 

Ce que veux dire Sebaas, corrige moi si je me trompe, c'est que la multiplicité des données permet dans la philosophie du big data d'avoir accès à une multiplicité d'informations qui n'ont aucun sens prises individuellement et de façon ponctuelle, mais qui une fois recoupées et corrigées informatiquement obtiennent une valeur ajoutée immense et permettent à la fin de potentiellement enrichir les bases de données climato à l'échelle locale.

Avec le machine learning, autrement dit l'auto apprentissage  par l'ordinateur (ou encore "l'intelligence artificielle"), un algorithme n'aurait pas de mal à déceler les situations de surchauffe/souschauffe des Netatmo et pourrait les corréler de façon efficace aux stations officielles.

Exemple d'apprentissage tout bête que pourrait déceler l'algorithme: toutes les sondes exposées au sud hors abri surchauffent l'après-midi de X°C, avec un coefficient de surestimation proportionnel aux radiations solaires mesurées (en gros la déduction logique que nous humains arrivons à déceler rapidement: il y a plus de surchauffe l'été que l'hiver).

 

Je prend l'exemple le plus simple qui me viens en tête, mais on peut également pondérer tous ces paramètres et coefficients entre eux si on fait rentrer d'autres paramètres dans l'input de l'algorithme (le vent, la nébulosité etc). In fine, je suis certain qu'un algorithme bien construit peut réussir à corriger efficacement un bon nombre de situation météorologique qui induisent les biais sur les Netatmo, et au final il n'y en a pas des milliers ! Ce sont surtout les conditions radiantes qui mettent à mal les réseaux amateurs (plein soleil/nuit dégagées), lorsque le ciel est couvert l'homogénéité des Netatmo est excellente, c'est sans doute pour ça aussi que l'intégration des Netatmo a été envisagées pour ces pays Nordiques où l'ensoleillement n'est pas majoritaire. 

  • J'aime 3
  • Merci 1
Link to post
Share on other sites
Posted
Montreuil (93) ou Ciran (37)

J'aurais pas dit mieux :)

 

Dans le monde du big data, l'intérêt ne vient pas d'une donnée et de sa qualité, elle vient de leur quantité que des algo parviennent à traiter/filtrer/interpréter/corréler statistiquement d'une manière qui commence à dépasser notre propre intelligence. En soit, le concept n'a rien de nouveau, la phase d'assimilation de données par un modèle numérique passe bien par une vérification de cohérence entre les données et sur la base des dernières modélisations (quitte à en invalider une bonne partie), mais là on passe à une toute autre dimension en terme de volume du fait de la multitude des capteurs disponibles et de leur connectivité (de la Netatmo au capteur de pression d'un smartphone, ou bien la détection de pluie par une voiture via le capteur de pluie pour les essuies glace automatiques, le déclenchement des feux, la détection par l'ESP de conditions d'adhérence limitées, etc etc etc) et du développement des intelligences artificielles.

 

Pourquoi croyez-vous qu'IBM (inventeur de l'IA Watson) a racheté Wunderground? Ne vous y trompez pas, les VP2 en ligne sur Wunderground sont déjà largement exploitées par IBM! 

  • J'aime 2
Link to post
Share on other sites

Ok je veux bien croire qu'avec le big data on ai réussi à  augmenter légèrement la qualité des prévis (même s'il va me falloir du temps pour l'accepter totalement :D ) mais on est d'accord que sur la partie temps réel et climatologie, ces données ne sont pas exploitables? 

Link to post
Share on other sites
Posted
Montreuil (93) ou Ciran (37)

Je ne sais pas si on a réussi à améliorer quoique ce soit aujourd'hui, là pour le coup c'est la partie "pub" de l'actu Netatmo. Il faudrait une étude comparative pour en juger. Certaines ont déjà montré l'intérêt  de ces mesures opportunes (par exemple, personne n'avait prévu lors de la conception du GPS qu'on allait l'utiliser pour évaluer l'humidité en altitude, données aujourd'hui assimilées dans les modèles, ou bien encore qu'on pourrait utiliser les variations de puissance d'un faisceau hertzien entre deux relais de téléphonie mobile pour identifier la présence de précipitations dans des pays africains dépourvus d'un réseau radar dédié).

 

Ce que je sais en revanche, c'est que c'est actuellement une piste prometteuse de recherche.

 

Sur la climato, peu d'intérêt a priori.

 

Sur le temps réel, avec des interpolations un peu malines, y'a certainement déjà moyen d'améliorer pas mal la description des conditions initiales, à condition de pouvoir rassembler et compiler très rapidement énormément de données et les traiter via des calculs haute-fréquence.

 

Sur la qualité des prévi, j'aurais tendance à dire que ça affine encore plus l'échelle... fine, et donc pour du CT. Après je ne mesure pas l'impact sur la prévi à moyen et long terme, où les pistes d'amélioration relèvent plutôt de la prévi d'ensemble pour ce que j'en sais.

 

Je sais pas moi, imaginez que le big data capté des données (anonymisées hein, cf affaire Cambridge Analytica et cie...)  de nos smarphones, de nos stations, de nos voitures, de nos objets connectés, du mobilier urbain des smart-cities, de tout le matériel utilisé dans l'agriculture, en forêt, à la montagne ou en mer etc etc permettent au final d'obtenir une grille de valeurs observées permettant de (in)valider en temps réel une modélisation Arome à l'échelle de la centaine de mètres: un Td qui dérive légèrement, une zone de convergence qui se corrige de moins d'un km...  et bim, à 1h de l'échéance, Arome pointe à moins de quelques centaines de mètre près la zone d'ascendance qui finira en Cb, ce qui peut tout changer sur des petits bassins versants ou pour une parcelle de vigne.

 

Ce que j'essaye d'expliquer, c'est le point où j'en suis dans ma compréhension de ce sujet qui me dépasse largement. Si ça se trouve j'ai déjà écrit quelques grosses conn**** dans ce qui précède :D . Le sujet est quasi infini, et surtout il mène rapidement à des concepts mathématiques et statistiques qui dépassent mes compétences et mon niveau en maths, stats et algorithmie .  J'ai juste le sentiment que le champs des possibles dépasse déjà celle de notre imagination (en tout cas, la mienne), et qu'on a tout intérêt à s'y intéresser à la fois à titre perso (y'a de l'avenir pour ceux qui ont les capacités en maths et qui deviennent data analyst!) et à titre collectif (communauté météo IC, qui en produit, de la donnée, et de la "bonne"!).

 

Je vous renvois par exemple au rapport de Cédric Villani sur l'IA (rapport complet - synthèse) pour tenter de mesurer les enjeux que cela soulève, notamment en terme de recherche, mais aussi d'éthique, de business, etc...

  • J'aime 2
Link to post
Share on other sites

Je comprends en partie ton enthousiasme Sebaas. Mais la qualité des données est essentielle même quand elle est sont en grande quantité. Il n'y a pas que des biais facilement corrélés (avec les radiations solaires pour reprendre l'exemple de cirrus007). Que dire des biais sur la localisation de l'appareil (valable pour tous les capteurs embarqués comme smartphones, etc), ou des biais (de pression) quand le porteur du capteur est en mouvement, à pied, à vélo, ou autre. Et c'est là que la vérification des données est absolument nécessaire (le quality check), comme l'avait montré d'ailleurs une étude de Luke Madaus qui utilisait les capteurs pression des smartphones pour examiner l'impact sur la prévision à méso-échelle, et qui avait observé qu'il y avait un faible gain dans le meilleur des cas, voire une dégradation de la prévision dans le pire.

 

Maintenant, comme tu le suggérais, une étude plus récente de la même équipe a mis au point une technique basée sur le machine learning qui permet de diminuer les biais dans certains cas (capteur immobile, ce qui est le cas aussi des stations NetAtmo), mais le contrôle de qualité reste indispensable. Peut être alors que ça ouvre la porte à une amélioration potentielle.

 

A lire sûrement pour se faire une meilleure idée sur la question, ce que je n'ai pas encore fait:

Can the crowdsourcing data paradigm take atmospheric science to a new level? A case study of the urban heat island of London quantified using Netatmo weather stations

  • Merci 3
Link to post
Share on other sites
Posted
Dannemarie (Sundgau) 304m

Plus que les Netatmo, ce sont pour moi les voitures connectées qui ont le plus grand potentiel de données sur les températures. C'est à dire presque toutes les voitures vendues neuves ces 2-3 dernières années.

La donnée température d'une voiture, qui roule bien entendu, est franchement fiable et vu le nombre de voiture en circulation même dans des régions reculées, le potentiel est énorme pour un cout proche de 0.

  • J'aime 2
Link to post
Share on other sites

Je ne suis pas d'accord quand tu dis que la donnée température d'une voiture qui roule est franchement fiable, pas plus pour une voiture à l'arrêt d'ailleurs non plus. L'élévation du capteur est loin d'être réglementaire et varie selon le modèle de véhicule, ainsi que sa position (certains ont un capteur proche du pare-choc, d'autre proche de la portière). Il y a les problèmes de chaleur en provenance des pneus, de la route, du moteur qui rayonne vers le capteur, sans compter le vent (qui dépend du vent réel plus de celui induit par le mouvement du véhicule). Autant dire qu'il va falloir un contrôle de qualité en béton pour pouvoir utiliser ces mesures.

  • J'aime 1
Link to post
Share on other sites
Posted
Dannemarie (Sundgau) 304m

Je n'ai pas dis que le capteur de température d'une voiture valait la précision d'une VP2. J'ai juste dis que c'était une donnée fiable, certainement plus fiable qu'une Netatmo en plein soleil plein sud et surtout bien plus répandu.

Je ne suis pas certain que la chaleur d'un pneu ou même d'un bitume fasse énormément évoluer la température du capteur lorsque l'on roule sur des routes hors villes. A la limite c'est plus la présence du soleil en rayonnement direct qui pourrait jouer un rôle.

 

L'avantage également de la voiture c'est l'historique avec le GPS, rien de mieux pour appréhender les inversions de températures par exemple.

  • J'aime 1
Link to post
Share on other sites

Sur cette affaire, qui est un partenariat académique-privé, il  faut être spectateur des réunions internes pour savoir l'ampleur réelle du résultat positif et tout ce qui ne marche pas. Les comm's officielles (externes) comme quoi les résultats sont positifs n'ont pas beaucoup d'intérêt.

Edited by Cotissois 31
  • J'aime 1
  • Merci 1
Link to post
Share on other sites

Cotissois, tu as bien résumé. Pour citer un domaine connexe que je connais un peu, qui est celui de l'assimilation de données pour la méso-échelle (en particulier convective), on n'a pas idée combien ça peut être de la cuisine en pratique (choix arbitraires, dégradation des observations, etc) afin d'obtenir un résultat, loin de l'élégance épurée des concepts mathématiques.

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...