OpenMeteoData - données météo libres et gratuites pour tous

[nico parapente]

Une telle stratégie n'a pas de raison de donner des résultats meilleurs qu'un WRF France...

Pas d'accord.

Avec plus de puissance de calcul, on peut faire plein de choses :

- WRF-ARW au lieu de NMM. Par exemple, NMM n'a pas de modèle "urbain", et ne sais pas faire du nesting correctement.

- Résolution plus fine. A une échelle où le modèle peut simuler la convection (plutôt qu'essayer de l'estimer avec des shémas simplifiés).

Exemple : kéraunos a un modèle à 8 km pour essayer de prévoir le risque d'orages. Je suppose qu'ils ne descendent pas plus bas pour des raisons de coût. Mais à cette échelle la convection n'est pas prise en compte. Et le modèle ne voit pas les vallées. Pas très pratique pour savoir à quelle heure le gros congestus au dessus de la chartreuse va péter à l'orage.

De quelles ressources informatiques dispose Openmeteodata pour faire tourner le modèle

Pour commencer d'ici mars, un cluster d'une dizaine de Xéons E5-2600. Ces CPU sont largement plus perfomants que les générations précédentes, notamment cars ils ont 4 canaux mémoires. (le goulet d'étranglement de WRF) . Les machines sont connectés en infiniband. Ajouter à ça les serveurs web, la prise en charge de l'hébergement / électricité / bande passante.

Ça n'est que le début. L'infra devrait grossir au cours de l'année.

Pour donner un ordre de grandeur, ça correspond à peu près à ce qu'avait MF en 2008 pour faire tourner AROME-france en 30 minutes. (d'après cet exposé)

[nico parapente]

Le jour où GFS sera "fermé", on sera de toute façon coincé car on ne pourra pas faire tourner WRF.

Ce jour là, il y aura pas mal de boites qui vont couler.

Raison de plus pour se battre pour avoir d'autres sources de données.

Jusqu'à peu, je faisais aussi tourner WRF à partir de HIRLAM. J'étais en train de coder un système pour comparer les deux modèles, mais maintenant c'est fini... On n'a plus que le GFS.

Au passage, en organisant un peu mieux les réseaux de balises amateurs genre Infoclimat ou ROMMA, on pourrait avoir des données exploitables pour de l'assimilation. Mais pour ça, c'est surtout au niveau des mentalités qu'il y a du travail. La météo c'est encore trop "reproduction interdite". (c'est d'ailleurs pour ça que le projet est né)

Salut V, tu imagines sérieusement une association faire le bilan des observations nécessaires, les trouver sous le bon format, et surtout coder l'assimilation de données ?

En regardant ce qu'arrivent à faire les gars d'OpenStreetMap, oui. D'ailleurs, faut voir l'influence que ça a eu sur la politique de l'IGN.

Et l'intérêt de lancer un projet "ouvert" comme ça, c'est que depuis le lancement de OpenMeteoData, j'ai eu plusieurs chercheurs et de météorologues professionnels qui ont spontanément proposés d'aider sur les aspects scientifiques.

Sur PC en plus ?

Gnié ?

Mais bon, quelques soient les données utilisés et les moyens à disposition : le but est de faire du bruit dans les milieux pertinents (open data), participer à des conférences, et lancer le vrai débat politique sur l'accès aux données des agences publiques.

Et croyez moi, d'ici quelques mois on va en entendre parler. On a déjà présenté brièvement le projet lors de la conférence Green Data Thuesday, qui s'est tenue au ministère du développement durable.

[Cotissois 31]

Vous avez pas mal bossé le truc visiblement, et je suis surtout d'accord avec le dernier paragraphe.

Encore une fois, l'idée de coder un modèle plus indépendant est un super exercice pédagogique (science et informatique), mais niveau fiabilité ça me paraît très risqué quand même.

Si vous voulez être indépendant, il faudra un modèle global (pas de problèmes de conditions aux limites, je ne sais pas si WRF permet facilement de faire çà). Ensuite seulement vous pourrez passer à un domaine limité. Mais bon, si vous êtes déjà en contact avec des scientifiques, vous devez être au courant de la "tâche"...

ps: ok pour le module d'assimilation sur WRF, je pensais que la version "publique" faisait seulement de l'interpolation de GFS.

[nico parapente]

Encore une fois, l'idée de coder un modèle plus indépendant est un super exercice pédagogique (science et informatique), mais niveau fiabilité ça me paraît très risqué quand même.

Il n'en a jamais été question

[snowman43]

Projet très intéressant, c'est une excellente idée que de mutualiser les ressources météo amateur pour générer un "super WRF".

Par contre je suis plus dubitatif sur la fourniture de données brutes par le biais d'api csv/xml libres et sans limitations, non pas dans l'idée mais par le coût engendré par ce type de service car les utilisateurs ne sont pas toujours très regardant sur leur programmation et leur utilisation des ressources.

Rapidement les dépenses liées à la fourniture des données deviendront ainsi les premières dépenses de l'association et celles-ci ne pourront aller qu'en augmentant, pour avoir une petite expérience dans ce domaine c'est vraiment ce qui me fait peur dans ce projet.

[nico parapente]

Rapidement les dépenses liées à la fourniture des données deviendront ainsi les premières dépenses de l'association et celles-ci ne pourront aller qu'en augmentant, pour avoir une petite expérience dans ce domaine c'est vraiment ce qui me fait peur dans ce projet.

Pour les serveurs, pas de souci. On a l'hébergement datacenter gratuit.

On peut facilement mettre 10 serveurs dédiés si besoin. (on m'en a proposé 100 ).

Et après, si ça commence à vraiment prendre de l'ampleur, on pourra avoir des miroirs dans les universités et chez les fondations d'entreprise genre free ou ovh.

Surtout que là pour les données, on n'utilise pas du mysql. On a des outils biens plus performants.

Mais bon, on verra bien.

[Cotissois 31]

Gnié ?

Je répondais à Smercz...

Pas d'accord.

Je demandais des arguments, pas de dire si c'est d'accord ou pas

Pour quelqu'un qui fait du parapente dans les Pyrénées, il peut faire un WRF Pyrénées de 400 par 400 km, ce sera bien.

Faire un super WRF c'est un risque : se donner du mal pour peu (ou moins) de valeur ajoutée. C'est pour çà que j'insistais sur l'intérêt pédagogique.

[nico parapente]

Pour quelqu'un qui fait du parapente dans les Pyrénées, il peut faire un WRF Pyrénées de 400 par 400 km

400x400 km dans la gamme kilométrique, il commence à en falloir de la puissance de calcul...

Pour le championnat d’Europe, j'avais un domaine ARW d'environ 200x200 km à 1.8km. Il fallait 1h30 de calcul pour 12h de prévis, mais sur un cluster de trois machines "haut de gamme".

[Pan]

.

Modifié 26 août 2023 par Pansa

[nico parapente]

Euh, dans le document (j'ai juste survolé j'avoue), j'ai l'impression que ça dit qu'ils font tourner Arome (en 30 min pour 24h de prévision) sur 64 processeurs (je suppose en plus qu'ils font tourner ça sur un supercalculateur type IMB Power 6, comme le font certains sur le serveur de calcul du CNRS) et tu parles d'un cluster de 10 machines. J'ai une vision naïve, mais ça ne me parait pas comparable. Explication?

64 processeurs de 2008 = 10 en 2012.

La puissance de calcule augmente très rapidement.

En particulier, ça c'est énormément amélioré au niveau de la bande passante mémoire. La DDR2 de l'époque, c'était de l'ordre de 5Go/s. Les nouveaux proc avec 4 canaux de DDR3 atteignent plus de 50Go/s. Ça a une influence considérable pour nous, puisque c'est le gros facteur limitant de WRF.

Pour donner une idée concrète, j'ai un calculateur avec 28 cpus Opteron 2216HE. Ça date de 2008. Et bien WRF tourne plus lentement dessus que sur un cluster de trois ordis neufs. Quand à la conso électrique, on passe de 4kW à 600W !

Si je reprend l'estimation qui est donnée plus haut, et considérant que l'Europe fait grosso modo 3500 km du nord au sud comme de l'ouest à l'est, il faut 300 fois plus de points de grille. Donc ça correspond à un run de 900h pour une prévision de 24h

On va pas utiliser les mêmes réglages... Selon le nesting et les options physiques choisis le temps nécessaire peut énormément varier. Et dans un premier temps, c'est peut-être pas utile de descendre à 2km sur toute l'Europe.

288GB par run juste pour les sorties! Inutile de dire que c'est pas n'importe quelle routine graphique qui veut bien "ingérer" des sorties de taille si grosse.

Pour ça il existe des outils très bien fait, pour extraire uniquement les infos sur la zone et les paramètres qu'on veut.

Si je veux faire une carte de T2 sur toute la zone, il faut que je charge le tout en mémoire. Sachant que chaque point est stocké dans un flottant sur 32 bits (donc 4 octets) : 1945*1945*4 /1024 (ko) /1024 (Mo) = 14Mo. C'est rien.

Maintenant, l'assimilation de données, ça fait donc un total de 900 h

L'interpolation à partir du GFS est très rapide. L'histoire de quelques minutes. Même pas besoin d'utiliser tous les cpus.

[Synok]

Salut !

Sinon, il y a MesoNH dont certaines versions tournent avec CUDA.

http://mesonh.aero.obs-mip.fr/mesonh/

Cela peut être intéressant pour faire tourner des grilles plus fines a l’intérieur de grilles plus larges.

Sous CUDA, les perfs sont meilleurs avec les cartes de génération 5xx qu'avec les nouvelles 6xx.

[nico parapente]

http://mesonh.aero.obs-mip.fr/mesonh/

The code is supplied free of charge, but the new user agrees that he will not pass the code to other parts or use it for commercial purpose

[Pan]

.

Modifié 26 août 2023 par Pansa

[nico parapente]

Donc il va falloir modifier le registre pour sortir uniquement les champs désirés. L'exemple que tu prends la c'est pour un champs 2D, qui sont ceux qui prennent le moins de place en stockage. Un champs 3D comme la température ou la pression ou les champs de condensats, fera en comparaison 560MB.

Effectivement on sort des fichiers énorme. On ne modifiera pas le registre.

Mais ensuite tu as toute une panoplie d'outil pour récupérer que ce qui t’intéresse. Exemple : ncks, ou via un serveur OpeNDAP.

[nico parapente]

Je propose une phase expérimentale pour ceux qui voudraient tester l'accès aux données.

C'est pas les prévis définitives, c'est juste le run actuel de http://meteo-parapente.com

Inscriptions ici : https://docs.google.com/forms/d/1hKyrlxfj7eqU4OdP6XnUe_RbUDf2LrKxKW4QHQ7jrQI/viewform

C'est ouvert à tous.

[nico parapente]

Renseignements pris auprès de MF :

si on était riche et qu'on pouvait initialiser notre modèle avec arpège, on aurait tout a fait le droit d'en redistribuer les sorties.

Il n'y a pas de contre indication à utiliser ces données comme forçage ou couplage d'un autre modèle numérique. seule la rediffusion en l'état est proscrite.

https://public.meteo...ervice_STAN.pdf

Donc si on se groupe avec pleins d'entreprises pour faire un super WRF à base des données Arpège, tout le monde pourrait profiter.

Bon, on y est pas encore..

Idem pour le CEP :

Vous n'êtes pas autorisés à rediffuser les données du CEP. Mais s'agissant des sorties de votre modèle WRF vous êtes totalement libres de les distribuer à titre gratuit ou onéreux.

[nico parapente]

Un aperçu du type de matos :

[_sb]

Bonjour,

Merci pour cette initiative

Sur la page d'accueil vous insistez sur la politique actuelle des données météo. Wikipedia et OpenStreetMap auquel vous vous comparez avaient en plus et dès le départ, une ambition plus large (décentralisation, accessibilité, partage, pérennisation du projet, ...).

Plus haut dans ce topic, vous espérez que ce projet permettra au moins de secouer la fourmillière et de forcer à des changements de politique.

À quel niveau vous situez-vous ? Quelle ambition à long terme avez-vous ? Ceci transparaît mal sur le site.

Est-ce un projet court/moyen terme ? ou un projet à long terme (que vous espérez pérenniser) ?

Vous dîtes vous concentrer pour le moment sur l'Europe (il faut bien commencer !) mais avez-vous déjà noué des contacts avec d'autres organisations ou institutions potentiellement intéressées ou partenaires de par le monde ?

Parallèlement, envisagez-vous d'impulser un réseau de stations (des particuliers mais aussi des entreprises, des labos, des universités, ... qui disposeraient de données météo intrinsèques) fournissant des données libres (pas forcèment intégrées aux modèles WRF) ?

Les StatIC en sont un exemple à l'échelle d'IC.

Ne voyez pas malice, je me pose juste des questions

Enfin, la licence choisie permet de couvrir tous les usages tout en garantissant la pérennisation des données, ce qui est un point positif (le cadre juridique est souvent négligé au départ dans ce genre de projet).

[nico parapente]

Quelle ambition à long terme avez-vous ?

Devenir le OpenStreetMap de la météo

accessibilité, partage, pérennisation du projet

On est en train de faire ce qu'il faut pour

décentralisation

Pas vraiment facile puisqu'il faut un calculateur monolithique. Néanmoins, on pourra envisager à long terme d'avoir un deuxième calculateur à un emplacement différend.

Les serveurs, eux, peuvent par contre être situées n'importe où.

Est-ce un projet court/moyen terme ? ou un projet à long terme (que vous espérez pérenniser) ?

Long terme. C'est que le petit début.

mais avez-vous déjà noué des contacts avec d'autres organisations ou institutions potentiellement intéressées ou partenaires de par le monde ?

Pas encore beaucoup de contacts. Ça commence petit à petit.

Parallèlement, envisagez-vous d'impulser un réseau de stations (des particuliers mais aussi des entreprises, des labos, des universités, ... qui disposeraient de données météo intrinsèques) fournissant des données libres (pas forcèment intégrées aux modèles WRF) ?

C'est un des projets à plus long terme.

Niveau technique, une fois qu'on a l’infrastructure pour distribuer les prévis, c'est facile de faire pareil avec des observations.

Le plus dur sera de faire adhérer les propriétaires de station à l'idée de partager leurs données.

J'ai proposé à ROMMA d'évoquer cette question lors de leur prochaine AG.

Mais pour que de telles données soient réellement exploitable, il y a au moins deux critères à remplir :

- classifier chaque équipement par "qualité", en fonction du matériel et de l’installation.

- autoriser un usage commercial des données. Mais avec une restriction type "share alike" pour éviter les abus. Genre si une boite comme MF veut utiliser nos données, elle peut mais uniquement si elle partage les siennes. Dans le cas où elle ne voudrait pas partager, on lui offre la possibilité d'acheter une licence moins restrictive. L'argent peut ensuite servir à subventionner la mise en place d'autres stations.

Pour l'instant, la prévi ça reste la priorité, mais si quelqu'un a envie de participer pour développer les observations, on est ouvert. On peut mettre un ou deux serveurs à disposition pour ça.

[Cotissois 31]

Donc si on se groupe avec pleins d'entreprises pour faire un super WRF à base des données Arpège, tout le monde pourrait profiter.

Bon, on y est pas encore..

Je ne comprends pas ce que vous espérez comme grosse valeur ajoutée d'un super WRF à partir de CEP, ARPEGE, etc ?

En quoi ce sera fondamentalement différent d'un WRF normal à partir de GFS ?

Et je ne veux pas vous refroidir, mais réfléchissez vraiment à la valeur ajoutée d'une donnée WRF pour un public qui n'est pas connaisseur en météo.

Faire de l' "open" data sans que le public ne soit capable d'utiliser la donnée, ce n'est pas hyper justifié. On est loin de la géolocalisation, qui est une information hyper fiable et assez facile à utiliser.

Aujourd'hui, les services nationaux ont des informations probabilistes (par exemple, Météo-France prévoit la température sur la base de méthodes probabilistes comparant la situation actuelle et les situations passées) et une expertise qui permet réellement de discuter une prévision. Avec WRF, on a un scénario réaliste en apparence qui est rarement la réalité. Un modèle comme WRF va bien gérer le relief par rapport à GFS, mais dans ce cas on peut se contenter de faire des petits WRF, vraiment.

Mais je soutiens votre projet pour l'aspect pédagogique et passionné, et la démocratisation de la météo.

[nico parapente]

Je ne comprends pas ce que vous espérez comme grosse valeur ajoutée d'un super WRF à partir de CEP, ARPEGE, etc ?

En quoi ce sera fondamentalement différent d'un WRF normal à partir de GFS ?

C'est toujours intéressant d'avoir d'autres points de vue que celui du GFS.

Lorsque je faisait tourner mon WRF à partir d'HIRLAM, j'avais de nettes différences avec le run GFS. Malheuresement, l'AEMET a coupé le robiné avant que je ne puisse faire des statistiques.

Au passage, le CEP et ARPEGE sont bien plus fins que le GFS. Donc je suppose qu'on peut faire un meilleur downscaling.

Et je ne veux pas vous refroidir, mais réfléchissez vraiment à la valeur ajoutée d'une donnée WRF pour un public qui n'est pas connaisseur en météo.

Faire de l' "open" data sans que le public ne soit capable d'utiliser la donnée, ce n'est pas hyper justifié.

Je ne suis pas du tout d'accord.

Par exemple, des milliers de véliplanchistes qui n'ont aucune connaissance en météo font confiance au WRF de windguru et en sont extrêmement satisfait.

Ça veut dire que parce que je ne suis pas un expert en météo, l'open data ça ne me sert à rien ? Et donc si je suis novice en météo, que je trouve que les cartes de météo-ciel sont moches et que j'ai envie de faire les miennes, le seul moyen que j'ai c'est de faire tourner mon propre WRF ? Ça me parait un peu contradictoire.

Aujourd'hui, les services nationaux ont des informations probabilistes (par exemple, Météo-France prévoit la température sur la base de méthodes probabilistes comparant la situation actuelle et les situations passées) et une expertise qui permet réellement de discuter une prévision

Et peut-être bien que dans quelques années, des personnes compétentes se seront impliqués dans le projet pour développer des outils similaires pour OpenMeteoData.

C'est pas du tout impossible vu le nombre de propositions que je reçoit dans mes mails ces derniers jours.

Faisons un petit calcul simple :

En moins d'un an, et en nous focalisant uniquement sur le monde du vol libre français (10 à 20 000 pratiquants ?), on levé l'équivalent de 30 000 € en termes de moyens techniques, ~100 000€ de travail "ingénieur" bénévole, et on a noué pas mal de relations solides.

Je le répète : il s'agit du monde du vol libre, en France. C'est rien, minuscule. 0.03% de la population française.

Maintenant, on lance la même idée, mais pour tout le monde, et à l'échelle de l'Europe. Je te laisse faire le produit en croix, et imaginer le potentiel d'un tel projet...

D'où l’intérêt de faire ça dans le cadre d'une association dont les statuts assurent une gestion démocratique et donnent des droits égaux à tous les adhérents.

Pas de petits profits, l'objectif c'est vraiment de mettre en commun les compétences du plus grand nombre de personnes possible, pour bâtir un super outil.

C'est le modèle de l'open source, appliqué à la météo. Et à ça, on va pouvoir rajouter un véritable comité d'expert pour driver les questions scientifiques et techniques du projet. On a déjà des contacts avec des universités, des météorologues, des chercheurs, des prévisionnistes "stars"...

Et en plus, on est gentils, on a même offert la possibilité à MF, le CNRM et l'ENM de participer au projet.

[_sb]

Oui, par expériences, un projet open source attire une poignée de développeurs et de contributeurs. Ensuite, plus le projet murit et devient visible, plus il attire non seulement des utilisateurs mais aussi des devs et autres contributeurs. Effet boule de neige garanti. À l'inverse, s'il reste dans une niche (fonctionalités limitées, localisé, etc), au mieux il végètera.

C'est en partie pour cela que je posais ces questions en début d'après-midi : la pérennisation (dont un minimum de diversification pour toucher différents publics) et l'internationalisation de ce projet sont vitaux pour le long terme.

[Cotissois 31]

Je ne suis pas du tout d'accord.

Par exemple, des milliers de véliplanchistes qui n'ont aucune connaissance en météo font confiance au WRF de windguru et en sont extrêmement satisfait.

Possible, mais j'aimerais savoir en quoi le WRF de windguru est mieux que la prévision gratuite disponible sur meteofrance.com ? /emoticons/biggrin@2x.png 2x" width="20" height="20">C'est marrant parce que dans l'histoire, c'est nous amateurs de prévision et suivi météo qui sommes en "manque" de données, mais c'est "vous" qui êtes militants pour libérer des données. Bon, tant mieux après tout /emoticons/wink@2x.png 2x" width="20" height="20">

[nico parapente]

Possible, mais j'aimerais savoir en quoi le WRF de windguru est mieux que la prévision gratuite disponible sur meteofrance.com ?

Parce que windguru te synthétise les infos de tous tes spots préférés, heure par heure, et en plus avec des belles couleurs pour voir d'un clin d'oeuil si ça va le faire ou non. Sans toute la pub pourrie qui clignote partout.

Et que MF te donne un vent de 0-30km/h pour la demi journée, alors que windguru te montre que tu peux rester dormir parce que la brise s'inverse vers 11h, qu'il va manquer quelques noeuds pour que ça plane correctement, mais que ça devrait le faire l'heure d'après, et que t'aura quelques goûtes qui vont passer en fin d'après midi.

Et si tu veux les meilleures prévis, l'abonnement est à un prix raisonnable : ~10€ par an.

Conclusion : le planchiste ne consulte même pas le site gratuit de Météo France, et va même payer un abonnement à un WRF qui sort des prévis "moins fiables". Je connais un peu le sujet pour être moniteur de voile l'été.

Enfin bref, là on s'éloigne de la discussion d'origine.

[Cotissois 31]

C'est le sujet de la discussion d'origine, puisqu'il faut évaluer en quoi les données des services météos sont prohibitives.

En tous cas, je vous conseille de faire des "tests" pour savoir quelle est la meilleure stratégie (économe à priori) pour implémenter WRF suivant ce que vous voulez à l'arrivée.

Si vous voulez évoluer vers une solution vraiment indépendante, vous pouvez gratter vers ce que disait Smercz pour récupérer les observations et utiliser le package WRF d'assimilation de données.