OpenMeteoData - données météo libres et gratuites pour tous

[nico parapente]

Salut à tous.

Je vous présente OpenMeteoData.

L'idée :

• Faire des prévis numériques libres et gratuites pour tous
• Débattre sur la politique d'accès aux données de Météo France/ECMWF et les autres

Tout ça dans un esprit "Open Data" (wikipedia, openstreetmap, etc...)Présentation du projet sur http://openmeteodata.org/fr/

A+

[Seziou / Zarge ©]

Bonjour,

C'est un projet très intéressant et bien ambitieux. La communauté météo est toujours preneuse de projet visant à rendre publique gratuitement des données. Votre démarche de présentation est simple et claire !

Cependant, il y a quelque chose que je ne cerne pas. Qu'est ce que cela apportera de plus aux données disponibles sur :

- Infoclimat : http://www.infoclima...rologiques.html (sur lequel on peut aussi télécharger les fichiers en XML dans ce style : http://www.infoclimat.fr/public-api/gfs/xml?_ll=43.94834,4.80892&_auth=ABpQRwB%2BUnAFKFViBnBXflM7BzJdK1RzA39VNl8xAn8CaANjVD9VNFc8VyoALwMzAi9TOwg3CDgDaQdiWigEeABgUDQAYFI1BWxVPwY3V3xTfwdlXWdUcwN%2FVTpfMAJ%2FAmMDY1QxVSlXP1c9AC4DNQIxUzoIKAgvA2EHY1ozBG8Aa1AyAGZSNAVpVTQGKVd8U2UHZ11kVGoDYFVmXzsCaAJoA2ZUMVU2V2lXPQAuAzQCM1MwCDQIMANoB2RaNQR4AHxQTQAQUi0FKlV1BmNXJVN9BzJdPFQ4&_c=f30d5acf5e18de4f029990712316a936 etc.)

- Météociel : http://www.meteociel...deles/index.php

- Wetterzentrale : http://www.wetterzen...n/fsavneur.html

Il faudrait que vous arriviez à apporter un plus par rapport à l'ensemble de ces sites.

Bon courage dans votre projet en tout cas

[Fred59_]

Je trouve ça bien comme initiative. Malheureusement dans le monde météo, on ne fait pas tout à fait ce que l'on veut des données météo, il est souvent impossible légalement de les redistribuer à l'état brut (c'est le cas des données de MF notamment).

Ça rejoint aussi un peu ce projet : http://openweatherma...ermap.org/ qui se rapproche d'un de nos projets

[nico parapente]

Qu'est ce que cela apportera de plus aux données disponibles sur infoclimat/météociel/wetterzentrale

Là, on parle d'avoir accès à la matière première. Des données brutes type en sortie du modèle. Donc pas des cartes déjà toute faites. Ça permets de faire tes propres cartes, selon tes propres envies/besoins.

Un autre aspect très important est la mutualisation des moyens. Actuellement, Météociel a son WRF, Infoclimat à son WRF, Windguru a son WRF, Météorologic, Kéraunos, etc... Donc en gros, au moins une centaines de personnes qui font tourner des WRF en europe. Et comme à chaque fois ils font ça tout seuls, ils n'ont pas de gros moyens. Ca limite vachement en résolution et en temps de calcul.

Donc au lieu de faire chacun dans son coin, l'idée c'est de faire une infrastructure commune.

Avec ça, on peut imaginer dans le futur aller sur un WRF déterministe sur l'europe, à 2km, qui tournerait en 1h...

Et puis le temps restant permettrait de tester différentes options d'initialisation ou physiques pour faire un "ensemble".

[Seziou / Zarge ©]

Je trouve ça bien comme initiative. Malheureusement dans le monde météo, on ne fait pas tout à fait ce que l'on veut des données météo, il est souvent impossible légalement de les redistribuer à l'état brut (c'est le cas des données de MF notamment).

Ça rejoint aussi un peu ce projet : http://openweatherma...ermap.org/ qui se rapproche d'un de nos projets

C'est vrai qu'il y a le difficulté du côté de Météo-France qui, à mon avis, ne permettra jamais la redistribution des données sous peine d'un manque à gagner. C'est là le plus dur de l'histoire !

[Fred59_]

Là, on parle d'avoir accès à la matière première. Des données brutes type en sortie du modèle. Donc pas des cartes déjà toute faites. Ça permets de faire tes propres cartes, selon tes propres envies/besoins.

Un autre aspect très important est la mutualisation des moyens. Actuellement, Météociel a son WRF, Infoclimat à son WRF, Windguru a son WRF, Météorologic, Kéraunos, etc... Donc en gros, au moins une centaines de personnes qui font tourner des WRF en europe. Et comme à chaque fois ils font ça tout seuls, ils n'ont pas de gros moyens. Ca limite vachement en résolution et en temps de calcul.

Donc au lieu de faire chacun dans son coin, l'idée c'est de faire une infrastructure commune.

Avec ça, on peut imaginer dans le futur aller sur un WRF déterministe sur l'europe, à 2km, qui tournerait en 1h...

Et puis le temps restant permettrait de tester différentes options d'initialisation ou physiques pour faire un "ensemble".

Tu es dans le vrai. Malheureusement chaque site a un peu ses spécificités, et ne souhaite pas collaborer et travaille de son côté...

Peut-être votre vision associative des choses (contrairement à Météociel, Keraunos, Windguru et Keraunos qui sont des sociétés, pour Meteorologic je ne sais pas) peut permettre de s'associer plus facilement

Pour ce qui est du WRF (on devrait y travailler prochainement aussi ), c'est pas forcément mal d'en avoir plusieurs : ils ne fournissent pas les mêmes résultats, dépendent de leur configuration, et sont donc complémentaires. Par contre on assiste effectivement à une prolifération de "WRF régionaux", et le souci du WRF, c'est qu'il ne faut pas trop réduire son domaine...

[nico parapente]

Malheureusement dans le monde météo, on ne fait pas tout à fait ce que l'on veut des données météo, il est souvent impossible légalement de les redistribuer à l'état brut (c'est le cas des données de MF notamment).

Justement, c'est ça le fond du problème.

Donc là on va commencer par faire les meilleures prévis possibles avec ce qui est dispo, à savoir NOAA. Et ensuite, on lance le débat sur l'accès aux données de Météo France / ECMWF.

[Seziou / Zarge ©]

Là, on parle d'avoir accès à la matière première. Des données brutes type en sortie du modèle. Donc pas des cartes déjà toute faites. Ça permets de faire tes propres cartes, selon tes propres envies/besoins.

Un autre aspect très important est la mutualisation des moyens. Actuellement, Météociel a son WRF, Infoclimat à son WRF, Windguru a son WRF, Météorologic, Kéraunos, etc... Donc en gros, au moins une centaines de personnes qui font tourner des WRF en europe. Et comme à chaque fois ils font ça tout seuls, ils n'ont pas de gros moyens. Ca limite vachement en résolution et en temps de calcul.

Donc au lieu de faire chacun dans son coin, l'idée c'est de faire une infrastructure commune.

Avec ça, on peut imaginer dans le futur aller sur un WRF déterministe sur l'europe, à 2km, qui tournerait en 1h...

Et puis le temps restant permettrait de tester différentes options d'initialisation ou physiques pour faire un "ensemble".

Un mariage Keraunos+Météociel+Infoclimat+etc serait une très bonne idée pour faire tourner les modèles. Mais est-ce vraiment envisageable ? Est-ce que chaque structure à les mêmes moyens à placer dans les modèles ? Qui aura la responsabilité des serveurs ? Les strucutres sont totalement différentes administrativement parlant (association, société, site web gratuit au financement publicitaire etc.)...

Par contre les données brutes sorties du modèle, je crois (Fred me contredira peu-être) que Infoclimat les propose pour GFS puis d'autres modèles prochainement.

Il faut savoir que votre projet est très ambitieux, va falloir s'accrocher ! /emoticons/wink@2x.png 2x" width="20" height="20">

[nico parapente]

Tu es dans le vrai. Malheureusement chaque site a un peu ses spécificités, et ne souhaite pas collaborer et travaille de son côté...

Peut-être votre vision associative des choses (contrairement à Météociel, Keraunos, Windguru et Keraunos qui sont des sociétés, pour Meteorologic je ne sais pas) peut permettre de s'associer plus facilement

Maintenant, on est là pour casser la glace, et avec de gros moyens.

J'ai entamé une discussion avec windguru, pour voir avec eux comment ça pouvait profiter à leur buissness model. Ils ont l'air interessé. Je pense que les autres suivrons.

Un mariage Keraunos+Météociel+Infoclimat+etc serait une très bonne idée pour faire tourner les modèles. Mais est-ce vraiment envisageable ? Est-ce que chaque structure à les mêmes moyens à placer dans les modèles ? Qui aura la responsabilité des serveurs ? Les strucutres sont totalement différentes administrativement parlant (association, société, site web gratuit au financement publicitaire etc.)...

Notre politique c'est : On gère la machine. On vous mets les données à dispo. On vous demande rien, mais si vous voulez aider au fonctionnement ou à avoir des meilleures prévis, vous pouvez.

[Seziou / Zarge ©]

Notre politique c'est : On gère la machine. On vous mets les données à dispo. On vous demande rien, mais si vous voulez aider au fonctionnement ou à avoir des meilleures prévis, vous pouvez.

Mmmmm, une unification de force de tous les acteurs de la météo pour avoir le meilleur serveur possible. Utopique ou réalisable ?

That's the question.

On va donc lancer la discussion sur le forum !

[Fred59_]

Mmmmm, une unification de force de tous les acteurs de la météo pour avoir le meilleur serveur possible. Utopique ou réalisable ?

That's the question.

On va donc lancer la discussion sur le forum !

Quand on voit le nombre de sites météo commerciaux qui proposent de la prévi brute GFS (et uniquement ça) sur des sites bourrés de pub, à mon avis, utopique ! Il suffit de taper "météo" sur Google pour s'en rendre compte. Même si évidemment, le but ici est bien différent et vise plus le monde des passionnés que le grand public.

Quand à obtenir des données d'ECMWF je vous souhaite bien du courage sachant qu'ils vendent ça 36.000€ par an ! Mais j'en conviens, la politique d'ouverture des données en Europe est un peu différente d'en outre-Atlantique... !

[nico parapente]

Mmmmm, une unification de force de tous les acteurs de la météo pour avoir le meilleur serveur possible. Utopique ou réalisable ?

That's the question.

On va donc lancer la discussion sur le forum !

Je reconnais que c'est assez ambitieux.

Ce que je vois c'est :

• Ça fait un an que je bosse à plein temps la dessus, bénévolement, et le projet est bien préparé.
• On a déjà des partenariats solides, et même pas des gens du monde météo.
• L'Open Data, c'est super à la mode, donc ça facilite les demandes de sponsoring.
• On commence à avoir des discussions interessantes avec des labos universitaires.
• La météo, c'est lié à tout. En donc ça intéresse potentiellement tout le monde.
• Pas mal de monde est excédé du système MF et ECOMET.

[nico parapente]

but ici est bien différent et vise plus le monde des passionnés que le grand public.

Et aussi les pros. C'est eux qui vont financer. Exemple : Une startup spécialisée dans l'alerte météo pour les agriculteurs ou le BTP ne peut pas s'offrir les données Météo France dès le départ...

Quand à obtenir des données d'ECMWF je vous souhaite bien du courage sachant qu'ils vendent ça 36.000€ par an !

36.000€, c'est rien. Quand j'ai demandé, c'était au minimum 80 000€ HT + une somme à 4 zéros de "frais de mise à disposition".

Mais j'en conviens, la politique d'ouverture des données en Europe est un peu différente d'en outre-Atlantique... !

Et justement, à nous de faire la guerre pour que ça change.

Démonstration rapide :

- US : modèle données à dispo gratuitement, financement des services météo par l'impôt aux sociétés. 17% de croissance par an pour les entreprises météo. Budget de la NOAA : ~2 milliards de dollars. Influence de la météo dans l'économie américaine ~400 milliards de dollars.

- Europe/MF : Obligé de développer une activité commerciale pour réduire la subvention de l'état. Vente des données à un prix prohibitoire. Croissance industrie météo en europe : 1,2%. Revenus commerciaux MF en 2011 : 10% du budget (20M€), dont la moitié audiotel+pub sur meteo.fr. Donc revenus prestations pro, tout confondu : 10M€. C'est que dalle. La part des données là dedans est négligeable.

On bloque totalement l'industrie de la météo, pour économiser 10M€ ?! Le prix d'un gros rond point ?... Alors que tous les experts s'accordent à dire que les services météo rapportent beaucoup plus que ce qu'ils coûtent.

Donc l'idée, c'est de lancer le débat politique, en espérant que la logique l'emporte.

Faut que je retrouve toutes les références. En attendant, voir http://www.primet.org/file/EU%20PSI%20Working%20Groups/PSI%20in%20European%20Meteorology%20-%20an%20unfulfilled%20potential%20distribution%20copy.pdf

Donc maintenant, faut lancer le débat.

[nico parapente]

Quand on voit le nombre de sites météo commerciaux qui proposent de la prévi brute GFS (et uniquement ça) sur des sites bourrés de pub, à mon avis, utopique !

Orange a bien son encycopédie pompée sur wikipédia et bourrée de pub.

C'est pas pour ça que wikipédia est en difficulté.

[nico parapente]

J'ai fait un petit script pour ceux qui veulent rigoler :

http://openmeteodata.org/counter.php

[Meteo-Normandie]

Cette discussion est très intéressante, bien que loin des préoccupations de Mme Michu, cela risque d'attirer que les initiés /emoticons/wink@2x.png 2x" width="20" height="20">

Le projet a l'air murement réfléchi, j'aurais une remarque concernant les professionnels. Sont-ils prêts à confier à un tiers leur coeur de métier sans en avoir la main dessus? Auraient-ils un statut spécifique dans l'asso (membre d'honneur etc)? Qu'en serait-ils si c'etait les pros contributeurs qui au final, tireraient les ficelles de l'asso au travers de leur statut specifique de contributeur? => retour a la case départ?

Quand Orange utilise Wikipedia, si Wikipedia ferme demain Orange fermera l'encyclopédie mais ne mettra pas la clé sous la porte. Par contre, si OpenMeteoData ferme demain (imaginons au pire un procés avec un organisme national, qui se passe mal) quid pour les pros qui n'auraient plus de données du jour au lendemain? C'est là qu'il va falloir une sacrée opération séduction auprès des pros.

Lorsqu'un logiciel est open source, on a le logiciel + les sources chez soit. Si la société editrice met la clé sous la porte, on a quand meme le logiciel et on peut même le faire évoluer (fork). Lorsque des données "statiques" sont open sources (ex: liste de departements, villes, hotels localisés etc...) on posséde les données, le site peut fermer ce n'est pas un probleme.

Mais lorsqu'il s'agit de données réactualisées regulierement ont est vraiment tributaire du fournisseur. Lorsque le fournisseur s'appelle Google Maps ce n'est pas un probleme (quoi que...) ou encors la NOAA ou tout autre site mega connu. Mais s'agissant de openmeteodata il faudra etre solide, un minimum de pannes, avoir une api qui ne change pas tous les 15 du mois, une clarté et une disponibilité auprès de la communauté des développeurs, un discours clair, bref il faudra faire ses preuves dès le départ pour que le projet ne tombe pas en désuétude. J'ai vu par exemple un site international, Geo... je ne me souviens plus du nom, au début totalement libre. Il fournissait une api de localisation/reverse localisation, il y avait les lacs, les forets etc bref c'etait genial. Victime de son succès ils ont dû rendre l'api lente pour les comptes gratuits et faire un systeme premium payant, ca a fait du mal à eux et à ceux qui utilisaient l'api...

Enfin juste une petite remarque. Il y a "Open Source" et "Open Source" de nos jours dès qu'un logiciel ou site partage un fichier xml il se dit "Open Source". Il vaudrait mieux comparer les licences plutot que de dire "Open Source" . Comparer Infoclimat, Meteociel ou Wetterzentrale à Openmeteodata en disant que c'est pareil ne me semble pas exactement vrai car c'est comparer des licences où l'usage des données est limité et restreint (cas d'utilisation, nombre d'appels etc...) à la licence deOpenmeteodata qui elle serait réellement libre et non restrictive /emoticons/wink@2x.png 2x" width="20" height="20"> Mais ça, c'est un autre débat...

[lambrosx]

Je prends le train en cours, j'adore ce genre d'idées et je suis d'accord pour exprimer cette incompréhension de devoir payer pour obtenir des résultats qu'on a déjà financé avec nos impôts! Les données devraient être libres de droit d'autant plus si on est une association ou un particulier passionné.

J'ai juste une petite remarque sur la partie technique. Plutôt qu'obligatoirement vouloir tout centraliser sur une super bécane, pourquoi pas élargir l'idée sur une configuration d'architecture distribuée un peu comme le ferait seti@home (pour ceux qui connaissent). Qu'on soit un particulier, une société avec un super calculateur ou autre, on pourrait récupérer une partie des données brutes et lancer les calculs sur ces mêmes données. Il n'y aurait alors pas besoin du plus gros supercalculateurs pour une puissance équivalente égalée voir dépassée... C'est aussi dans l'air du temps. Il y a des projets équivalents pour la recherche sur le cancer...

[nico parapente]

Plutôt qu'obligatoirement vouloir tout centraliser sur une super bécane, pourquoi pas élargir l'idée sur une configuration d'architecture distribuée un peu comme le ferait seti@home

Parce que ça n'est pas possible pour cet usage là.

Le modèle à besoin de savoir tout ce qui se passe à coté. Du coup on peut pas découper le boulot sans abimer la qualité des prévis.

Pour donner une idée, il y a téllement de communications entre les différentes machine du calculateur, qu'il faut utiliser un réseau ultra performant spécial (infiniband, entre 10 et 40 GB/sec, quelques microsecondes de latence). Une connexion etherget gigabit est à la rue dès que tu as plus de 2 machines. Je te laisse imaginer çe que ça donnerais via un l'ADSL perso.

[lambrosx]

Parce que ça n'est pas possible pour cet usage là.

Le modèle à besoin de savoir tout ce qui se passe à coté. Du coup on peut pas découper le boulot sans abimer la qualité des prévis.

Pour donner une idée, il y a téllement de communications entre les différentes machine du calculateur, qu'il faut utiliser un réseau ultra performant spécial (infiniband, entre 10 et 40 GB/sec, quelques microsecondes de latence). Une connexion etherget gigabit est à la rue dès que tu as plus de 2 machines. Je te laisse imaginer çe que ça donnerais via un l'ADSL perso.

Dans l'idée ou le découpage est impossible, ca se comprend alors aisément. Dommage en tout cas, j'aurais été ravi d'y coller une machine ou deux! /emoticons/smile@2x.png 2x" width="20" height="20">

[nico parapente]

Si des personnes veulent aider, voila la liste des choses à faire du moment : http://wiki.openmeteodata.org/wiki/Todo_list

[Pan]

.

Modifié 26 août 2023 par Pansa

[Cotissois 31]

Donc au lieu de faire chacun dans son coin, l'idée c'est de faire une infrastructure commune.

Avec ça, on peut imaginer dans le futur aller sur un WRF déterministe sur l'europe, à 2km, qui tournerait en 1h..

C'est une expérience intéressante, mais il faut y voir simplement un aspect éducatif.

Une telle stratégie n'a pas de raison de donner des résultats meilleurs qu'un WRF France...

Je soutiens le problème que vous soulevez sur les données météo générales, mais niveaux modèles je ne vois pas trop de problème tant que GFS est en accès libre.

Le jour où GFS sera "fermé", on sera de toute façon coincé car on ne pourra pas faire tourner WRF.

Le jour où GFS ferme, on ne pourra que regarder des champs principaux sur d'autres modèles.

On peut dire beaucoup de choses avec des champs principaux (cf ce forum) mais on ne peut pas faire de radiosondages, des coupes verticales...

[Pan]

.

Modifié 26 août 2023 par Pansa

[Cotissois 31]

Salut V, tu imagines sérieusement une association faire le bilan des observations nécessaires, les trouver sous le bon format, et surtout coder l'assimilation de données ? Sur PC en plus ?

[Pan]

.

Modifié 26 août 2023 par Pansa