Récupérer données localisations impacts de foudre

[theperk]

Dans le cadre d'un projet Dataforgood, pour l'association Pyronear (détection de feux de forêts), je recherche un moyen de récupérer (via API si possible) les données de localisations des impacts de foudre (temps réel et archive sur les 5 derniers jours).

Par exemple pour créer la carte du site d'Infoclimat : https://www.infoclimat.fr/fr/cartes/foudre/france/temps-reel , d'où proviennent les données de localisation des impacts ? Comment les récupérer ?

 

Ou sinon, connaissez-vous une API provenant d'un autre site ? (pour Blitzortung par exemple, les données de localisation ne semblent être à disposition que des contributeurs).

 

Merci

 

[quantum]

@theperk

 

Le 07/02/2024 à 16:50, theperk a dit :

Par exemple pour créer la carte du site d'Infoclimat : https://www.infoclimat.fr/fr/cartes/foudre/france/temps-reel , d'où proviennent les données de localisation des impacts ? Comment les récupérer ?

Je pense que cette carte vient des données blitzortung.org . Tu peux comparer cette carte avec celle du site https://www.lightningmaps.org qui utilise aussi les données du réseau blitzortung.org.

A voir avec le développeur du site infoclimat.fr pour savoir qui leur fournit leurs données.

@Fred59_ et @Naej  Est-ce que l'un d'entre vous peut répondre sur ce point ?

 

 

Le 07/02/2024 à 16:50, theperk a dit :

Ou sinon, connaissez-vous une API provenant d'un autre site ? (pour Blitzortung par exemple, les données de localisation ne semblent être à disposition que des contributeurs).

Ceux qui possèdent une station blitzortung peuvent récupérer les données auprès du site blitzortung.org grâce a leur compte personnel pour faire fonctionner un site web avec un "radar" centré sur leur station.

Le logiciel pour ce type de site web est : https://github.com/tobiasv/MyBlitzortung/blob/master/config.php.example

 

Sinon, regardes si tu peux toujours utiliser cette méthode : https://www.f4htb.fr/2017/05/15/script-pour-signalisation-dimpacts-de-foudre-depuis-blitzortung-org/

 

Si tu ne peux pas obtenir de prêt de compte blitzortung.org et si l'usage des données que tu en feras est NON COMMERCIALE (pas de gain d'argent) alors tu peux essayer d'acheter une station red ou blue d'occasion afin d'avoir un compte qui te permettra ensuite de récupérer les données blitzortung.

Regardes ce forum en français pour voir s'il y a des stations d'occasion à vendre ou pour faire une proposition d'achat de station d'occasion : https://www.blitzortung.fr/   ou celui plus international ici : https://www.blitzortung.org/fr/forum.php

 

Sinon j'avais acheté fin 2018 une station à Thomas.

Tu peux le contacter pour savoir s'il fabrique toujours des stations blitzortung RED à la demande (montée, assemblée, testée et prête à l'emploi) via les informations ici :

* formulaire de contact : https://www.vintech-technology.com/fr/contact

* téléphone : https://www.vintech-technology.com/fr/mentions_legales

Bien préciser ton objectif d'aide à la collectivité par la détection de feux de forets lors de ta demande.

S'il en fabrique toujours, alors tu pourras lui demander un devis.

 

ATTENTION - l'usage commercial des données Blitzortung est formellement interdit :

https://www.blitzortung.org/Compendium/Hardware/Documentation_20_6.html

extrait :

"Commercial use of data from Blitzortung.org is prohibited, even by the users that send data to our servers."

 

En espérant que ces informations te seront utiles.

 

 

 

[Naej]

Je confirme qu’il y a une histoire de blitzortung, mais j’ai jamais regardé en détails comment c’était fait. Je ne sais pas non plus si j’ai le droit ni si on veut que je déploie une API pour récupérer les archives qu’on a stockées

[quantum]

@theperk

 

En ayant un compte associé à une station Blitzortung, tu peux télécharger des données en définissant une zone géographique à  https://www.blitzortung.org/en/archive_data.php

Le serveur renvoie des liens avec 4 types de résultats :

- Comma Separated Values (CSV .gz) (1.8 KB)
- JavaScript Object Notation (JSON .gz) (161.0 KB)
- OpenStreetMap (HTML .gz) (2.5 KB)
- Google Earth (KMZ .gz) (20 Byte)

 

Plus d'informations ici sur comment récupérer les données blitzortung:

https://www.blitzortung.org/en/compendium.php

 

Le serveur de données avec quelques données publiques :

https://data.blitzortung.org/Data/

 

 

Modifié 13 mars par quantum

[theperk]

Merci @quantum pour ces infos !

 

C'est bien ce qui me semblait, toutes les données viennent à chaque fois de Blitzortung : le problème c'est que je ne sais pas ce que l'on peut récupèrer exactement comme info sur chaque éclair.

A-t-on le degré de précision de la localisation ? La nature de l'impact (nuage-sol, intra-nuageux) ? L'intensité électrique ?

 

[quantum]

Il y a 16 heures, Naej a dit :

Je ne sais pas non plus si j’ai le droit ni si on veut que je déploie une API pour récupérer les archives qu’on a stockées

@Naej

 

Pour l'utilisation des données du réseau blitzortung par le site infoclimat.fr, je ne vois pas de problèmes.

Infoclimat.fr ne fait pas un usage commercial des données.

Par contre, il faudrait que tu identifies le compte blitzortung utilisé par infoclimat.fr afin de savoir qui est son ou sa propriétaire et à quelle station du réseau blitzortung il est rattaché.

Soit la station appartient en propre à l'association infoclimat.fr ou soit un des propriétaires français d'une station du réseau blitzortung a prêté son compte blitzortung à l'association infoclimat.fr.

Il faudrait clarifier ce point afin de savoir à qui s'adresser en cas de changement éventuel du mot de passe.

 

Pour moi le site infoclimat.fr respectent les règles ci-dessous. A voir quand même comment les données sont récupérées par infoclimat.fr et respectent les règles (participer au réseau blitzortung en ayant une station et donc le compte associé qui permet de récupérer les données, avoir un serveur intermédiaire ou de cache avec les données blitzortung si on les utilise dans le cadre d'un site web ou application mobile, ne pas récupérer directement de données sur les serveurs de blitzortung par l'application mobile ou le serveur d'applications du site web).

 

ATTENTION - l'usage commercial des données Blitzortung est formellement interdit :

https://www.blitzortung.org/Compendium/Hardware/Documentation_20_6.html

extrait :

"Commercial use of data from Blitzortung.org is prohibited, even by the users that send data to our servers."

 

https://www.blitzortung.org/en/contact.php?PrivacyPolicy=1

extrait :

"It is not allowed to use our lightning data for storm warning systems, for plausibility checks of overvoltage damages, or risk analysis for precautionary protection of high-quality technology, even if the data are not obtained directly from our site but from third-party websites.
...
The use of our raw lightning data is allowed only to the participants of the project or to those we explicitly have allowed it.
...
Our real-time and archived data can also be used for external projects.
   * The project may not represent commercial interests.
   * It must be of general interest for the participants of Blitzortung.org.
   * It must be different from existing projects. Do not just reimplement other projects. Do not setup yet another visualization of online data.
   * All applications that use our data must be freely accessible.
   * The source of the data must be clearly identified.
   * The operator must prevent any possible misuse of the data provided, as far as this is possible.
The applications (web sites, apps, ...) have to retrieve their data from a separate server and not from the servers of Blitzortung.org.
All data remain under the CC-BY-SA 4.0 license. "

 

En cas d'application ou site web commercial, il faut voir avec Météorage : https://www.meteorage.com/fr/services-en-ligne

 

[quantum]

@theperk

 

Il y a 8 heures, theperk a dit :

C'est bien ce qui me semblait, toutes les données viennent à chaque fois de Blitzortung :

 

A ma connaissance, les données pour les éclairs en France ne peuvent venir que de 2 sources : Blitzortung (gratuit) ou Météorage (payant) ( https://www.meteorage.com/fr/services-en-ligne)

 

Le 07/02/2024 à 16:50, theperk a dit :

Dans le cadre d'un projet Dataforgood, pour l'association Pyronear (détection de feux de forêts),

 

https://www.blitzortung.org/en/contact.php?PrivacyPolicy=1

extrait :

"It is not allowed to use our lightning data for storm warning systems, for plausibility checks of overvoltage damages, or risk analysis for precautionary protection of high-quality technology, even if the data are not obtained directly from our site but from third-party websites."

 

L'objectif de détection des feux de forets n'est pas explicitement interdit comme certains usages ci-dessus. Donc à priori pas de problèmes pour utiliser les données blitzortung si l'application mobile ou le site web restera gratuit et non commercial.

 

Il y a 8 heures, theperk a dit :

le problème c'est que je ne sais pas ce que l'on peut récupèrer exactement comme info sur chaque éclair.

A-t-on le degré de précision de la localisation ? La nature de l'impact (nuage-sol, intra-nuageux) ? L'intensité électrique ?

 

A priori, si je ne fais pas erreur, ces informations sont indiquées ici :

 

https://www.blitzortung.org/en/compendium.php

extrait :

"Each variable of the lightning strike files may have the following members.

• time = time stamp in nano seconds
• lat = latitude in degree (decimal)
• lon = longitude in degree (decimal)
• alt = altitude in meter
• pol = polarity, -1 or +1
• mds = maximal deviation span in nano seconds
• mcg = maximal circular gap in degree (for example, 210 degree = the detectors are in a sector of 150 degree from the point of view of the impact position), optional
• status = status, optional
• sig = array of signals"

 

Le type d'éclairs détectés par le réseau blitzortung

https://forum.blitzortung.org/showthread.php?tid=2615&pid=18468#pid18468

extrait:

"First, the Blitzortung website / applications, currently, only display Cloud to Ground lightning strokes....
Earthnetworks / WeatherBug adds what it refers to as "In-Cloud" sferics... which may or may not include 'intra-cloud' or Cloud to Cloud sferics... 
....by design and operation, then, the commercial network will "detect' / 'locate' and display more sferics in a given cell, or area, than Blitzortung will calculate and display."

 

 

Il y a 8 heures, theperk a dit :

A-t-on le degré de précision de la localisation ?

 

Article de chercheurs :

Characteristics of the Blitzortung.org Lightning Location Catalog in Japan
https://www.mdpi.com/2073-4433/14/10/1507
extrait :
" 6. Conclusions
This study conducted a catalog evaluation of Blitzortung in Japan. The results suggest that when an area is surrounded by receiving stations, such as the Kanto area, the latest detection efficiency of Blitzortung for CG strokes is roughly 90%. In terms of lightning location accuracy, Blitzortung can determine the location accuracy of a mode of 2 km, a mean of 5.3 km, and a median of 2.9 km relative to JLDN. Compared with the mean location accuracy of JLDN, the latest mean location accuracy of Blitzortung was roughly inferred at up to 5.6 km. We conclude that Blitzortung can be used for a rough discussion of scientific research only on summer lightning, although it does not reach commercial use value."

 

=> Si on se base sur la carte https://www.lightningmaps.org/#m=oss;t=3;s=0;o=0;b=0.00;ts=0;y=-13.3255;x=50.6689;z=4;d=9;dl=3;dc=1;  et en se positionnant sur le Japon, la partie autour de Tokyo est en bleu ou verte et le reste du Japon en rouge pour la précision du réseau blitzortung.

L'explication pour les couleurs est donnée ici : https://www.lightningmaps.org/extra/coverage?lang=fr

 

https://www.wxforum.net/index.php?PHPSESSID=rkhfmal5ervbu5kf7sd3gb3b9n&topic=26889.msg259073#msg259073

extrait :

"Their "position accuracy" vary between 0.1 km (0.06 mi) and 12 km (7.5 mi), beeing usually in 0.1-0.5 km (0.06-0.31 mi) range. "

 

 

https://en.wikipedia.org/wiki/Blitzortung

extrait :

"Usually, significantly more than three receivers are involved, which improves the accuracy."

 

Si tu veux améliorer la précision, il faut 3 à 4 stations blitzortung très proches les unes des autres comme au Kenya ou à l'Ile de la Réunion. Voir cette carte : https://www.lightningmaps.org/#m=oss;t=3;s=0;o=0;b=0.00;ts=0;y=-13.3255;x=50.6689;z=4;d=9;dl=3;dc=1;

Ces stations devront être éloignées de sources de perturbations électriques (transformateurs électriques EDF ou d'industries, fils de cloture électrifiés pour garder des vaches, alimentations électriques à découpage mal filtrées, etc...)

En Allemagne, avec un réseau de stations blitzortung très dense, j'avais vu un post sur un forum où les impacts de foudre étaient proches d'un moulin (avec plein de points d'impacts sur la carte autour de celui-ci) et dont la précision allait vers le maximum théorique soit 300m sauf erreur de ma part (précision limité je crois entre autre par les horloges des satellites GPS ou des récepteurs GPS à 1 millionnième de seconde soit vitesse de la lumière 300 000 km/s divisé par 1 000 000) .

https://www.blitzortung.org/en/cover_your_area.php

extrait : "With the help of GPS receivers, the arrival times of the signals are registered with microsecond precision and sent over the Internet to our central processing servers."

 

En France, sous La Loire et en particulier dans le sud-ouest, le réseau de stations blitzortung n'est pas assez dense (zone rouge) et donc n'atteint pas la précision qu'il peut atteindre en Allemagne ou dans certaines parties du Japon (zone bleu foncé voire verte). Pour la couleur des zones, voir cette carte : https://www.lightningmaps.org/#m=oss;t=3;s=0;o=0;b=0.00;ts=0;y=46.0122;x=14.8096;z=4;d=7;dl=3;dc=1;

L'explication pour les couleurs est donnée ici : https://www.lightningmaps.org/extra/coverage?lang=fr

Donc comme dit plus haut, il faut 3 à 4 stations blitzortung très proches les unes dans le sud de la France comme au Kenya ou à l'Ile de la Réunion pour améliorer la précision du réseau blitzortung et le passer de la couleur rouge à bleue.

La couleur rouge c'est : "Zones couvertes uniquement par les stations lointaines. La précision n'est pas très bonne et nous n'y captons qu'environ 10 à 20 % de toutes les frappes (en particulier celles à haute puissance). C’est déjà très bien, mais pour une précision et une efficacité de détection plus élevées, davantage de stations sont nécessaires dans ces zones."

Est-ce que cela sera suffisant pour permettre le bon fonctionnement d'une application de détection de feu de forêts ?

Peut-être faire une maquette pour tester le concept et voir si cela apporte un plus par rapport à la situation actuelle.

 

 

@theperk

Sur la page https://pyronear.org// , il est indiqué que vous avez un partenariat avec le SDIS (pompiers de l'Ardèche).

Ces derniers ont-ils un abonnement avec Météorages pour les aider dans la lutte contre les incendies ou se contentent-ils d'informations gratuites (bulletin foudre de Météorages ou Météo France ou blitzortung.org ) ?

 

 

Rappel pour l'usage des données blitzortung avec informations complémentaires à celles ci-dessus :

https://www.blitzortung.org/en/compendium.php

extrait :
"The participants can use these links for presenting own maps or statistical evaluations on their own web sites. It is also allowed to collect the data to create a separate private archive and to provide access by other users to maps and statistical informations created from the own archive.
Please note: The authors of the provided data are "all" participants of the network. It is not the intention of the project to publish raw data, to provide access to raw data, or to market raw data to others. This removes a main motivation to join the project and leads to a disintegration of the network. Please note also the privacy policies if using informations from "stations.json.gz". A commercial use of data from Blitzortung.org is prohibited. "

 

Pas de participation permanente au réseau blitzortung, pas de fourniture de données.

https://www.blitzortung.org/en/cover_your_area.php

extrait :

"If a station stops pooling its data, the server stops providing the access to the raw data for the user of that station."

 

 

Modifié 14 mars par quantum
ajout infos complémentaires

[theperk]

Super, merci pour toutes ces infos précises !

 

Nous réflichissons à installer au moins une station pour le réseau Blitzortung et nous sommes aussi en discussion avec Météorage pour avoir accès à leurs données.