Synchros d'horloges, fuseaux horaires et changement d'heure ét

[Mitrale]

La publication des données de ma station vers le réseau CWOP (Citizen Weather Observer Program), se fait par l'intermédiaire de paquets APRS (Automatic Position Reporting System) envoyés toutes les 10 minutes vers leurs serveurs par un "profil internet" WeatherLink.

On retrouve la trace de ces paquets dans le flot de trames TCP/IP envoyées par mon ordi ainsi que dans le fichier download.log de WeatherLink.

Trame réseau montrant le paquet APRS envoyé le 10/03/2015 à 13h20 (heure locale):

Fichier download.log de WeatherLink montrant ce même paquet APRS:

Détails de ce paquet APRS:

"EW5506>APRS,TCPIP*:@101220z4741.07N/00723.75E_347/002g006t057r000p000P000h56b10256L714.DsVP"

"EW5506 : Station Id

>APRS,TCPIP* : Message transmission path

@ : Ce qui suit est l "heure de relevé et la position"

10 : - 10ème jour du mois

1220z : - 12h20 heure UTC/GMT

4741.07N/00723.75E : - Coordonnées de la station 47°41.07N/007°23.75E

_ : Ce qui suit est un "rapport météo"

347/002 : - Vent 347° à 2 mph

g006 : - Gust 6mph (rafale)

t057 : - Temperature 57°F (13,88°C)

r000 : - Rain/1h 0In

p000 : - Rain/24h 0In

P000 : - Rain/00h00 0In

h56 : - Humidity 56%

b10256 : - Barometric pressure 1025,6mb

L714 : - Luminosity 714W/m²

.DsVP : - Readings taken by a Vantage Pro, Vantage Pro 2 or Vantage Vue weather station

Les données sont stockées et affichées dans les graphes du site CWOP en utilisant l'heure au format UTC (le trait rouge matérialise 13h00 UTC (ou 14h00 heure locale)

Pour résumer le transfert des données vers le réseau CWOP à l'heure d'hiver:

- La console VP2 enregistre et envoie ses "archive data" à WL en heure locale

- WL envoie les données par l'intermédiaire de paquet APRS où l'heure est au format UTC

- Les données sont enregistrées et affichées sur leur site aux mêmes heures UTC

à suivre... pour l'heure d'été!

[Mitrale]

Voili voiloo, je vais terminer ma petite ronde hivernale des sites météo par celui d'InfoClimat! La solution proposée par les administrateurs du site consiste en l'implémentation d'un fichier "template" StatIC.htx interprété toutes les 10 minutes via un profil "Internet Settings" de WeatherLink ce pour produire un fichier StatIC.txt copié dans la foulée sur leurs serveurs via FTP. /user/1052-sebaas/'>Sebaas me corrigera et me complétera si nécessaire...

Extrait du fichier StatIC.htx:

L'heure des relevés des mesures est, comme l'indique le fichier StatIC.htx, au format UTC/GMT.

Extrait du fichier StatIC.txt (relevé à 16h30 heure locale):

La température extérieure de 11,6°C relevée à 16h30 est enregistrée comme prévue dans le fichier à 15:30 UTC. Cependant sur le site InfoClimat, cette même mesure se retrouve affichée dans leurs tables et graphes non pas 15h30 mais à 16h30 locale comme le montre les copies d'écran ci-dessous:

Extrait de la table et graphe InfoClimat:

Il semblerait donc que les heures UTC des relevés soient converties en heures locales (ici heures d'hiver) comme le confirme aussi l'info-bulle "Heure réelle d'émission: 11/03/2015 15h30 UTC"

Pour résumer le transfert des données vers le réseau InfoClimat à l'heure d'hiver:

- La console VP2 enregistre et envoie ses "archive data" à WL en heure locale

- WL envoie les données à IC par l'intermédiaire d'un fichier StatIC.txt où l'heure est au format UTC

- Les données sont cependant converties et affichées sur leur site en heure locale...

à suivre... pour l'heure d'été!

[tudgur]

Il semblerait donc que les heures UTC des relevés soient converties en heures locales (ici heures d'hiver) comme le confirme aussi l'info-bulle "Heure réelle d'émission: 11/03/2015 15h30 UTC"

Il se passe la même chose si la console et le PC sont en heure UTC...

Mon fichier static.txt est généré à partir de Wswin.

[Mitrale]

Il se passe la même chose si la console et le PC sont en heure UTC...

Mon fichier static.txt est généré à partir de Wswin.

Si j'ai bien compris, c'est une constatation. Que veux-tu aussi dire par "Mon fichier static.txt est généré à partir de Wswin."? Je ne connais pas cette appli...

Je vais essayer de reconstituer ton flux de données... avec la compréhension que j'en ai pour l'instant.

Si ta console est en heure UTC, cette dernière devient alors "son" heure locale, comme si elle était installée au Royaume-Uni. Vu qu'elle transmet ses données en heure locale, ses données arriveraient alors transmisses à ton PC en heure UTC. L'intervalle d’échantillonnage des mesures correspond à l "archive interval" défini pour la console.

Ce que je ne sais pas, c'est quelle est la source de données pour renseigner la balise HTML du ficher StatIC.htx. Est-ce le fichier WLK (où les données dépendent de l'intervalle d’échantillonnage) ou la réponse à une commande (en temps réel) envoyée à la console?

- Dans le premier cas, serait calculée à partir des "timestamps" du fichier WLK +/- un offset dépendant du fuseau horaire dans lequel est configuré le PC. Dans ce cas là, un "archive interval" de 1 heure ne devrait pas permettre de transmettre les données à InfoClimat à moins d'une heure d'intervalle...

- Dans le deuxième cas, ce serait en réponse à une commande (LOOP1 ?) envoyée à la console et à laquelle le PC ajouterait son "timestamp" +/- un offset dépendant du fuseau horaire dans lequel est configuré le PC, les paquets LOOP envoyés par la console ne comportant pas de "timestamp".

Perso j'opterai intuitivement pour l'option 1... pour la vérifier, je propose la manip suivante:

- Passer l "archive interval" de ma console de 5 à 60 minutes et vérifier cet intervalle dans les fichiers WLK et downld02.txt (configuré dans mon profile IC)

- Laisser le profil internet InfoClimat de WL à 10 minutes

- Désactiver tous les autres profils et ne démarrer aucune autre vue. WeatherUnderground envoie à la consoles des commandes LOOP1 et la vue Bulletin des commandes LOOP30...

- Enregistrer le trafic entre la console et l'ordi sur une heure au moins...

A priori les mesures dans les tables et vues InfoClimat devraient passer de 10 minutes à 1 heure... à suivre! A moins qu'un esprit plus clairvoyant ou dans le secret des dieux ait déjà la réponse...

[tudgur]

Mon fichier static.txt n'a strictement rien à voir avec WeatherLink et les fichiers .wlk !

Tu ne connais pas Wswin32 ????

Nous sommes pourtant très nombreux à l'utiliser et il a été cité dans le sujet présent...

Ce logiciel pilote directement ma console !

A partir de tags, il crée des fichiers "customs".

Voici le fichier qui permet de créer static.txt :

# INFORMATIONS# INFOCLIMAT.FR / Type VWS3 / Avril 2012 / V1.0staticmode=vws3/rv1.0id_station=00098version=Wswin32%curminmaxhour_on%date_releve=%ws_date%heure_releve_utc=%ws_hour%h%ws_minute%# PARAMETRES TEMPS REEL %unit_off%temperature=%curval[2]%pression=%curval[33]%pression_tendance_txt=%unit_off%%ws_baro3h%humidite=%curval[18]%point_de_rosee=%curval[43]%vent_dir_moy=%curval[36]%vent=%curval[35]%vent_moyen=%avg10minwind%vent_rafales_1h=%curminmaxhour[2,1,45]%pluie_intensite=%rainrate%pluie_sur_1h=%rain1h%pluie_cumul=%rain24h%pluie_jour=%rainday%pluie_24h =%curminmaxhour[4,24,34]%ensoleillement=%sunday_d%uv=--radiations_solaires_wlk=%ws_calc[-]=%curval[42]%~17~0%tn_1h=%curminmaxhour[1,1,6]%tx_1h=%curminmaxhour[2,1,7]%tn_deg_c=%curminmaxhour[1,0,6]%tx_deg_c=%curminmaxhour[2,0,7]%temperature_10_cm=%curval[14]%temperature_10_cm_sous_sol=%curval[13]%hrn_1h=%curminmaxhour[1,1,18]%hrx_1h=%curminmaxhour[2,1,18]%humidite_feuillage=--test_1_raf=%ws_arraygust[5]%test_2_raf=%ws_arraygust[10]%pression_min_mer=%curminmaxhour[1,1,33]%dh_debut_gelee=%ws_lasticedaystart%dh_fin_gelee=%ws_lasticeday%last_temperature=%ws_arraytemp[60]%TSV_H=%vaporpressurcur%hr_history=%ws_arrayhum[60]%%curminmaxhour_off%%ws_delline%

Mon heure de relevé UTC est obtenue par deux tags :

%ws_hour% qui donne l'heure de la console et %ws_minute% qui donne les minutes.

La console étant en heure UTC, ces deux tags affichent donc l'heure UTC.

Je remarque quand même que dans ton fichier, l'heure est au format 16:30 et chez moi 16h30.

Mon fichier static.txt est envoyé toutes les 5 minutes chez mon hébergeur mais statIC ne le "prend" que toutes les 30 minutes alors que pour d'autres c'est toutes les 10 minutes ! Sebaas aurait-il une réponse ?

Si ma console était en heure locale, avec le tag %ws_utc_hour%:%ws_minute2% on arriverait au même résultat: 16:30

Mais ne cherches-tu pas trop de complications ?

StatIC reçoit les données en heure UTC et les affiche en heure locale : où est le problème ?

Je le fais moi-même sur mon site (en php, par l'intermédiaire de l'hébergeur), sans être un pro de l'informatique !

[Mitrale]

Je connais Wswin32 pour en avoir souvent déjà entendu parler sur ce forum mais pas son fonctionnement... je n'ai une station que depuis 8 mois et je n'ai pas encore l'expérience d'autres utilisateurs.

Pour en revenir aux tags Wswin32, sais-tu si l'heure (heure_releve_utc=%ws_hour%h%ws_minute%) ainsi composée, est celle de ton PC ou celle envoyée par ta console? C'est la question que je me pose pour le tag de WeatherLink.

[tudgur]

Pour en revenir aux tags Wswin32, sais-tu si l'heure (heure_releve_utc=%ws_hour%h%ws_minute%) ainsi composée, est celle de ton PC ou celle envoyée par ta console? C'est la question que je me pose pour le tag de WeatherLink.

Bonne question ! A laquelle je ne saurais répondre puisque mon PC et ma console sont en heure UTC...

Il faudrait que je fasse la manip sur un autre PC avec ma deuxième console, mais j'ai d'autres tests en cours.

Entre autre, la mesure de l'ensoleillement avec un pas de 1min vs pas de 5 minutes : la différence serait significative mais c'est hors sujet !

Je vais essayer (en sauvegardant les fichiers en cours).

Edit :

Après copie de tout le répertoire Wswin32.

PC mis en heure locale, donc passage de 10h à 11h.

Je constate qu'il faut aussi mettre Wswin en heure locale, chose que je ne savais plus.

Le PC pourrait donc être en heure locale et Wswin en UTC (par réglage du fuseau horaire)

Mais je laisse la console en UTC.

Voici ce que donnent les tags (extraits de mes fichiers variables.txt et variables.php) :

Un seul tag, %ws_utc_hour% est censé donner l'heure UTC

$tab['time'] = '%ws_time%';$tab['heureUTC'] = '%ws_hour%';$tab['UTC_heure'] = '%ws_utc_hour%';$tab['minute'] = '%ws_minute2%';$tab['heure_utc'] = '%ws_replacestr=:~h~%ws_time%%';

$tab['time'] = '10:10';$tab['heureUTC'] = '10';$tab['UTC_heure'] = '10';$tab['minute'] = '10';$tab['heure_utc'] = '10h10';

Pourtant tous les tags donnent l'heure UTC.

Seule la console est restée en heure UTC : c'est donc elle qui mène la danse !

[tudgur]

Je n'ai plus de connexion Internet jusqu'à lundi après-midi au plus tôt.

Abonnement souscris chez Free hier et ligne coupée par SFR moins de 24h après !!!!

Free pourrait faire parvenir le matos avant de modifier le ligne.

[Mitrale]

Je n'ai plus de connexion Internet jusqu'à lundi après-midi au plus tôt.

Abonnement souscris chez Free hier et ligne coupée par SFR moins de 24h après !

Free pourrait faire parvenir le matos avant de modifier le ligne.

C'est toi qui a résilié l'abo SFR? Normalement c'est Free qui le fait pour toi en temps et en heure...

[jackT]

Seule la console est restée en heure UTC : c'est donc elle qui mène la danse !

Avec Wswin, la console VP2 ne mène pas toujours la danse. Cela dépend de son mode de fonctionnement :

En pilotage direct de la console VP2, et lorsque Wswin récupère les données manquantes au démarrage du logiciel, ces données sont récupérée depuis le datalogger, et l'heure de chaque mesure est bien celle de la console. et c'est bien cette heure là qui sera enregistré dans le fichier .DAT.

Idem en mode surveillance de fichier Weatherlink, l'heure enregistrée dans le fichier surveillé .wlk est aussi l'heure de la console.

Par contre, lorsque Wswin pilote directement la console VP2 et que le logiciel reste en fonctionnement, Wswin récupère en temps réel (au mieux une mesure toutes les 2 ou 3 secondes) les données de la console en utilisant le mode "LOOP". Et comme l'a rappelé Mitrale dans un post ci-dessus, en mode LOOP la console n'envoie pas l'heure associée à chaque mesure temps réel. Et tant que Wswin reste en fonctionnement, aucune donnée du dataloigger ne sera récupérée par le logiciel.

Wswin traite en interne toutes ces mesures temps-réel, et sur la base de ces données temps-réel et à la fréquence choisie par l'utilisateur (paramètre "Enregistrement Intervalle"), Wswin va générer un jeu de données et va l'enregistrer dans le fichier .DAT en associant son heure interne au jeu de données.

La possibilité de régler l'heure Wswin en UTC ou non (indépendamment du réglage de la console ou de celui du PC) prends tout son sens dans ce mode, puisque dans ce cas Wswin ne "connaît" pas l'heure de la console.

[tudgur]

C'est toi qui a résilié l'abo SFR? Normalement c'est Free qui le fait pour toi en temps et en heure...

Pas du tout ! J'attendais de recevoir le matériel avant de résilier...

Du coup, je fais mon RAR aujourd'hui.

De temps en temps, j'arrive à me connecter en WiFi sur la box d'un voisin, à environ 50m, avec SFR WiFi FON !

Avec Wswin, la console VP2 ne mène pas toujours la danse. Cela dépend de son mode de fonctionnement :

Par contre, lorsque Wswin pilote directement la console VP2 et que le logiciel reste en fonctionnement, Wswin récupère en temps réel (au mieux une mesure toutes les 2 ou 3 secondes) les données de la console en utilisant le mode "LOOP".La possibilité de régler l'heure Wswin en UTC ou non (indépendamment du réglage de la console ou de celui du PC) prends tout son sens dans ce mode, puisque dans ce cas Wswin ne "connaît" pas l'heure de la console.

Voilà une info ! Je n'utilise pas ce mode de fonctionnement puisque chez moi Wswin est démarré toutes les 5 minutes.

Pour autant, je laisserai PC et console en UTC puisque cela n'apporte aucun inconvénient, surtout pour un PC qui ne sert que pour la météo !

[Mitrale]

Ce que je ne sais pas, c'est quelle est la source de données pour renseigner la balise HTML du ficher StatIC.htx. Est-ce le fichier WLK (où les données dépendent de l'intervalle d’échantillonnage) ou la réponse à une commande (en temps réel) envoyée à la console?

- Dans le premier cas, serait calculée à partir des "timestamps" du fichier WLK +/- un offset dépendant du fuseau horaire dans lequel est configuré le PC. Dans ce cas là, un "archive interval" de 1 heure ne devrait pas permettre de transmettre les données à InfoClimat à moins d'une heure d'intervalle...

- Dans le deuxième cas, ce serait en réponse à une commande (LOOP1 ?) envoyée à la console et à laquelle le PC ajouterait son "timestamp" +/- un offset dépendant du fuseau horaire dans lequel est configuré le PC, les paquets LOOP envoyés par la console ne comportant pas de "timestamp".

Perso j'opterai intuitivement pour l'option 1... pour la vérifier, je propose la manip suivante:

- Passer l "archive interval" de ma console de 5 à 60 minutes et vérifier cet intervalle dans les fichiers WLK et downld02.txt (configuré dans mon profile IC)

- Laisser le profil internet InfoClimat de WL à 10 minutes

- Désactiver tous les autres profils et ne démarrer aucune autre vue. WeatherUnderground envoie à la consoles des commandes LOOP1 et la vue Bulletin des commandes LOOP30...

- Enregistrer le trafic entre la console et l'ordi sur une heure au moins...

A priori les mesures dans les tables et vues InfoClimat devraient passer de 10 minutes à 1 heure... à suivre! A moins qu'un esprit plus clairvoyant ou dans le secret des dieux ait déjà la réponse...

Ce 12 mars vers 10h30 j'avais:

• Passé l "archive interval" de ma console de 5 à 60 minutes

• Laissé le profil internet InfoClimat de WL à 10 minutes

• Désactivé tous les autres profils ainsi que le module WU (nécessite un redémarrage de WL) et n'ai démarré aucune autre vue.

• Capturé le trafic entre la console et l'ordi jusqu'à 12h10...

L'horloge de mon ordi est resynchronisée toutes les 10 minutes via NetTime http://www.timesynctool.com/ avec un serveur NTP.

Observations:

• Les données arrivent toujours encore toutes les 10 minutes sur le site IC

• Un nouvel enregistrement est ajouté à la position 11h00 dans le fichier downld02.txt

• La capture du trafic entre WL et ma VP2 montre des commandes (marquées ci-dessous "C" envoyées par WL auxquelles la console répond par des réponses (marquées ci-dessous "R")

- Toute les 10 minutes (profil IC réglé à 10 min d'intervalle):

C: LPS 3 2 R: LOOP, LOOP2

C: LOOP 1 R: LOOP

C: GETTIME R: Date et heure locale de la console

C: DMPAFT R: Pas d'archive data sauf à 11h10 où WL reçoit l'archive data de 11h00

- Aux heures entières se rajoute une trame supplémentaire :

C: LOOP 1 R: LOOP

Exemple d'une trace GETTIME à10h40 (heure locale):

10:40:28,884 C: GETTIME

10:40:28,884 R: 1a 27 0a 0c 03 73....... soit 10:39:26 12/03/2015 (voir détail ci-dessous)

1a: 26 secondes

27: 39 minutes

0a: 10 heures

0c: 12ème jour

03: Mars

73: 2015-1900

Exemple d'une trace DMPAFT à 11h10 (heure locale):

11:10:13,558 C: DMPAFT

11:10:13,995 R: 6c 1e 4c 04....... soit 12/03/2015 à 11:00 (voir détail ci-dessous)

6c 1e = 0x1e6c (0001111=15 / 0011=3 / 01100=12) (12/03/2015)

4c 04 = 0x044c ou 1100 (11h00)

Les données envoyées vers IC trouveraient à priori leurs origines dans les séquences (LPS 3 2/LOOP, LOOP2), (LOOP 1/LOOP) et GETTIME. Mais GETTIME répond en heure locale (console) alors que le fichier StatIC.txt contient l'heure au format UTC! D'où vient-elle?

J'entrepris alors 2 nouvelles manips:

- J’avançais de 4 minutes minutes l'heure de ma console en prenant comme référence celle indiquée sur un récepteur DCF77.

DCF77 Console PC Heure modif Heure UTC

de StatIC.txt dans StatIC.txt

-----------------------------------------------------------------------------------------------------

14:30:00 14:30:01 14:30:00 14:30:20 13:30

14:40:00 14:44:21

14:40:00 14:40:22 13:40

On observe que c'est l'heure du PC qui cadence la mise à jour du fichier StatIC.txt. L'heure UTC incluse par WeatherLink dans le fichier StatIC.txt semble être celle (UTC) lue sur l'horloge du PC!

- Je remis alors ma console à l'heure puis avançais celle de mon ordi (après avoir désactivé NetTime), une fois de 5 minutes puis de 10 minutes supplémentaires:

DCF77 Console PC Heure modif Heure UTC

de StaticICt.txt dans StatIC.txt

-----------------------------------------------------------------------------------------------------

14:55:04 14:55:05 15:00:00

15:00:30 14:00

15:25:00 15:25:01 15:40:00

15:40:25 14:40

On observe que c'est toujours l'heure du PC qui cadence la mise à jour du fichier StatIC.txt. L'heure UTC incluse par WeatherLink dans le fichier StatIC.txt semble une nouvelle fois être celle (UTC) lue sur l'horloge du PC! Puis j'ai réactivé NetTime pour remettre mon PC à l'heure...

En conclusion:

L'heure UTC incluse par WeatherLink dans le fichier StatIC.txt serait l'heure UTC lue sur l'horloge du PC!

Je tâcherai aussi de documenter très prochainement ces flux de données dans un diagramme...

[Mitrale]

Faisant suite à ce sujet, je mettrai bientôt en ligne un document d'un peu plus d'une vingtaine de pages. J'aurais cependant souhaité le faire lire avant par 3 ou 4 personnes, des passionnées de ce site et techniciens d'InfoClimat, ce pour relever les points méritant encore des éclaircissements et m'assurer qu'il réponde aux objectifs initialement fixés!

Vous utiliserez de préférence une station Davis VP2 (v3.12) avec WeatherLink (v6.0.3) et publiez vos données vers l'un au-moins de ces 4 sites ou réseaux: WeatherUnderground, CWOP, meteociel.fr et InfoClimat (StatIC).

Merci je bien vouloir me contacter directement par message privé, je vous ferai parvenir alors le document d'ici la fin de la semaine prochaine.

Merci d'avance!

[Mitrale]

Pour info, j'avance... et j'ai trébuché depuis sur le site InfoClimat et procédé à un signalement d'erreur: /topic/86191-erreurs-daffichage-dans-les-graphes-et-tableaux/'>http://forums.infoclimat.fr/topic/86191-erreurs-daffichage-dans-les-graphes-et-tableaux/

[Mitrale]

Faisant une nouvelle fois suite à ce sujet, vous trouverez pour votre information la toute première version d'un document d'un peu plus d'une vingtaine de pages et que j'ai intitulé:

[align=center]Horodatage et échange des données météos[/align]

[align=center]d'une console Davis VP2 / WeatherLink[/align]

[align=center]vers les sites météos[/align]

[align=center]WeatherUnderground – meteociel.fr – CWOP et InfoClimat[/align]

Les observations effectuées m'ont permis d'identifier les différents flux de données et les formats d'heures utilisés dans l'horodatage des relevés. Leur interprétation m'a permis d'évaluer l'impact des changements d'heure été/hiver.

Merci d'avance de bien vouloir me rapporter par MP les erreurs relevées, vos remarques et informations me permettant de corriger et de compléter ce document!

/applications/core/interface/file/attachment.php?id=20518'>Horodatage Davis VP2-WL_v1.0.doc

Horodatage Davis VP2-WL_v1.0.doc