Compléter des données manquantes

[alsavosges]

Bonjour à tous,

J'exporte mes données météo sur Infoclimat depuis 2 jours ici :

http://www.infoclimat.fr/observations-meteo/temps-reel/goldbach-altenbach/000S1.html

Comme vous pouvez le voir, suite à des coupures internet (qui sont fréquentes chez moi), certaines données sont absentes.

Je ne souhaite pas compléter les données journalières manquantes, mais uniquement les données mensuelles dans le tableau "Climatologie du mois" :

http://www.infoclimat.fr/climatologie-mensuelle/000S1/septembre/2013/goldbach-altenbach.html

D'après ce que j'ai pu comprendre, il y 2 méthodes pour compléter les relevés manquants : manuelle et automatique.

La méthode automatique me serait plus utile car, comme je le disais, les coupures sont fréquentes.

Quelle est la procédure DETAILLEE (car je suis très limité en informatique) pour compléter le tableau mensuel (à partir de hier) et comment faire pour que les éléments du tableau mensuel soient toujours renseignés, malgré les nombreuses coupures?

Merci pour les réponses qui devront être très précises et adaptées à mon ignorance informatique.

[Fred59_]

À la droite de chaque ligne du tableau mensuel, tu vois apparaître un icône en forme de crayon. En cliquant dessus, tu accèdes à un tableur qui permet de modifier les données, jour par jour. Ensuite, il faut cliquer sur le bouton "Enregistrer les données".

[alsavosges]

C'est ce que je fais, on me dit que les données sont enregistrées, mais quand je reviens sur la page, l'ancienne valeur est toujours là!

[Fred59_]

C'est ce que je fais, on me dit que les données sont enregistrées, mais quand je reviens sur la page, l'ancienne valeur est toujours là!

Par exemple, quelle valeur souhaites-tu modifier ? (afin que j'essaie de mon côté pour corriger un éventuel problème).

[alsavosges]

J'ai appliqué la procédure trouvée sur un ancien sujet dans ce forum pour régénérer les données manquantes (avec downld08.txt) suite à cette coupure internet.

C'est la catastrophe!

Tout est décalé de 2h (heure UTC / heure légale), certaines données sont fausses et tout est reparti avec une demi-heure d'avance et des intervalles de 30 min au lieu de 10 min : j'ai envie de tout supprimer pour repartir sur de bonnes bases, mais je sais qu'il y aura d'autres coupures à gérer!

J'aimerais surtout avoir une base climato juste avec des températures mini et maxi qui correspondent à la réalité.

Comment sont enregistrées ces températures : si une Tn a lieu entre 2 intervalles de mesure (30 ou 10 min), est-elle prise en compte?

Par exemple, s'il fait 23.0°C à 15h et 22.9°C à 15h10, est-ce que la Tx de 23.2°C enregistrée à 15h15 par la console et WeatherLink est prise en compte?

Si ce n'est pas le cas, on ne peut pas exploiter les données pour les statistiques!

Sur quelle base est définie la journée : de minuit à minuit en heure locale ou en heure UTC?

J'arrête là pour l'instant mais la gestion des données dans les tableaux me parait d'une complexité incroyable!

[Fred59_]

J'ai appliqué la procédure trouvée sur un ancien sujet dans ce forum pour régénérer les données manquantes (avec downld08.txt) suite à cette coupure internet.

C'est la catastrophe!

Tout est décalé de 2h (heure UTC / heure légale), certaines données sont fausses et tout est reparti avec une demi-heure d'avance et des intervalles de 30 min au lieu de 10 min : j'ai envie de tout supprimer pour repartir sur de bonnes bases, mais je sais qu'il y aura d'autres coupures à gérer!

J'aimerais surtout avoir une base climato juste avec des températures mini et maxi qui correspondent à la réalité.

Comment sont enregistrées ces températures : si une Tn a lieu entre 2 intervalles de mesure (30 ou 10 min), est-elle prise en compte?

Par exemple, s'il fait 23.0°C à 15h et 22.9°C à 15h10, est-ce que la Tx de 23.2°C enregistrée à 15h15 par la console et WeatherLink est prise en compte?

Si ce n'est pas le cas, on ne peut pas exploiter les données pour les statistiques!

Sur quelle base est définie la journée : de minuit à minuit en heure locale ou en heure UTC?

J'arrête là pour l'instant mais la gestion des données dans les tableaux me parait d'une complexité incroyable!

Les données sont calculées selon les normes OMM, c'est-à-dire 6h UTC à 6h UTC ou 18h UTC à 18h UTC, comme cela est précisé au passage de la souris dans les infobulles en haut du tableau mensuel.

Ces données sont donc exactes lorsque la station a reporté aux heures-clé (6UTC, 12UTC, 18UTC), mais s'il y a des trous évidemment c'est plus difficile et le calcul peut être erroné. Concernant la complexité, je ne te le fais pas dire. Nous gérons de nombreuses stations, avec des logiciels et normes différentes - en plus des stations officielles, avec parfois des données manquantes, et il faut faire cohabiter cela pour essayer d'avoir le moins d'erreurs possibles, ce qui n'est pas une mince affaire... Ce pourquoi nous avons mis en place la fonctionnalité que je te présentais dans mon post précédent, permettant de corriger manuellement les données mensuelles, ce que je te conseille de faire pour régler ton problème.

Weatherlink génère en effet les valeurs des extrêmes "depuis 0h" (locale, ou UTC, selon le réglage de l'utilisateur...), or nous utilisons sur IC les extrêmes "norme OMM" (6-6 ou 18-18 UTC), ce qui nécessite quelques calculs supplémentaires qui peuvent être erronés en cas de données manquantes ou de fuseau horaire exotique... ce qui explique tout l'intérêt de configurer sa station en heure UTC.

Concernant l'envoi à posteriori du fichier downld08.txt, il faut en effet que les heures de ce fichier soient en UTC, et non en heure locale, ce pourquoi il y a ce décalage. Cela est expérimental pour le moment, nous travaillons en parallèle à d'autres méthodes pour combler les trous (nous en reparlerons en temps voulu, pour le moment ce n'est pas opérationnel), notamment pour les stations disposant d'un datalogger IP.

[alsavosges]

J'avais vu juste...sur la complexité de la situation!

Je vais essayer de prendre par ordre :

1- je voudrais supprimer toutes les données des 13 et 14 septembre : comment faire?

2- je voudrais savoir comment sont calculées les Tn et les Tx - exemple : le relevé de 8h10 indique 3.5°C et le relevé de 8h20 indique 3.5°C mais la Tn se produit à 8h14 avec 3.3°C : la Tn de 3.3°C est-elle enregistrée pour la journée en question, puis le mois en cours...?

3- je voudrais remplacer les heures des journées qui ont subi ce décalage de 2 heures :

- comment je peux savoir si les heures des journées modifiées sont en heures locales ou UTC - actuellement, les heures sont en local mais elles sont peut-être en UTC quelques heures auparavant?

- comment modifier les heures?

4- comment modifier une valeur dans le tableau mensuel car quand je clique sur le crayon, je modifie la donnée dans le tableur et j'enregistre la modification, je ne retrouve pas cette valeur modifiée?

au niveau des commentaires ajoutés, c'est pareil, rien n'est pris en compte alors qu'il est précisé que la modif a bien été sauvegardée!

5- lorsque je coche les lignes à supprimer sur les lignes horaires composant la journée et que je clique sur supprimer, il est signalé que la fonction n'est pas valide.

Si vous pouvez me répondre précisément en précisant le point (de 1 à 5) concerné, ce serait sympa! Merci.

[gerardlh]

Non non Fred 59 quand on a le crayon même en enregistrant la T n'est pas modifiée , par contre les mesures manquantes on peut les ajouter c'est ok j'ai recomplété tout 2013 et c'est bon mais mon - 43 en janvier et 2013 et mon -33 °C en février 2013 ils sont toujours là . lol bien sûr on discute amicalement .

[Canada Goose]

Pareil, j'ai des records - sur la page de climatologie globale - qui sont erronés, alors que les valeurs sont bonnes dans les relevés quotidiens et mensuels.

[Fred59_]

Je n'ai pas trop le temps de vous répondre en détails pour le moment, je le ferai d'ici le week-end. En tous cas, on ne nous avait jamais reporté ce type de problèmes dans la modification des données mensuelles, c'est étonnant...

@CanadaGoose, peux-tu préciser des exemples particuliers de valeurs erronées ? Je ne connais pas la climatologie de chaque station par coeur et je ne peux pas tout recalculer à la main

[alsavosges]

J'ai l'impression que tout le monde va évoquer ces soucis sur ce sujet : j'aimerais quand même que l'on réponde aux points mentionnés avant de régler les problèmes particuliers de chaque intervenant!

En répondant à mes questions, beaucoup de points seront alors traités!

[Canada Goose]

@CanadaGoose, peux-tu préciser des exemples particuliers de valeurs erronées ? Je ne connais pas la climatologie de chaque station par coeur et je ne peux pas tout recalculer à la main

Regarde les records de cette page : http://www.infoclimat.fr/stations-meteo/climato-moyennes-records.php?staid=000M1&redirect=1&from=2011&to=2013

Et compare-les avec ceux-là : http://meteomac.free.fr/lacbleuclim.php

Les erreurs sont :

- Txn de septembre

- Tnx de janvier, juin, juillet et décembre.

Merci.

[flying38]

Regarde les records de cette page : http://www.infoclimat.fr/stations-meteo/climato-moyennes-records.php?staid=000M1&redirect=1&from=2011&to=2013

Et compare-les avec ceux-là : http://meteomac.free.fr/lacbleuclim.php

Les erreurs sont :

- Txn de septembre

- Tnx de janvier, juin, juillet et décembre.

Merci.

As-tu complété les données manuellement et elles n'apparaissent pas ou bien ce sont les calculs automatiques qui n'ont pas fonctionné?

[Canada Goose]

As-tu complété les données manuellement et elles n'apparaissent pas ou bien ce sont les calculs automatiques qui n'ont pas fonctionné?

J'ai tout repris à la main et les données apparaissent bien dans les données mensuelles, mais pas dans la climato globale.

[gerardlh]

J'ai l'impression que tout le monde va évoquer ces soucis sur ce sujet : j'aimerais quand même que l'on réponde aux points mentionnés avant de régler les problèmes particuliers de chaque intervenant!

En répondant à mes questions, beaucoup de points seront alors traités!

C'est important de signaler un problème pour améliorer la base climato . La quantité de donnée doit être énorme et seul chaque passionné peut le voir et surtout le corriger .Pour compléter les données manquantes c'est bon. Ce n'est pas Fred 59 qui peut le faire alors qu'il a déjà beaucoup de boulot sur IC .

[Sebaas]

J'ai l'impression que tout le monde va évoquer ces soucis sur ce sujet : j'aimerais quand même que l'on réponde aux points mentionnés avant de régler les problèmes particuliers de chaque intervenant!

En répondant à mes questions, beaucoup de points seront alors traités!

OK donc tu vas devoir changer de ton et de manière de t'adresser à nous, parce que là on ne va vraiment pas être d'accord. On n'est pas à ton service, tu n'es pas notre unique interlocuteur, nous sommes des bénévoles dans une association dont tu n'es même pas adhérent, et il serait SYMPA de ta part de pas t'adresser à nous comme tu pourrais le faire auprès de la hotline de ton opérateur de téléphonie mobile.

Cette impatience latente, limite désagréable, ne plaide pas en ta faveur pour que je porte auprès du CA le sujet d'une éventuelle station financée même partiellement par IC au Grand Ballon... A bon entendeur.

D'autre part, ma propre station est en ligne depuis un an via weatherlink, j'ai pour ainsi dire quasiment jamais eu de modification/correction à faire dans ma climato. On met tout en oeuvre pour palier les coupures de connexion internet, mais il existe des centaines de cas d'anomalie possibles qu'on ne pourra JAMAIS corriger. On n'est pas, et on n'a pas les moyens de la Direction des Systèmes d'Observation de Météo France!

[alsavosges]

Oh le vilain chantage!

Je voulais simplement préciser que quand on ouvre un sujet, c'est que l'on souhaite des réponses personnalisées pour éviter de diluer les réponses dans un flot de contestations diverses!

Tu vois bien que certaines personnes profitent de l'ouverture d'un sujet pour évoquer des problèmes anciens dont tu n'avais même pas connaissance!

Je n'empêche personne d'ouvrir un sujet à son tour pour expliquer ses problèmes particuliers!

Après, vous répondez dans le mesure de vos possibilités (ou pas), ça, c'est à vous de voir!

Il est normal que l'on s'étonne de défaillances techniques ou que l'on ne comprenne pas les procédures lorsque l'on découvre (eh oui, ma station n'est présente sur le réseau que depuis quelques jours!) la complexité du système, reconnue par Fred59_ lui-même!

J'ai déjà dépensé beaucoup plus d'argent (allez-retour Grand-Ballon) et de temps dans ce projet de station-météo (en plus de l'achat personnel de l'ISS de la vantage Pro2 pour intégrer le réseau) que la cotisation à l'association!

Après, si vous voulez des personnes qui trouvent des sites et qui mènent les projets jusqu'au bout, il faut savoir accepter les contre-parties, et notamment d'être "bousculé" un peu.

[Sebaas]

Oh le vilain chantage!

Rien à voir, juste un constat objectif sans aucune animosité de ce qui bloque aujourd'hui pour qu'on s'engage plus avant: ton état d'esprit qui ne donne ni envie, ni confiance... Je te mets en garde, tu en fais ce que tu veux mais ne sois pas étonné si ça n'aboutit pas.

[Fred59_]

Après, si vous voulez des personnes qui trouvent des sites et qui mènent les projets jusqu'au bout, il faut savoir accepter les contre-parties, et notamment d'être "bousculé" un peu.

Et c'est toi qui accuse Sebaas de chantage ?

[LMK]

J'ai tout repris à la main et les données apparaissent bien dans les données mensuelles, mais pas dans la climato globale.

Il me semble que cela vient du fait que pour le moment la climato globale est basée sur les valeurs des tableaux journaliers uniquement (ça devrait changer prochainement), c'est pourquoi les changements n'apparaissent pas même lorsqu'on rempli manuellement les tableaux mensuels, mais je ne suis pas sur à 100% de mon explication /emoticons/biggrin@2x.png 2x" width="20" height="20">

[alsavosges]

S'il faut vous caresser dans le sens du poil pour faire aboutir un projet qui pourrait intéresser beaucoup de monde (il y a même eu des promesses de dons!), c'est vrai que je n'ai pas le profil idéal!

J'ai toujours dit ce que j'avais à dire de manière directe (peut-être trop!), et pas uniquement avec vous, sans arrière-pensée ou de faux-semblant comme j'en vois tellement sur le forum!

Après, si c'est mon attitude qui vous déplaît et qui bloque le projet, le mieux est d'en parler ouvertement plutôt que de pénaliser tout le monde.

Si j'ai pu vous choquer, j'en suis désolé, je pense n'avoir jamais été grossier envers vous (ni envers d'autres) mais il faut comprendre que quand on s'est démené pour voir aboutir un projet et que dans la dernière ligne droite on m'annonce qu'il faudra attendre le printemps (alors que l'hiver est sûrement la saison la plus intéressante sur ce type de station), il y a des raisons de s'énerver!

Mon énervement est à la mesure de mon engagement, même s'il est difficile à comprendre pour vous qui n'avez peut-être pas les mêmes priorités!

Je peux renouveler une nouvelle fois mes excuses si vous le voulez, pour la réussite du projet, mais à 43 ans, vous ne me changerez-pas!

[bernardt60]

Il faut garder tout simplement garder à l'esprit qu' Infoclimat n'est géré que par des bénévoles qui ont leur propre activité.

Ne serait-ce que Fred qui se démène comme un beau diable malgré ses études et qui sacrifie beaucoup de son temps libre et il n'est pas le seul

Je comprends que l'on ait certaines impatiences mais on arrive toujours au bout même si c'est plus long que prévu.

Il y a quand même des choses beaucoup plus graves dans la vie et il n'y a pas de quoi d'en faire tout un plat.

Donc on souffle un bon coup, cool, on prend les choses avec philosophie et tout ira bien

[Vent d'Autan 81]

Mince, 2 post entre temps !

Réponse à Canada Goose et les autres pour info

Salut,

Apparemment c'est de cette manière que cela fonctionne pour l'instant ! J'ai chargé 3 ans de données il y a pas longtemps dans ma base , j'ai envoyer un mail à l'équipe IC et il mon gentiment mis à jour ma climatologie globale !

a+

[alsavosges]

Tu as raison bernardt60 !

Bon, j'ai beaucoup cherché sur le forum et "bidouillé" pour modifier des données erronées suite à l'utilisation de downld08 (après cette coupure internet).

J'ai réussi à supprimer certaines choses mais pas tout : dans le tableau mensuel (tableur) de septembre, j'ai modifié beaucoup de données, mais les températures maxi des 13 et 14 résistent à mes tentatives de suppression.

J'aimerais aussi, dans l'idéal, supprimer les pluviométries de 0.0 mm du 1er au 14 septembre inclus.

Si vous avez une solution, je suis preneur! Merci.

Autre chose : je ne peux pas supprimer des lignes horaires dans les rapports journaliers : je coche et je clique sur "supprimer" mais rien ne se passe!

[flying38]

Pour Canada Goose, indique moi la période pour laquelle il faut mettre à jour tes données. Je lancerai le script à la main car la mise à jour automatique n'est pas en place actuellement.

Pour revenir au projet d'alsavosges, nous n'avons jamais travailler dans la précipitation sur IC, que ce soit pour n'importe quelle station que nous avons installé. Pour le projet du Ventoux, cela fait 2 ans qu'on est dessus... Alors je comprends votre impatience à installer une station mais comme le dit Bernard, on a tous une vie à côté et nous ne sommes pas sur IC H24 (quoique...). Et comme il le dit aussi, nos projets ont tous abouti.

J'ai déjà dépensé beaucoup plus d'argent (allez-retour Grand-Ballon) et de temps dans ce projet de station-météo (en plus de l'achat personnel de l'ISS de la vantage Pro2 pour intégrer le réseau) que la cotisation à l'association!

Cette phrase m'interpelle. Du fait que vous ayez fait des démarches pour installer cette station, vous estimez que c'est avant tout plus une histoire mercantile qu'associative. Je vous fournis cela alors vous me devez quelque chose. C'est votre choix et je le respecte. Cependant, l'esprit d'Infoclimat ce n'est pas celui-ci. Le but c'est de partager ses connaissances, ses données avec toute la communauté. Adhérer à l'association c'est avant tout soutenir un projet associatif visant à rassembler les passionnés de météo mais aussi aider à développer un réseau de station pouvant profiter à tous gratuitement.

Autre chose : je ne peux pas supprimer des lignes horaires dans les rapports journaliers : je coche et je clique sur "supprimer" mais rien ne se passe!

La fonctionnalité de suppression n'est pas encore active, il faut que nous le fassions manuellement.