Bugs sur Infoclimat #2

[alsavosges]

il y a une heure, david30011978 a dit :

bonjour à tous.

depuis le mois de mars 2024 (il me semble), lorsque j’édite la climatologie de ma station (par exemple pour corriger les données de max/min/RR/ensoleillement/vent erronées à cause de coupure d'electricité/internet, maintenance, chute de neige mesurée avec une balance sans la laisser dans le pluviometre, etc...), la climatologie est corrigée pour chaque jour du mois, mais pas dans le résumé annuel qui présente alors des valeurs fausses (voir les images jointes ou on voit des différences - pluie, ensoleillement entre le mois de mars parmi l'année 2024 et le mois de mars seul.

 

 

Tu as essayé d'actualiser (en haut ou en bas peu importe)?

 

 

[david30011978]

c'est corrigé, merci @alsavosges. j'essayerai d’être plus attentif la prochaine fois.

 

 (Mais du coup c'est pas dommage que ceux qui ne sont pas responsables d'une station statIC ne puissent pas les recalculer, ou qu'en tout cas ils aient accès à deux jeux de données contradictoires ?)

[Babarskaja]

Il y a 4 heures, david30011978 a dit :

c'est corrigé, merci @alsavosges. j'essayerai d’être plus attentif la prochaine fois.

 

 (Mais du coup c'est pas dommage que ceux qui ne sont pas responsables d'une station statIC ne puissent pas les recalculer, ou qu'en tout cas ils aient accès à deux jeux de données contradictoires ?)

 

Le 22/04/2024 à 13:07, Naej a dit :

Je suis en train de relancer les calculs de climato des StatIC pour 2023. Dans les prochaines semaines, si vous rencontrez toujours les mêmes problèmes, ou de nouveaux problèmes, merci de m'en faire part ici

 

@Naej est ce qu'il faut relancer régulièrement le calcul de la climato annuelle?

Y'a pas moyen de créer un script qui le fait automatiquement?

 

 

 

[Naej]

Le 11/11/2024 à 17:18, serge26 a dit :

Bonjour @Naej

Peux tu verifier si la bouée de Bonifacio est dans la base, il me semblait pourtant qu'il apparaissait à un moment donnée?

Sinon , ci-dessous, les caractéristiques

"id": "??",
    "id_station": "CETF02A01",
    "libelle": "Bonifacio",
    "distance_cote": "???",
    "profondeur": "150",
    "dh_debut": "2022-07-13 07:30:00",
    "latitude": "41°19.355",
    "longitude": "-08°.52.560",
    "cetmef_id": "???",
    "source_url": null,
    "source": null

Elle n'était pas en base car il manque toutes les bouées après Juin 2016. Donc je l'ai ajoutée, merci pour les infos. Pour la conversion de coordonnées, j'utilise https://coordinates-converter.com/, pour passer des degrés minutes (X°Y.Z') aux degrés décimaux (A.BC°).

Le 12/11/2024 à 23:13, Babarskaja a dit :

 

 

@Naej est ce qu'il faut relancer régulièrement le calcul de la climato annuelle?

Y'a pas moyen de créer un script qui le fait automatiquement?

 

 

 

Pourquoi est-ce que tu veux relancer régulièrement le calcul de la climato annuelle (mensuelle d'ailleurs non ?) ?

[Babarskaja]

Parceque depuis le dernier recalcul, de nouvelles erreurs se sont glissées dans certaines climato (différences entre les valeurs dans les tableaux mensuels et annuels):

 

 

 

[Naej]

il y a 39 minutes, Babarskaja a dit :

Parceque depuis le dernier recalcul, de nouvelles erreurs se sont glissées dans certaines climato (différences entre les valeurs dans les tableaux mensuels et annuels):

 

 

 

Pour l'instant il appartient à celui qui corrige les données de relancer le calcul, on n'a pas d'interêt à s'amuser à tout recalculer à chaque fois alors que les données n'ont pas changé, seul le correcteur est le mieux placé pour savoir que la climato doit être recalculée

[alsavosges]

il y a 29 minutes, Naej a dit :

Pour l'instant il appartient à celui qui corrige les données de relancer le calcul, on n'a pas d'interêt à s'amuser à tout recalculer à chaque fois alors que les données n'ont pas changé, seul le correcteur est le mieux placé pour savoir que la climato doit être recalculée

 

Ce n'est pas le problème soulevé qui ne date pas d'hier.

Sans intervention de notre part, les climatos annuelles de certaines stations ne sont pas identiques aux climatos mensuelles de l'année.

Si on n'a pas la main sur ces stations, on ne peut pas actualiser la climato annuelle pour qu'elle concorde avec la climato mensuelle.

[Naej]

il y a une heure, alsavosges a dit :

 

Ce n'est pas le problème soulevé qui ne date pas d'hier.

Sans intervention de notre part, les climatos annuelles de certaines stations ne sont pas identiques aux climatos mensuelles de l'année.

Si on n'a pas la main sur ces stations, on ne peut pas actualiser la climato annuelle pour qu'elle concorde avec la climato mensuelle.

De quel problème on parle alors ? Quelle intervention est effectuée ? Dans le fil que j'ai lu, appuyer sur le bouton de recalcul corrigeait le problème non ? Je parle de ce fil là, peut-être que tu parles d'un autre ? Si c'est le fameux problème de Laurent ou bien la correction des stations non-StatIC, ça sera pas corrigé avant un très (très) long moment. Je serais ravi de donner à qui veut les clés pour qu'il le fasse lui-même 😛 

[Babarskaja]

@Naej,

 

dans le fil que j'ai indiqué tu as l'exemple du mars 2024, dont les cumuls RR et ensoleillement diffèrent sur le tableau mensuel et sur le tableau annuel.

 

(enfin différaient car David a utilisé la fonction recalculer les données de l'année).

 

https://www.infoclimat.fr/climatologie/annee/2024/sail-les-bains/valeurs/000VM.html

 

Dans le tableau annuel, le cumul RR était de 90,4 mm et l'ensoleillement de 122,5 heures.

 

 

Pour ce même mois de mars 2024, dans le tableau mensuel, le cumul est de 93,7 mm et 118h30.

 

 

Comme un grand nombre de propriétaire ne recalculent pas leur climato, est il possible de réaliser ce recalcul automatiquement chaque mois par exemple?

[970hPa]

Faudrait laisser une marge de 10j pour ceux qui veulent corriger leur climato 

Il y a 9 heures, Babarskaja a dit :

Comme un grand nombre de propriétaire ne recalculent pas leur climato, est il possible de réaliser ce recalcul automatiquement chaque mois par exemple?

 

[Naej]

Le 14/11/2024 à 21:14, Babarskaja a dit :

@Naej,

 

dans le fil que j'ai indiqué tu as l'exemple du mars 2024, dont les cumuls RR et ensoleillement diffèrent sur le tableau mensuel et sur le tableau annuel.

 

(enfin différaient car David a utilisé la fonction recalculer les données de l'année).

 

https://www.infoclimat.fr/climatologie/annee/2024/sail-les-bains/valeurs/000VM.html

 

Dans le tableau annuel, le cumul RR était de 90,4 mm et l'ensoleillement de 122,5 heures.

 

 

Pour ce même mois de mars 2024, dans le tableau mensuel, le cumul est de 93,7 mm et 118h30.

 

 

Comme un grand nombre de propriétaire ne recalculent pas leur climato, est il possible de réaliser ce recalcul automatiquement chaque mois par exemple?

Ça ferait une énorme charge sur le serveur, à quantifier (et faut développer tout le système qui ferait ça proprement), alors que 99.99% des recalculs seraient inutiles..

Dans tous les cas c'est pas simple à gérer en l'état..

[Babarskaja]

Il y a 8 heures, Naej a dit :

Ça ferait une énorme charge sur le serveur, à quantifier (et faut développer tout le système qui ferait ça proprement), alors que 99.99% des recalculs seraient inutiles..

Dans tous les cas c'est pas simple à gérer en l'état..

 

Le mieux serait de déterminer pourquoi le calcul auto affiche des cumuls différents entre annuel et mensuel sur certaines statIC, plutôt que de mettre en place un gros pansement.

Je ne parviens pas à quantifier ce problème, j'ai vadrouillé au hasard sur les climatos de statIC pas contrôlées par leur propriétaire et je n'ai pas trouvé d'autres exemples.

 

(appel à l'aide si vous dénichez des statIC dans le même cas de figure, merci de le signaler ici 🙂

 

Pour Sail-les-Bains (l'exemple juste au dessus), la différence ne semble répondre à aucune logique. Dans la climato annuelle, le mois de mars affiche (affichait) des chiffres de pluvio différents pour toutes les stats:

 

mars 2024 actuel (corrigé) - mars 2024 avant

Cumul/ 93,7 - 90,4

Max 24h/ 18,2 - 18,3

Max 5j: 28,5 - 28,2

Moy >1 RR: 7 - 6,7

 

Comme si chaque jour quelques dixièmes manquaient au cumul total.

[alsavosges]

Si vous arrivez aussi à trouver pourquoi une colonne "ETP" est apparue en novembre et décembre 2023, puis a disparu, puis est revenue à partir de juin 2024... https://www.infoclimat.fr/climatologie-mensuelle/000S8/novembre/2023/willer-sur-thur-grand-ballon.html

Si elle peut être définitivement supprimée, ce serait le top!

[alexdaums]

Bonjour à tous,

 

Il semble que l'indicateur pluviométrique annuel de la climato soit planté.

Il est plat depuis un petit moment.

 

Merci.

[Naej]

Le 17/11/2024 à 11:25, alexdaums a dit :

Bonjour à tous,

 

Il semble que l'indicateur pluviométrique annuel de la climato soit planté.

Il est plat depuis un petit moment.

 

Merci.

Je suis dessus, merci pour le signalement

[Naej]

Le 17/11/2024 à 08:54, Babarskaja a dit :

 

Le mieux serait de déterminer pourquoi le calcul auto affiche des cumuls différents entre annuel et mensuel sur certaines statIC, plutôt que de mettre en place un gros pansement.

Je ne parviens pas à quantifier ce problème, j'ai vadrouillé au hasard sur les climatos de statIC pas contrôlées par leur propriétaire et je n'ai pas trouvé d'autres exemples.

 

(appel à l'aide si vous dénichez des statIC dans le même cas de figure, merci de le signaler ici 🙂

 

Pour Sail-les-Bains (l'exemple juste au dessus), la différence ne semble répondre à aucune logique. Dans la climato annuelle, le mois de mars affiche (affichait) des chiffres de pluvio différents pour toutes les stats:

 

mars 2024 actuel (corrigé) - mars 2024 avant

Cumul/ 93,7 - 90,4

Max 24h/ 18,2 - 18,3

Max 5j: 28,5 - 28,2

Moy >1 RR: 7 - 6,7

 

Comme si chaque jour quelques dixièmes manquaient au cumul total.

La différence est due au cache utilisé pour la climato annuelle, car ça prendrait trop de temps de calculer la climato de chaque mois en direct 
Une moitié de solution serait de mettre à jour le cache quand le calcul est fait sur la page de climato mensuelle

C'est le problème du cache : soit on gagne des perfs en perdant en véracité, soit on gagne en véracité en perdant des perfs

 

Ça fait partie des grandes blagues en informatique :

 

Citation

There are 2 hard problems in computer science: cache invalidation, naming things, and off-by-1 errors.

 

soit en français :

 

Citation

Il y a 2 gros problèmes en informatique : l'invalidation de cache, nommer les choses, et les erreurs de décalage de 1

 

[Naej]

Le 17/11/2024 à 11:08, alsavosges a dit :

Si vous arrivez aussi à trouver pourquoi une colonne "ETP" est apparue en novembre et décembre 2023, puis a disparu, puis est revenue à partir de juin 2024... https://www.infoclimat.fr/climatologie-mensuelle/000S8/novembre/2023/willer-sur-thur-grand-ballon.html

Si elle peut être définitivement supprimée, ce serait le top!

Il y a une colonne ETP car la station envoie des données d'ETP : 
 

<davis_current_observation>
    ...
    <station_name>Grand Ballon - 1355 m - Haut-Rhin </station_name>
    ...
    <et_day>0.000</et_day>
    <et_month>0.000</et_month>
    <et_year>0.960</et_year>
    ...
</davis_current_observation>

 

C'est peut-être un réglage à faire côté station ou côté WeatherLink

[Naej]

il y a 32 minutes, Naej a dit :

Je suis dessus, merci pour le signalement

C'est corrigé (aucune idée de pourquoi ça s'était arrêté par contre, ni si ça va reprendre son fonctionnement normal, encore un coup du fantôme d'Infoclimat)

Ça change pas grand chose au graphique lol, ça vous paraît cohérent ?

[alsavosges]

Il y a 1 heure, Naej a dit :

Il y a une colonne ETP car la station envoie des données d'ETP : 
 

<davis_current_observation>
    ...
    <station_name>Grand Ballon - 1355 m - Haut-Rhin </station_name>
    ...
    <et_day>0.000</et_day>
    <et_month>0.000</et_month>
    <et_year>0.960</et_year>
    ...
</davis_current_observation>

 

C'est peut-être un réglage à faire côté station ou côté WeatherLink

 

Je viens de vérifier mais je ne vois pas comment choisir ou pas le paramètre ETP et rien n'a été modifié alors que la présence de la colonne est apparue, a disparu puis est revenue sur Infoclimat sans aucune intervention de ma part.

 

Si vous faites une restriction sur ce paramètre, la colonne peut ne pas être affichée?    

[Naej]

il y a 3 minutes, alsavosges a dit :

 

Je viens de vérifier mais je ne vois pas comment choisir ou pas le paramètre ETP et rien n'a été modifié alors que la présence de la colonne est apparue, a disparu puis est revenue sur Infoclimat sans aucune intervention de ma part.

 

Si vous faites une restriction sur ce paramètre, la colonne peut ne pas être affichée?    

Pas de possibilité de restriction sur ce paramètre malheureusement. Est-ce que @Babarskaja ou @970hPa s'y connaissent un peu plus ?

[Matt67]

Il faudrait restreindre la valeur qui est présente dans l’API de WL. Je regarde après, j’ai une idée  

[970hPa]

Il y a 2 heures, Naej a dit :

Il y a une colonne ETP car la station envoie des données d'ETP : 
 

<davis_current_observation>
    ...
    <station_name>Grand Ballon - 1355 m - Haut-Rhin </station_name>
    ...
    <et_day>0.000</et_day>
    <et_month>0.000</et_month>
    <et_year>0.960</et_year>
    ...
</davis_current_observation>

 

C'est peut-être un réglage à faire côté station ou côté WeatherLink

Quand tu as un capteur de radiation / ensoleillement , tu as automatique la colonne ETP ou TE . 

 

Faudrait avoir une restriction du coté IC  . Vu qu'on arrive a récupérer les données ETP, on peut très bien faire le contraire, donc ne pas récupérer les données  

[alexdaums]

Il y a 1 heure, Naej a dit :

C'est corrigé (aucune idée de pourquoi ça s'était arrêté par contre, ni si ça va reprendre son fonctionnement normal, encore un coup du fantôme d'Infoclimat)

Ça change pas grand chose au graphique lol, ça vous paraît cohérent ?

 

Oui en effet ça semble s'être recalé. Je ne sais pas des données on été perdues avant la régénération du graphe mais c'est mieux.

A l'échelle nationale  en effet le rattrapage n'est pas très visible mais sur mon département et les voisins ça se voit plus car autant certains coins du Pays voire 90% du pays ont été bien rincé autant par chez moi c'est encore la galère.

Mais en tout cas un grand merci .

[Naej]

il y a 7 minutes, 970hPa a dit :

Quand tu as un capteur de radiation / ensoleillement , tu as automatique la colonne ETP ou TE . 

 

Faudrait avoir une restriction du coté IC  . Vu qu'on arrive a récupérer les données ETP, on peut très bien faire le contraire, donc ne pas récupérer les données  

C'est trop galère de gérer ça malheureusement

Par contre, pourquoi ne pas juste garder la colonne ETP ? Les données sont incohérentes dans le cas de cette station ?

[Matt67]

il y a 34 minutes, Naej a dit :

C'est trop galère de gérer ça malheureusement

Par contre, pourquoi ne pas juste garder la colonne ETP ? Les données sont incohérentes dans le cas de cette station ?

 

Bon la tout de suite je sèche. 

Cette station ne peut reporter en temps normal des données ETP vu qu'elles sont liées au Rayonnement, et que cette station ne possède pas de pyranomètre