Orage 33

Hello guys, Je suis aussi ce projet avec attention car je suis entrain de faire à peu près le même de mon coté. @_sb Pour ma part j'utilise du MongoDB sur un serveur dédié (je viens d'en prendre un nouveau ce matin, Xeon® D-1531, 32Go de ram, SSD). Donc je suis entrain de tout migrer aujourd'hui. Alors pour l'insertion des données comme le dit @hermouparis l'insertion dans en BDD reste le plus lourd job dans le traitement. A l'heure actuelle j'ai un serveur beaucoup moins puissant que celui que je viens de prendre et surtout en SATA ce qui réduit énormément les performances MongoDB. Le process est : - Récupération des fichiers GRIB2 - Extraction dans des fichiers csv par paramètre et échéance. - Concaténation de tous les paramètres pour par échéance dans un seul fichier CSV. - Insertion en bulk opération échéance par échéance dans une nouvelle collection et indexation à la fin (1h10 duration mais avec un disque SATA) Et il faut que je créer un process pour vérifier la disponibilité de tous les fichiers GRIB2 car là j'ai pleins d'erreurs (souvent), si les fichiers ne sont pas dispo (c'est en cours de réflexion) Avant je mettais tout dans la même collection avec un TTL de 24h sur les createdAt, donc les documents de > 24h sont supprimer automatiquement, ça représenter environ 35 millions de documents. Mais j'ai changé ça, désormais une nouvelle collection est crée pour chaque runs et chaque modèles. Ensuite j'ai un cronjob qui est nettoie les collections de plus de 24h, j'ai gardé le TTL sur les documents ce qui permet de vider la collection. Pour te donner un ordre d'idée Arome France 2.5km, c'est entre 8.5 millions et 9.5 millions de documents (10Go par run) (40 paramètres). La méthode que j'utilise pour récupéré une data sur un point est : - Une première requête pour récupéré le point le plus proche du modèle de la coordonnées demandé - Ensuite une deuxième requête pour récupéré l'ensemble des données du run (l'ensemble des échéances) Donc c'est pas ouff et j'ai des performances médiocres, après j'ai du mal évaluer si le problème vient coté hardware ou fonctionnel car quand je fais les requêtes en brute ça prend 200/300ms . A voir avec le nouveau serveur ce que ça va donner

Oui Grib my bad Ahh yes https://openskiron.org/en/icon-gribs c'est ce que j'avais trouvé sur le net, mais comme il proposé que la moitié de la France quand je regardais la zone traitée, je trouvais ça dommage car ce qui m'intéresse c'est la France entière. Super en tout cas. Je vais continué à implémenter les fonctionnalités avec Arome et Arpège, et j'intégrerais ICON, GFS..etc

Yes c'est ce que j'avais fait mais c'est dommage qu'il ne le propose pas. J'ai vu que tu avais les données ICON, tu récupères les grids sur quelle serveur ? En tout cas beau boulot. Je bosse toujours sur mon appli de mon coté. J'ai juste toujours un problème de performance, à la lecture des données dans MongoDB, c'est très long > 10sec pour récupérer les data sur 42h. Pourtant tout est bien indexé, mais la collection est un peu grosse > 36millions de documents, je vais voir pour splitter une collection par RUN. Ludovic

Salut, Dit moi tu prends quelle paramètre pour les précipitations horaires pour Arome 0.25° ? Car moi j'ai que les cumuls depuis le début du run et pas le taux horaire Merciii d'avance

Salut, On avait discuter il y a quelques années sur ce sujet. Actuellement je suis entrain de bosser sur un projet un peu similaire, l'application devrait sortir dans quelques semaines. Je bosse sur la partie front tout le process de récupération des données est fait. J'ai branché Arome France (2.5km) pour le moment, ça représente environ 36 millions de données pour les 4 runs sachant que j'extrais seulement la France. Les modèles Arpege et Arome HD (1.5km) seront branchés. Perso je suis parti sur du MongoDB sur un serveur dédié mais je n'ai pas le même temps de réponse que ton api (sans cache je suis à 1s de temps de réponse et avec cache je dois être à 400ms), j'ai une collection par modèle et j'utilise du Geospatial. Une petite question technique tu utilises quoi comme BDD de stockage ? Après pour ma part comme un naze j'ai pris un serveur SATA et non SSD, je vais le changer le mois prochain donc théoriquement ça devrait aller beaucoup plus vite Ludovic

Bonjour gaet34, On peut pas trop savoir comme ça la vraie différence car la configuration du model WRF est très grande et la taille de la maille y fait aussi beaucoup, nous sommes à 0.07° en maille mais je doute qu'elle soit identique.

Actuellement petite neige faible ici au Nord de la Gironde. A suivre /emoticons/smile@2x.png 2x" width="20" height="20">

Bonjour, Merci à tous pour vos messages, il reste encore énormément de travail à fournir pour cette année qui ne se voit pas forcément. Car derrière tout ça il y a quand même trois serveurs qui gèrent les calculs et mise en base de données de toutes les données météo, l'hébergement du site...etc Météo Gironde est née en 2005, c'était un simple site avec deux frames avec des données mises à jour à la main. Mais avec un peu de patience, de persévérance Météo SudOuest traite plus de 8Millions de données brute par jour et génère plus de 3000 cartes. Tout comme Infoclimat , météociel et d'autres sites complexe, c'est un travail à temps pleins qu'on ne cesse d'améliorer au fil des jours, des semaines et des mois pendant des années. Il y a certes la passion météorologique derrière tout ça mais aussi le défi technique et comme la météo n'est pas une science exacte cela n'a pas de fin Merci à vous, Ludovic.

Bonsoir, Je cherche à savoir quel est le nom des paramètre suivant dans le fichier grib2 de wrf nmm : - Hauteur de la houle (ou paramètre équivalent) - Indice UV - Indice de pollution au pollen et de pollution de l'air J'ai cherché sur le net mais ils y sont pas dans l'inventaire du fichier alors peut-être qu'il existe mais sous une autre dénomination Si non, où peut-on les trouvés ? Merci d'avance

Bonjour à tous, Quelques flocons virevoltent ici dans le Nord de la Gironde /emoticons/smile@2x.png 2x" width="20" height="20">

Dernière averse de neige modérées/fortes pour le secteur ici /emoticons/smile@2x.png 2x" width="20" height="20"> Profitez, profitez /emoticons/smile@2x.png 2x" width="20" height="20">

Pour l'instant 1h de neige et .... saupoudrage Les flocons sont beaucoup trop petit /emoticons/smile@2x.png 2x" width="20" height="20"> Le 2ème front qui aborde le Sud Ouest de la Gironde devrait être beaucoup plus humide que le premier.

Et voilà les premiers flocons qui tombent à l'instant :DD Let's goooo!

Oui oui t'inquiète pas y'a de la réserve derrière /emoticons/smile@2x.png 2x" width="20" height="20"> pour l'instant c'est neige pour tout le monde. A suivre!

Bonsoir tout le monde, Juste pour prévenir que Oragejuice (Jérome) organise donc la soirée le 4 février /emoticons/smile@2x.png 2x" width="20" height="20"> Toute les infos sont disponible sur son forum, les inscriptions se font dessus : Infos soirée A bientôt! Orage 33