Rust Data Pipelines: From Files to Clean Databases and Web Dashboards

Une session pratique de deux heures sur la création de pipelines de données fiables en Rust, partant de fichiers d'entrée désordonnés pour aboutir à des données propres pouvant être stockées, interrogées et visualisées dans une application web.

La session combine Rust, Polars, les flux de données en ligne de commande et SQLx pour montrer comment un développeur peut prendre des fichiers CSV ou Parquet, valider et transformer les données, gérer les erreurs clairement, persister des enregistrements propres dans une base de données et préparer les résultats pour des graphiques, des tableaux de bord ou des écrans de reporting.

Rust est utilisé comme contexte d'implémentation, mais la leçon principale reste axée sur les fondamentaux de l'ingénierie logicielle : contrats de données, flux de travail reproductibles, progression visible, gestion fiable des erreurs, migrations de bases de données, vérifications de requêtes à la compilation et clarté opérationnelle.

Public : développeurs débutants et intermédiaires souhaitant une session d'ingénierie pratique sur la transformation de fichiers bruts en données propres, interrogeables et visualisables.

Objectifs :

• Construire un flux de travail en ligne de commande Rust qui accepte des fichiers d'entrée et produit des sorties structurées
• Nettoyer et valider des données CSV ou Parquet avant de les stocker
• Utiliser Polars pour le filtrage, la sélection, la jointure, le regroupement et l'exécution paresseuse (lazy execution)
• Stocker des enregistrements propres dans une base de données avec SQLx
• Utiliser des migrations et des vérifications à la compilation pour sécuriser l'accès aux bases de données
• Préparer les données stockées pour la visualisation dans une application web

Format : deux heures avec une courte présentation de cadrage, un exemple concret de bout en bout, une discussion sur les compromis et une liste de contrôle de clôture pour la pratique.