proto : prefect pipelines

[kloudkrafts]

Premier prototype pour gérer les extract - preprocess - load via des workflows Prefect.

Objectifs :

• Rendre les pipelines d'extract-load plus facilement maintenables, et reprenables par de nouveaux devs
• Faire des pipelines qui pourront être automatisées de bout-en-bout
• Prototyper une façon (simple et minimale) de monitorer la bonne exécution ou non des récup de données

Axes de travail

• Revoir / faire évoluer la structure de définition des sources pour la rendre plus flexible
• Refactorisation minimale pour gérer les preprocess via des classes python plutôt que des notebooks
• Gérer l'asynchrone et les retry via les features de base de Prefect (simplifier le code)