Hi, I'm Djouldé Barry

🎯 Objectifs

Optimiser la gestion des données pour la recherche en oncologie à travers une architecture scalable et automatisée.

🛠️ Missions principales

• Conception et déploiement de pipelines de données sur GCP via Composer (Airflow).
• Utilisation de PySpark Databricks pour le traitement de données biologiques.
• Orchestration des workflows.
• Monitoring automatisé et de tests unitaires.

📦 Technologies

Databricks, PySpark, GCP (BigQuery, Cloud Storage, CloudRun, Composer, Dataflow), ClickHouse

🎯 Objectifs

Mettre en place un système automatisé d’analyse concurrentielle de prix pour optimiser la stratégie tarifaire de l’entreprise.

🛠️ Missions principales

• Collecte quotidienne des prix concurrents via des scripts Python et scraping web hébergés sur Cloud Functions.
• Nettoyage et structuration des données avec Pandas, puis stockage sur BigQuery.
• Surveillance et sécurisation des flux de données.
• Orchestration du workflow complet avec Cloud Composer (Airflow).

📦 Technologies

Databricks, PySpark, GCP (BigQuery, Cloud Storage, CloudRun, Cloud Composer, Dataflow), GithubActions, Docker

🎯 Objectifs

Automatisation des fichiers prix hebdomadaires/mensuels sous Talend.

🛠️ Missions principales

• Conception et mise en oeuvre d’un pipeline de données automatisé sous Talend.
• Optimisation des requêtes et validation des structures de données.
• Documentation du projet sur confluence.

Talend, PostgreSQL, Oracle, GitLabCI, Jenkins, Jira/Confluence