Pour accéder à cette page,
inscrivez-vous gratuitement
Choisissez votre profil :
Déjà inscrit sur Codeur.com ? Se connecter
Je suis un data engineer professionnel avec un Master 2 en Data Science et plus de 5 ans d'expérience. Mon expertise couvre l'ensemble du cycle de…
depuis la création du compte
Confiez votre projet à Zakaria
Faites appel à l'expertise de Zakaria pour faire avancer votre projet, ou découvrez autres freelances pour trouver celui qui correspondra parfaitement à vos besoins.
Je suis un data engineer professionnel avec un Master 2 en Data Science et plus de 5 ans d'expérience. Mon expertise couvre l'ensemble du cycle de vie des données, de la collecte à la production, avec un accent particulier sur l'optimisation des processus et la garantie de la qualité des données.
Compétences clés :
Traitement et Analyse de Données : Maîtrise des langages SQL et Python, avec une expérience approfondie dans le traitement, l'exploration, l'analyse, et la visualisation de données, notamment avec Dataiku.
Gestion de Données Géospatiales : Utilisation avancée de PostGis pour enrichir les données géospatiales en respectant les règles métier spécifiques.
Assurance Qualité des Données : Expertise dans la caractérisation et la documentation de la qualité, de la confiance, et de la pertinence des données, utilisant des outils tels que Confluence.
Automatisation de Pipelines : Forte compétence dans le maintien et l'automatisation des pipelines, de l'intégration à la production, à l'aide de Python et GitLab.
Développement d'outils d'ingénierie des données : Expérience dans la création d'outils internes, notamment pour le déploiement des données avec Airflow et Dataiku.
Infrastructure et Déploiement : Gestion et maintenance de l'infrastructure basée sur GCP, BigQuery, Redis, Docker, et Kubernetes.
Intégration de Great Expectations : Utilisation de Great Expectations pour garantir la qualité des données tout au long du processus.
Supervision et Formation : Expérience dans la supervision et la formation d'internes, contribuant à développer des compétences au sein de l'équipe.
Gestion de Projet : Utilisation efficace d'outils tels que Jira et Trello pour une gestion transparente et efficace des projets.
Mon parcours professionnel m'a permis de développer une approche méthodique et rigoureuse envers les défis liés aux données, avec une attention particulière à l'innovation et à l'efficacité opérationnelle.
Si vous recherchez un expert en ingénierie des données avec une solide expérience, des compétences techniques approfondies, et une approche orientée résultats, n'hésitez pas à me contacter. Je suis prêt à relever de nouveaux défis passionnants et à contribuer au succès de votre entreprise.
- Conception, développement et mise en production de solutions de données performantes en utilisant des technologies Big Data avancées, notamment NIFI, Kafka, Cloudera, HDFS, PySpark et Hive.
- Ingestion et transformation des données pour répondre aux besoins analytiques et opérationnels.
- Exploitation des fonctionnalités de Dataiku pour automatiser et simplifier les workflows, garantissant des processus fiables et optimisés.
- Accompagnement des équipes dans l'adoption et l'utilisation optimale de Dataiku, en assurant leur montée en compétences et en partageant les meilleures pratiques.
- Collaboration avec les équipes pour élaborer et mettre en œuvre des solutions adaptées
Environnement Technique : Dataiku, Python, SQL, Pyspark, Cloudera, Nifi, HDFS, Kafka, Hue, Azure DevOps
- Analyse des notebooks existants contenant des scripts Python et des requêtes SQL pour identifier les points d'optimisation.
- Réécriture et optimisation des blocs de code pour améliorer les performances, la lisibilité et la maintenabilité.
- Mise en place de meilleures pratiques en matière de développement Python et SQL.
- Collaboration avec l'équipe pour comprendre les besoins et s'assurer que les résultats sont alignés avec les attentes.
Environnement Technique : Python, SQL, Jupyter notebook
- Développement et maintenance d'outils internes de data engineering spécialisés dans le l'import et le déploiement des données, en utilisant Airflow et les plugins de Dataiku.
- Utilisation de SQL, Python, Dataiku et PostGIS pour traiter, explorer, analyser et visualiser des données géospatiales.
- Gestion et maintenance de l'infrastructure d'inférence vision en utilisant Python, GCP, BigQuery, Redis, Docker et Kubernetes
- Réalisation de migrations de bases de données en utilisant des méthodes de dump/restore spécifiques à PostgreSQL.
- Automatisation de l'archivage et de la restauration des données entre la base de données et un bucket GCP, garantissant ainsi leur préservation et optimisant les coûts de la base.
- Maintenance et automatisation des pipelines en utilisant Python et GitLab CI/CD.
- Mise en place d'une automatisation pour l'insertion des métadonnées en reliant l'API JIRA à la base de données.
- Contribution à l'intégration de Great Expectations en Python pour garantir un niveau de qualité optimal des données.
- Encadrement et formation de stagiaires, contribuant ainsi à leur développement professionnel.
- Planification et gestion efficaces de projets grâce à l'utilisation de JIRA et Trello.
Environnement Technique : Python, SQL, Bash, PostgreSQL, Dataiku, Gitlab CI/CD, Docker, Airflow, GCP ( cloud SQL, Composer, Cloud Storage, BigQuery, IAM, Kubernetes Engine )
- Dispense de formations aux étudiants sur l'utilisation des périphériques et des services en ligne.
- Fourniture d'assistance aux étudiants pour les aider à concrétiser leurs projets de programmation.
Demandez un devis gratuitement en indiquant vos besoins, nous avertirons immédiatement Zakaria Difallah de votre demande
