Développer un script Python avec des données en Open Data

Dans le cadre du développement de notre nouveau projet de moteur de recherche d'entreprises et d'associations, nous sommes à la recherche d'un(e) passionné(e) par Python, le big data et le développement logiciel. Ce projet vise à exploiter des données publiques disponibles en Open Data afin de créer et alimenter une base de données NoSQL riche et diversifiée. Notre objectif est de faciliter l'accès à des informations détaillées sur les entreprises et les associations pour nos utilisateurs. À terme, ces données seront combinées pour enrichir le moteur de recherche avec des informations supplémentaires telles que l'adresse web, les emails, les certifications, etc.

Les scripts développés seront exécutés une à deux fois par mois afin de mettre à jour la base de données. Cette mise à jour comprend l'ajout de nouvelles structures ou la modification des structures existantes si nécessaire. Étant donné que les fichiers de données publiques (au format CSV ou Excel) peuvent atteindre jusqu'à 2 Go, l'optimisation de la lecture de ces fichiers est essentielle pour garantir une compatibilité avec tous types d'ordinateurs personnels. Chaque script devra générer un document JSON par structure identifiée, dont la structure sera précisée lors de la validation de la mission.

Voici quelques exemples de fichiers qui seront utilisés dans ce projet :
- Base SIRENE des entreprises et de leurs établissements (SIREN, SIRET): [URL visible pour les membres Pro],
- Géolocalisation des établissements du répertoire SIRENE pour les études statistiques: [URL visible pour les membres Pro],
- Répertoire National des Associations: [URL visible pour les membres Pro]