Les meilleurs développeurs informatique freelances sont sur Codeur.com

Fixer un bug Colly Golang

 Fermé·Moins de 500 €·2 offres·253 vues


Je suis actuellement confronté à un problème avec mon scraper Colly en Golang. Lors de l'exécution, j'obtiens l'erreur suivante :

"2024/03/13 19:35:52 Fetched 1000 domains from API
goroutine 14 [running]:
github.com/gocolly/colly/v2/queue.(*Queue).Run(0xc00009c4e0, 0xc0000cc000)
[Email visible pour les membres Pro] +0x2ae
main.manageQueue(0x0?, 0x0?)
/app/main.go:76 +0x74
created by main.main in goroutine 1
/app/main.go:41 +0x2f3"

Mon objectif est le suivant :

Récupérer des domaines depuis mon API.
Effectuer un scraping récursif.
Réapprovisionner la file avant qu'elle ne soit vide en demandant de nouveaux domaines.
Répéter le processus de scraping.

J'ai déjà passé plusieurs heures à tenter d'expliquer ce problème, à ChatGPT sans résultat.

Budget indicatif : Moins de 500 €

Publication : 14 mars 2024 à 07h45

Profils recherchés : Développeur spécifique freelance, Expert BDD freelance, Développeur back-end freelance

Le profil du client est reservé aux prestataires abonnés

Créer un compte

Chaque jour, des centaines de clients utilisent Codeur.com pour trouver un prestataire. Créez votre compte dès maintenant, remplissez votre profil et trouvez de nouveaux clients.

Trouver des nouveaux clients

Votre navigateur Web n’est plus à jour. Il ne permet pas d’afficher correctement le site Codeur.com.
Nous vous invitons à mettre à jour votre navigateur ou à utiliser un autre navigateur plus récent.