Outil de scraping e-commerce

L'objectif est de développer un outil de scraping des produits top recherche de cdiscount.

Sur cdiscount, lorsque vous tapez deux lettres dans le champ de recherche, il vous propose les recherches les plus tapées commençant par ces deux lettres. Ainsi, il est possible d'obtenir la liste des recherches les plus tapées, et les produits correspondants, en faisant toutes les combinaisons de deux lettres: "aa", "ab"... "zz".

L'outil devra donc simuler la saisie de ces recherches, récupérer les 8 propositions de recherches correspondantes et se rendre sur ces pages pour récupérer la liste des produits (les URL suffiront) de la première page de chaque recherche. Bien évidemment, tout ceci en "headless", c'est à dire via un script autonome qui pilote un module type Selenium, ou alors en requêtes ajax directement (probablement plus performant).

Niveau langage, étant déjà développeur, j'ai une grande préférence pour Ruby, mais ça peut aussi se faire en PHP, ou si vraiment pas d'autre choix en Python. Pour la BDD, Mysql. Ayant déjà réalisé des scripts similaires, je peux être source de conseils et de code sur les particularités du site cdiscount pour gagner du temps.