Étude de cas · open source
magpie : un scraper open source qui survit au web ouvert
Notre moteur de scraping, construit au grand jour. Pools de proxys, escalade par vrais navigateurs et plus de 600 tests, pour que les missions ne cassent pas la deuxième semaine.
Les sites sont conçus pour tenir les robots à distance
Les sites modernes cachent leurs données derrière des murs anti-bots, changent leur structure et brident quiconque demande trop vite. Un scraper qui marche lundi est mort vendredi, et une IP bloquée peut griller tout un projet. Scripts maison, prototypes de freelance, datasets achetés : tout échoue pareil. En silence, une semaine après la livraison.
Alors avant de vendre la moindre mission, on a construit l'outil dont on avait besoin nous-mêmes, en open source, avec la discipline ennuyeuse que la plupart des scrapers sautent.
Partir du principe que le site va se défendre
magpie tourne dans un pool de proxys avec bascule automatique : une sortie bloquée n'arrête jamais une exécution. Quand un défi apparaît, il escalade vers de vrais profils de navigateurs, six, chacun avec son empreinte, au lieu de frapper plus fort. Le rythme des requêtes reste sous les seuils, les exécutions sont groupées et comparées pour voir exactement ce qui a changé, et chaque capacité est aussi exposée en outils MCP, pour que les agents IA puissent le piloter.
Le tout couvert par plus de 600 tests automatisés et livré en un seul binaire Go statique. Aucune dépendance, rien à installer chez vous.
Le moteur derrière chaque mission
magpie tourne sur chaque mission Motherlode. Quand une cible se défend, le combat est déjà réglé, et c'est comme ça qu'on peut promettre une livraison en 72 h avec des lignes d'exemple le jour même.
Et comme c'est open source, vous pouvez lire chaque ligne avant de lui confier vos données. Vous voulez ce moteur pointé sur votre cible ? C'est littéralement notre métier.
Pourquoi ça existe
"On ne cherchait pas à faire un produit. On cherchait à arrêter de réécrire le même scraper toutes les trois semaines. magpie, c'est ce refus qui a tourné."
Prêt à voir vos données ?
Envoyez le site et les champs. Vous recevez un devis fixe sous 24 heures. Sans engagement, sans deck commercial.