Git Stars Git Stars

#web-scraping Dépôts

Découvrez 381 dépôts GitHub open source actifs associés à #web-scraping, cumulant 2,147,590 étoiles au total (soit une moyenne de 5,636 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.

381
Total des Dépôts
2.1M
Nombre total d'étoiles
5,636
Moyenne d'Étoiles/Dépôt
1
firecrawl/firecrawl

Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-04-15
2
jackfrued/Python-100-Days

Python - 100 jours du débutant au maître

jackfrued
⭐ 187,961 Jupyter Notebook 👤 jackfrued User 🕐 Mis à jour 2026-07-29 📅 Créé 2018-03-01
3
ytdl-org/youtube-dl

Programme en ligne de commande pour télécharger des vidéos depuis YouTube.com et d'autres sites vidéo

ytdl-org
⭐ 141,627 Python 👤 ytdl-org Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2010-10-31
4
browser-use/browser-use

Bibliothèque Python open source pour les agents de navigation IA, ainsi que Browser Use Cloud : des navigateurs furtifs et une API d’agent hébergée.

browser-use
⭐ 121,654 Python 👤 browser-use Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-10-31
5
D4Vinci/Scrapling

🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Mis à jour 2026-11-17 📅 Créé 2024-10-13
6
unclecode/crawl4ai

Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Mis à jour 2026-11-20 📅 Créé 2024-05-09
7
NanmiCoder/MediaCrawler

Note Xiaohongshu | Crawler de commentaires, Vidéo Douyin | Crawler de commentaires, Vidéo Kuaishou | Crawler de commentaires, Vidéo Bilibili | Crawler de commentaires, Publication Weibo | Crawler de commentaires, Publication Baidu Tieba | Crawler de réponses de commentaires Baidu Tieba | Article Question/Réponse Zhihu | Crawler de commentaires

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-06-09
8
scrapy/scrapy

Scrapy, un framework rapide de haut niveau pour le crawling et le scraping web en Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2010-02-22
9
soimort/you-get

:arrow_double_down: Téléchargeur simple qui gratte le web

soimort
⭐ 56,851 Python 👤 soimort User 🕐 Mis à jour 2026-11-15 📅 Créé 2012-08-20
10
gedoor/legado

Lecteur de livres Legado 3.0 avec contrôles puissants et fonctions complètes ❤️ Lecture 3.0, Lecture est un outil qui permet des sources personnalisées pour lire du contenu en ligne, offrant aux amateurs de littérature en réseau une expérience de lecture d'essai pratique, rapide et confortable.

gedoor
⭐ 47,268 Kotlin 👤 gedoor User 🕐 Mis à jour 2026-05-27 📅 Créé 2019-05-22
11
JCodesMore/ai-website-cloner-template

Clonez n'importe quel site web avec une seule commande en utilisant des agents de codage IA

JCodesMore
⭐ 39,582 TypeScript 👤 JCodesMore User 🕐 Mis à jour 2026-11-10 📅 Créé 2026-03-13
12
dgtlmoon/changedetection.io

Le meilleur outil, aussi simple qu’efficace, pour détecter les changements sur les sites web, surveiller les pages web et recevoir des alertes. Idéal pour suivre les modifications de contenu, les baisses de prix, les alertes de réapprovisionnement et les défigurations de sites web — MCP inclus ! Tout est gratuit, ou profitez de notre offre SaaS !

dgtlmoon
⭐ 35,939 Python 👤 dgtlmoon User 🕐 Mis à jour 2026-11-20 📅 Créé 2021-01-27
13
CloakHQ/CloakBrowser

Chromium furtif qui réussit tous les tests de détection des bots. Remplacement direct de Playwright avec des correctifs d’empreinte numérique au niveau du code source. Plus de 50 tests réussis.

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-02-22
14
ScrapeGraphAI/Scrapegraph-ai

Scraper Python basé sur l'IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Mis à jour 2026-10-06 📅 Créé 2024-01-27
15
apify/crawlee

Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-08-26
16
browserbase/stagehand

Le SDK pour extraire des données et interagir avec n’importe quel site web. Commencez avec Claude Code, Codex, Eve, Mastra et bien plus encore.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-03-24
17
lexmount/moli

Le meilleur navigateur headless pour les agents d’IA. Léger, rapide et hautement compatible. Développé en Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-08-10
18
Evil0ctal/Douyin_TikTok_Download_API

🚀 API auto-hébergée de collecte de données et de téléchargement de vidéos sans filigrane pour Douyin, TikTok et Bilibili. Prise en charge des appels par des agents IA via MCP et de la transcription vocale hors ligne. Déploiement Docker en un clic. | Extracteur auto-hébergé pour TikTok, Douyin et Bilibili et téléchargeur de vidéos sans filigrane — API REST asynchrone, serveur MCP pour les agents IA, CLI et console Web, ainsi que transcription vocale hors ligne des vidéos téléchargées. Pool d’identités autoréparateur, archivage PostgreSQL et lancement en une commande avec `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Mis à jour 2026-11-20 📅 Créé 2021-11-07
19
getmaxun/maxun

Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-10-23
20
MODSetter/SurfSense

Alternative open source à NotebookLM, isolée des réseaux et axée sur la confidentialité. Un agent d’IA qui recherche, transforme et modifie vos documents. Rejoignez notre Discord : https://discord.gg/ejRNvftDp9

MODSetter
⭐ 16,907 Python 👤 MODSetter User 🕐 Mis à jour 2026-11-14 📅 Créé 2024-07-30
21
yusufkaraaslan/Skill_Seekers

Convertissez les sites web de documentation, les référentiels GitHub et les PDF en compétences d'IA Claude avec détection automatique des conflits

yusufkaraaslan
⭐ 15,351 Python 👤 yusufkaraaslan User 🕐 Mis à jour 2026-11-16 📅 Créé 2025-10-17
22
pjialin/py12306

🚂 Assistant d'achat de billets 12306, prend en charge les clusters, plusieurs comptes, achat de billets multitâche et gestion de pages Web

pjialin
⭐ 14,960 Python 👤 pjialin User 🕐 Mis à jour 2026-10-01 📅 Créé 2019-01-07
23
nanobrowser/nanobrowser

Agent d’IA open source pour l’automatisation du Web. Utilisez votre navigateur réel, déjà connecté, pour automatiser vos tâches quotidiennes.

nanobrowser
⭐ 14,359 TypeScript 👤 nanobrowser Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2024-12-31
24
seleniumbase/SeleniumBase

Automatisation de navigateur rapide et fiable pour les tests de bout en bout, le scraping et la navigation furtive. Contourne la détection des bots grâce au mode CDP. S’intègre à pytest, Playwright et MCP.

seleniumbase
⭐ 13,272 Python 👤 seleniumbase Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2014-03-04
25
jiji262/douyin-downloader

Un outil pratique de téléchargement Douyin prenant en charge les téléchargements d’éléments individuels et de profils par lots, avec affichage de la progression, nouvelles tentatives, déduplication SQLite et prise en charge d’un mode de secours via le navigateur. Outil de téléchargement par lots Douyin prenant en charge les vidéos, les albums d’images, les collections et la musique (audio original).

jiji262
⭐ 12,644 Python 👤 jiji262 User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-25
26
jo-inc/camofox-browser

Navigateur headless furtif pour agents IA — contourne Cloudflare, détection de bots et anti-scraping. Remplacement drop-in de Puppeteer/Playwright.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 Mis à jour 2026-11-10 📅 Créé 2026-01-26
27
jhy/jsoup

jsoup : l'analyseur HTML Java, conçu pour l'édition, le nettoyage, le scraping et la sécurité XSS de HTML.

jhy
⭐ 11,418 Java 👤 jhy User 🕐 Mis à jour 2026-11-18 📅 Créé 2009-12-19
28
NopeCHALLC/nopecha-extension

Résolveur CAPTCHA automatisé pour votre navigateur. Fonctionne avec Selenium, Puppeteer, Playwright, et plus encore.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 Mis à jour 2026-10-02 📅 Créé 2023-03-23
29
pinchtab/pinchtab

Pont d'automatisation de navigateur haute performance et orchestrateur multi-instance avec injection furtive avancée et tableau de bord en temps réel.

pinchtab
⭐ 10,599 Go 👤 pinchtab Organization 🕐 Mis à jour 2026-11-10 📅 Créé 2026-02-15
30
apify/crawlee-python

Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-01-10
31
scrapinghub/portia

Scraping visuel pour Scrapy

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 Mis à jour 2024-06-26 📅 Créé 2014-03-21
32
nashsu/FreeAskInternet

FreeAskInternet est un agrégateur de recherche et un générateur de réponses entièrement gratuit, PRIVÉ et fonctionnant LOCALEMENT, utilisant DES LLM MULTIPLES, sans nécessiter de GPU. L'utilisateur peut poser une question et le système effectuera une recherche multi-moteurs et combinera le résultat de la recherche avec un LLM pour générer la réponse basée sur les résultats de la recherche. Tout est GRATUIT à utiliser.

nashsu
⭐ 8,734 Python 👤 nashsu User 🕐 Mis à jour 2024-04-18 📅 Créé 2024-04-05
33
cv-cat/Spider_XHS

Collecte de données par crawler Xiaohongshu (RED), rétro-ingénierie de Xiaohongshu, messages privés, diffusion en direct et solutions d'exploitation globale sur Xiaohongshu

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 Mis à jour 2026-10-22 📅 Créé 2023-08-08
34
cporter202/API-mega-list

Ce dépôt GitHub est une collection impressionnante d'API que vous pouvez commencer à utiliser immédiatement pour construire tout, des simples automatisations aux applications à grande échelle. L'une des listes d'API les plus précieuses sur GitHub, point final. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Mis à jour 2026-11-19 📅 Créé 2025-12-09
35
ericchiang/pup

Analyse HTML en ligne de commande

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 Mis à jour 2024-05-02 📅 Créé 2014-09-01
36
mherrmann/helium

Automatisation web plus légère avec Python

mherrmann
⭐ 8,333 Python 👤 mherrmann User 🕐 Mis à jour 2026-10-22 📅 Créé 2019-11-26
37
gosom/google-maps-scraper

extraire des données de Google Maps. Extrait des données telles que le nom, l'adresse, le numéro de téléphone, l'URL du site web, la note, le nombre d'avis, la latitude et la longitude, les avis, l'email et plus pour chaque lieu

gosom
⭐ 8,291 Go 👤 gosom User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-04-22
38
lorien/awesome-web-scraping

Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Mis à jour 2026-11-21 📅 Créé 2015-08-12
39
alirezamika/autoscraper

Un récupérateur Web intelligent, automatique, rapide et léger pour Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Mis à jour 2026-07-29 📅 Créé 2020-08-31
40
firecrawl/firecrawl-mcp-server

Serveur MCP officiel de Firecrawl, l’API de contexte pour les agents d’IA : recherchez, extrayez et interagissez avec le Web, et analysez, explorez, cartographiez et utilisez Agent et Monitor depuis n’importe quel client MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-12-06
41
WECENG/ticket-purchase

Billets automatiques d'orge, prend en charge la sélection des personnes, des villes, des dates et des prix

WECENG
⭐ 7,844 Python 👤 WECENG User 🕐 Mis à jour 2026-05-14 📅 Créé 2023-10-12
42
mgdm/htmlq

Comme jq, mais pour HTML.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 Mis à jour 2026-05-27 📅 Créé 2019-05-07
43
go-rod/rod

Un pilote du protocole Chrome DevTools pour l'automatisation web et le scraping.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Mis à jour 2026-08-11 📅 Créé 2020-01-21
44
adbar/trafilatura

Outil Python et en ligne de commande pour collecter du texte et des métadonnées sur le Web : Crawling, scraping, extraction, sortie au format CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Mis à jour 2026-11-20 📅 Créé 2019-04-08
45
autoscrape-labs/pydoll

Pydoll est une bibliothèque pour automatiser les navigateurs basés sur Chromium sans WebDriver, offrant des interactions réalistes.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 Mis à jour 2026-11-08 📅 Créé 2024-10-27
46
lexiforest/curl_cffi

Liaison Python pour la dérivation de curl-impersonate via cffi. Un client http qui peut usurper les empreintes digitales TLS/JA3/HTTP2 du navigateur.

lexiforest
⭐ 6,909 Python 👤 lexiforest User 🕐 Mis à jour 2026-11-21 📅 Créé 2022-03-10
47
browser-act/skills

CLI d'automatisation de navigateur conçue pour les agents IA. Brisez les murs anti-bot, passez aux humains sur plusieurs plateformes en cas de blocage. Exécution parallèle de plusieurs tâches, fonctionnement indépendant de plusieurs sessions, navigation isolée de plusieurs comptes.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 Mis à jour 2026-11-04 📅 Créé 2026-02-06
48
nickscamara/open-deep-research

Un clone de recherche approfondie open source. Agent IA qui raisonne sur de grandes quantités de données Web extraites avec Firecrawl.

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 Mis à jour 2025-05-07 📅 Créé 2025-02-03
49
MontFerret/ferret

Langage d'automatisation de données déclaratif et runtime Go pour les workflows d'extraction structurée.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2018-08-23
50
RedSiege/EyeWitness

EyeWitness est conçu pour capturer des captures d'écran de sites Web, fournir des informations sur les en-têtes de serveur et identifier les identifiants par défaut si possible.

RedSiege
⭐ 5,906 Python 👤 RedSiege Organization 🕐 Mis à jour 2026-01-05 📅 Créé 2014-02-26

Foire aux questions

1

Quel est le dépôt #web-scraping le plus populaire sur GitHub ?

Le projet #web-scraping open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #web-scraping ?

Parmi les projets #web-scraping les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, JavaScript, Go.

3

Comment le classement des dépôts #web-scraping est-il calculé ?

Nous suivons 381 dépôts open source actifs associés à #web-scraping (500+ étoiles), totalisant 2,147,590 étoiles, avec une moyenne de 5,636 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.