Git Stars Git Stars

#crawling Dépôts

Découvrez 39 dépôts GitHub open source actifs associés à #crawling, cumulant 335,438 étoiles au total (soit une moyenne de 8,600 étoiles par projet). Le projet en tête de ce thème est D4Vinci/Scrapling, avec 104,760 étoiles.

39
Total des Dépôts
335,438
Nombre total d'étoiles
8,600
Moyenne d'Étoiles/Dépôt
1
D4Vinci/Scrapling

🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Mis à jour 2026-11-17 📅 Créé 2024-10-13
2
scrapy/scrapy

Scrapy, un framework rapide de haut niveau pour le crawling et le scraping web en Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2010-02-22
3
apify/crawlee

Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-08-26
4
gocolly/colly

Cadre élégant de scraping et de crawling pour Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Mis à jour 2026-10-16 📅 Créé 2017-09-29
5
getmaxun/maxun

Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-10-23
6
codelucas/newspaper

newspaper3k est une extraction de nouvelles, de texte intégral et de métadonnées d'articles en Python 3. Documentation avancée :

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Mis à jour 2026-10-26 📅 Créé 2013-11-25
7
apify/crawlee-python

Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-01-10
8
lorien/awesome-web-scraping

Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Mis à jour 2026-11-21 📅 Créé 2015-08-12
9
go-rod/rod

Un pilote du protocole Chrome DevTools pour l'automatisation web et le scraping.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Mis à jour 2026-08-11 📅 Créé 2020-01-21
10
exa-labs/exa-mcp-server

Exa MCP pour la recherche sur le web et le web crawling !

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-11-27
11
hakluke/hakrawler

Simple et rapide web crawler conçu pour une découverte facile et rapide des points de terminaison et des actifs au sein d'une application web

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 Mis à jour 2026-08-05 📅 Créé 2019-12-15
12
ai-robots-txt/ai.robots.txt

Une liste d'agents et de robots IA à bloquer.

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2024-03-27
13
hardkoded/puppeteer-sharp

API .NET Chrome sans tête

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2017-09-30
14
edoardottt/cariddi

Prenez une liste de domaines, explorez les URL et recherchez des points d'accès, des secrets, des clés d'API, des extensions de fichiers, des jetons et plus encore.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Mis à jour 2026-11-19 📅 Créé 2021-04-27
15
apache/nutch

Apache Nutch est un crawler web extensible et scalable

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2009-05-21
16
transitive-bullshit/awesome-puppeteer

Une liste sélectionnée de ressources Puppeteer formidables.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Mis à jour 2024-07-19 📅 Créé 2018-05-07
17
lorien/grab

Framework de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Mis à jour 2025-09-19 📅 Créé 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳 Données sur les jours fériés légaux en Chine Récupérées automatiquement quotidiennement à partir des annonces du Conseil d'État

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 Mis à jour 2026-11-21 📅 Créé 2019-03-05
19
zorlan/skycaiji

Blue Sky Collector est un système de scraping open source et gratuit qui ne nécessite que la sélection et la modification des règles pour collecter des données. Il peut fonctionner localement, sur un hébergement virtuel ou sur un serveur cloud, et peut collecter presque tous les types de pages Web. Il s'intègre parfaitement à divers programmes de création de sites Web CMS, publie des données en temps réel sans connexion et sans intervention humaine ! C'est un système de scraping cloud entièrement multiplateforme dans le logiciel de collecte de données massives sur le Web.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Mis à jour 2026-10-07 📅 Créé 2018-02-26
20
rebrowser/rebrowser-patches

Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à éviter les pages CAPTCHA de Cloudflare et DataDome. Facile à patcher/dépatcher, peut être activé/désactivé à la demande.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Mis à jour 2026-11-02 📅 Créé 2024-08-06
21
roach-php/core

La boîte à outils complète de web scraping pour PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Mis à jour 2025-10-27 📅 Créé 2021-08-17
22
lorey/mlscraper

🤖 Scrapez des données de sites Web HTML automatiquement en fournissant simplement des exemples

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Mis à jour 2024-03-17 📅 Créé 2020-07-30
23
webrecorder/browsertrix-crawler

Exécutez un programme d'exploration d'archivage Web basé sur un navigateur haute fidélité dans un seul conteneur Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2020-11-02
24
needleworm/bhban_rpa

Ceci est un code d'exemple de <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Il s'agit d'un exemple destiné aux personnes qui n'ont jamais appris Python, et il offre des exemples dans divers domaines liés à l'automatisation des tâches, allant d'Excel au design, en passant par les macros et le crawling.

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 Mis à jour 2026-10-25 📅 Créé 2020-02-11
25
dondai44423/donsetch

Extraction, recherche et exploration web pour agents IA. Conçu de zéro en Rust. Sans clés, sans comptes. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-08-07
26
scrapfly/scrapfly-scrapers

Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-22
27
elixir-crawly/crawly

Crawly, un framework de haut niveau pour le web crawling et scraping pour Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawler est un outil d'exploration et d'analyse de sites Web multiplateforme pour l'optimisation du référencement, de la sécurité, de l'accessibilité et des performances, idéal pour les développeurs, les ingénieurs DevOps, les ingénieurs QA et les consultants. Prend en charge Windows, macOS et Linux (x64 et arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Mis à jour 2026-09-27 📅 Créé 2023-10-04
29
clemfromspace/scrapy-selenium

Middleware Scrapy pour gérer les pages JavaScript en utilisant Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Mis à jour 2026-04-13 📅 Créé 2018-02-11
30
mishakorzik/AdminHack

aujourd'hui, nous allons pirater le panneau d'administration du site.

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 Mis à jour 2026-09-10 📅 Créé 2021-05-16
31
scrapinghub/scrapyrt

API HTTP pour les spiders Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Mis à jour 2026-10-13 📅 Créé 2015-01-06
32
StJudeWasHere/seonaut

Outil d'audit SEO open source.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Mis à jour 2026-10-08 📅 Créé 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

Code de tutoriel simple mais utile pour le web scraping en Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Mis à jour 2024-04-07 📅 Créé 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Scraper de profils LinkedIn renvoyant des données de profil structurées en JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Mis à jour 2024-04-05 📅 Créé 2018-12-21
35
lumpinif/deepcrawl

100 % gratuit et alternative open-source complète à Firecrawl edge avec une extraction de liens meilleure pour les agents - que vous pouvez déployer vous-même sur Cloudflare ou Vercel.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Mis à jour 2026-08-24 📅 Créé 2025-05-22
36
cxcscmu/Craw4LLM

Dépôt officiel pour "Craw4LLM : Crawl Web efficace pour la pré-formation LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Mis à jour 2025-02-24 📅 Créé 2025-02-17
37
l4rm4nd/LinkedInDumper

Script Python 3 pour décharger/extraire/extraire les employés d'une entreprise de l'API LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Mis à jour 2026-08-21 📅 Créé 2022-10-17
38
scrapinghub/spidermon

Extension Scrapy pour surveiller l'exécution des spiders.

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 Mis à jour 2026-10-20 📅 Créé 2015-11-17
39
zhuyingda/webster

Un framework fiable de haut niveau pour le web crawling et scraping pour Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Mis à jour 2025-03-12 📅 Créé 2017-11-04

Foire aux questions

1

Quel est le dépôt #crawling le plus populaire sur GitHub ?

Le projet #crawling open source le mieux classé sur GitHub est D4Vinci/Scrapling, avec 104,760 étoiles. 🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev

2

Quels langages de programmation sont les plus utilisés dans les dépôts #crawling ?

Parmi les projets #crawling les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Go, JavaScript.

3

Comment le classement des dépôts #crawling est-il calculé ?

Nous suivons 39 dépôts open source actifs associés à #crawling (500+ étoiles), totalisant 335,438 étoiles, avec une moyenne de 8,600 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.