Git Stars Git Stars

#crawling 仓库

探索 39 个标记为 #crawling 的活跃开源 GitHub 仓库,它们累计获得 335,438 个 Star(平均每个项目 8,600 个)。该主题的领先项目是 D4Vinci/Scrapling,拥有 104,760 个 Star。

39
仓库总数
335,438
总星标数
8,600
平均每个仓库星标数
1
D4Vinci/Scrapling

🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 已更新 2026-11-17 📅 创建时间 2024-10-13
2
scrapy/scrapy

Scrapy,一个快速的高级 Python Web 爬虫和抓取框架。

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 已更新 2026-11-19 📅 创建时间 2010-02-22
3
apify/crawlee

Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-08-26
4
gocolly/colly

优雅的Golang爬虫与抓取框架

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 已更新 2026-10-16 📅 创建时间 2017-09-29
5
getmaxun/maxun

将任何网站转化为结构化 API。提取、自动化、搜索并监控网络内容。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-10-23
6
codelucas/newspaper

newspaper3k 是一个用于 Python 3 的新闻、全文和文章元数据提取器。高级文档:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 已更新 2026-10-26 📅 创建时间 2013-11-25
7
apify/crawlee-python

Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-01-10
8
lorien/awesome-web-scraping

用于网络抓取和数据处理的库、工具和 API 列表。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 已更新 2026-11-21 📅 创建时间 2015-08-12
9
go-rod/rod

用于网页自动化和抓取的 Chrome DevTools 协议驱动程序。

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 已更新 2026-08-11 📅 创建时间 2020-01-21
10
exa-labs/exa-mcp-server

Exa MCP 用于网络搜索和网络爬取!

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-11-27
11
hakluke/hakrawler

简单、快速的网络爬虫,专为轻松快速发现 Web 应用程序中的端点和资产而设计

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 已更新 2026-08-05 📅 创建时间 2019-12-15
12
ai-robots-txt/ai.robots.txt

要阻止的 AI 代理和机器人的列表。

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 已更新 2026-11-16 📅 创建时间 2024-03-27
13
hardkoded/puppeteer-sharp

无头 Chrome .NET API

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 已更新 2026-11-21 📅 创建时间 2017-09-30
14
edoardottt/cariddi

获取域名列表,抓取URL,并扫描端点、密钥、API密钥、文件扩展名、令牌等。

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 已更新 2026-11-19 📅 创建时间 2021-04-27
15
apache/nutch

Apache Nutch 是一个可扩展且可伸缩的网络爬虫

apache
⭐ 3,311 Java 👤 apache Organization 🕐 已更新 2026-11-17 📅 创建时间 2009-05-21
16
transitive-bullshit/awesome-puppeteer

精选的优秀 Puppeteer 资源列表。

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 已更新 2024-07-19 📅 创建时间 2018-05-07
17
lorien/grab

Web 抓取框架

lorien
⭐ 2,461 Python 👤 lorien User 🕐 已更新 2025-09-19 📅 创建时间 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳中国法定节假日数据 自动每日抓取国务院公告

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 已更新 2026-11-21 📅 创建时间 2019-03-05
19
zorlan/skycaiji

蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 已更新 2026-10-07 📅 创建时间 2018-02-26
20
rebrowser/rebrowser-patches

用于 puppeteer 和 playwright 的补丁集合,以避免自动化检测和泄露。有助于绕过 Cloudflare 和 DataDome CAPTCHA 页面。易于打补丁/取消补丁,可按需启用/禁用。

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 已更新 2026-11-02 📅 创建时间 2024-08-06
21
roach-php/core

PHP 的完整网络抓取工具包。

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 已更新 2025-10-27 📅 创建时间 2021-08-17
22
lorey/mlscraper

🤖 只需提供示例即可自动抓取 HTML 网站的数据

lorey
⭐ 1,370 Python 👤 lorey User 🕐 已更新 2024-03-17 📅 创建时间 2020-07-30
23
webrecorder/browsertrix-crawler

在单个 Docker 容器中运行高保真浏览器网页归档爬虫

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 已更新 2026-11-19 📅 创建时间 2020-11-02
24
needleworm/bhban_rpa

这是来自《<6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)》的示例代码。此代码面向从未学习过Python的人,涵盖从Excel、设计、宏、爬虫等与工作自动化相关的多领域示例。

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 已更新 2026-10-25 📅 创建时间 2020-02-11
25
dondai44423/donsetch

面向 AI 智能体的网页获取、搜索与爬取。使用 Rust 从零构建。无需密钥,无需账户。AGPL v3。

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 已更新 2026-11-21 📅 创建时间 2026-08-07
26
scrapfly/scrapfly-scrapers

适用于 80 多个热门网站的可扩展 Python 网页抓取脚本

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-22
27
elixir-crawly/crawly

Crawly,Elixir 的高级 Web 爬虫和抓取框架。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawler 是一个跨平台网站爬虫和分析器,用于 SEO、安全、可访问性和性能优化,是开发人员、DevOps、QA 工程师和顾问的理想选择。支持 Windows、macOS 和 Linux (x64 和 arm64)。

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 已更新 2026-09-27 📅 创建时间 2023-10-04
29
clemfromspace/scrapy-selenium

使用 Selenium 处理 JavaScript 页面的 Scrapy 中间件

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 已更新 2026-04-13 📅 创建时间 2018-02-11
30
mishakorzik/AdminHack

今天我们将入侵该站点的管理面板。

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 已更新 2026-09-10 📅 创建时间 2021-05-16
31
scrapinghub/scrapyrt

Scrapy爬虫的HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 已更新 2026-10-13 📅 创建时间 2015-01-06
32
StJudeWasHere/seonaut

开源SEO审计工具。

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 已更新 2026-10-08 📅 创建时间 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

简单但有用的 Python 网页抓取教程代码。

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 已更新 2024-04-07 📅 创建时间 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 个人资料抓取器,返回 JSON 格式的结构化个人资料数据。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 已更新 2024-04-05 📅 创建时间 2018-12-21
35
lumpinif/deepcrawl

100% 免费且完全开源的 Firecrawl edge 替代品,具有更好的链接提取功能,适用于代理 - 您可以自行部署到 Cloudflare 或 Vercel。

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 已更新 2026-08-24 📅 创建时间 2025-05-22
36
cxcscmu/Craw4LLM

"Craw4LLM:LLM 预训练的高效网络爬取"的官方仓库

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 已更新 2025-02-24 📅 创建时间 2025-02-17
37
l4rm4nd/LinkedInDumper

用于从 LinkedIn API 转储/抓取/提取公司员工的 Python 3 脚本

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 已更新 2026-08-21 📅 创建时间 2022-10-17
38
scrapinghub/spidermon

用于监控爬虫执行的 Scrapy 扩展。

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 已更新 2026-10-20 📅 创建时间 2015-11-17
39
zhuyingda/webster

一个可靠的高级 Node.js 网络爬虫与抓取框架。

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 已更新 2025-03-12 📅 创建时间 2017-11-04

常见问题解答

1

GitHub 上最受欢迎的 #crawling 仓库是什么?

GitHub 上排名第一的开源 #crawling 项目是 D4Vinci/Scrapling,拥有 104,760 个 Star。🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev

2

#crawling 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #crawling 项目中,最常见的编程语言是 Python, TypeScript, Go, JavaScript。

3

#crawling 仓库的排名是如何计算的?

我们跟踪了 39 个标记为 #crawling 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 335,438 个 Star,平均每个仓库拥有 8,600 个 Star。排名每日根据 GitHub API 更新。