Git Stars Git Stars

#scraping 仓库

探索 109 个标记为 #scraping 的活跃开源 GitHub 仓库,它们累计获得 768,143 个 Star(平均每个项目 7,047 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。

109
仓库总数
768,143
总星标数
7,047
平均每个仓库星标数

共 109 个仓库

1
firecrawl/firecrawl

让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-15
2
D4Vinci/Scrapling

🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 已更新 2026-11-17 📅 创建时间 2024-10-13
3
scrapy/scrapy

Scrapy,一个快速的高级 Python Web 爬虫和抓取框架。

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 已更新 2026-11-19 📅 创建时间 2010-02-22
4
soxoj/maigret

🕵️‍♂️ 从 6,000 个网站通过用户名收集某人的档案

soxoj
⭐ 41,111 Python 👤 soxoj User 🕐 已更新 2026-11-21 📅 创建时间 2020-06-27
5
ScrapeGraphAI/Scrapegraph-ai

基于AI的Python爬虫

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2026-10-06 📅 创建时间 2024-01-27
6
apify/crawlee

Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-08-26
7
gocolly/colly

优雅的Golang爬虫与抓取框架

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 已更新 2026-10-16 📅 创建时间 2017-09-29
8
psf/requests-html

Pythonic HTML 解析,为人类™

psf
⭐ 13,874 Python 👤 psf Organization 🕐 已更新 2024-04-16 📅 创建时间 2018-02-24
9
daijro/camoufox

🦊 反检测浏览器

daijro
⭐ 13,533 C 👤 daijro User 🕐 已更新 2026-11-19 📅 创建时间 2024-07-26
10
ultrafunkamsterdam/undetected-chromedriver

自定义 Selenium Chromedriver | 零配置 | 通过所有机器人缓解系统(如 Distil / Imperva / Datadadome / CloudFlare IUAM)

ultrafunkamsterdam
⭐ 12,725 Python 👤 ultrafunkamsterdam User 🕐 已更新 2025-07-05 📅 创建时间 2019-12-22
11
jo-inc/camofox-browser

AI 代理的隐身无头浏览器 — 绕过 Cloudflare、机器人检测和反爬虫。Puppeteer/Playwright 的即插即用替代品。

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 已更新 2026-11-10 📅 创建时间 2026-01-26
12
code4craft/webmagic

一个可扩展的Java网络爬虫框架。

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 已更新 2025-12-20 📅 创建时间 2013-04-23
13
apify/crawlee-python

Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-01-10
14
lorien/awesome-web-scraping

用于网络抓取和数据处理的库、工具和 API 列表。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 已更新 2026-11-21 📅 创建时间 2015-08-12
15
alirezamika/autoscraper

一款针对 Python 的智能、自动、快速且轻量级的网页抓取器

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 已更新 2026-07-29 📅 创建时间 2020-08-31
16
tabulapdf/tabula

Tabula 是一个用于解放被困在 PDF 文件中的数据表的工具

tabulapdf
⭐ 7,414 CSS 👤 tabulapdf Organization 🕐 已更新 2025-03-14 📅 创建时间 2013-03-11
17
adbar/trafilatura

Python 和命令行工具,用于从网络上收集文本和元数据:爬取、抓取、提取,以 CSV、JSON、HTML、MD、TXT、XML 输出

adbar
⭐ 7,157 Python 👤 adbar User 🕐 已更新 2026-11-20 📅 创建时间 2019-04-08
18
autoscrape-labs/pydoll

Pydoll 是一个用于自动化基于 Chromium 的浏览器而无需 WebDriver 的库,可提供逼真的交互。

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 已更新 2026-11-08 📅 创建时间 2024-10-27
19
proxifly/free-proxy-list

🚀 免费 HTTP、SOCKS4 和 SOCKS5 代理列表 * 每 5 分钟更新一次 * 以及轮换代理 API(覆盖 100 多个国家/地区)

proxifly
⭐ 7,083 👤 proxifly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-07-13
20
jaypyles/Scraperr

自托管网页抓取器。

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 已更新 2025-10-12 📅 创建时间 2024-07-06
21
d60/twikit

Twitter API 爬虫 | 无需 API 密钥 | Twitter 内部 API | 免费 | Twitter 爬虫 | Twitter 机器人

d60
⭐ 4,785 Python 👤 d60 User 🕐 已更新 2026-03-10 📅 创建时间 2024-01-20
22
bjesus/pipet

用于抓取和提取在线资产数据的瑞士军刀工具,专为黑客打造

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 已更新 2024-10-12 📅 创建时间 2024-08-31
23
sparklemotion/mechanize

Mechanize 是一个 Ruby 库,它使自动化 Web 交互变得容易。

sparklemotion
⭐ 4,443 Ruby 👤 sparklemotion Organization 🕐 已更新 2026-10-26 📅 创建时间 2008-04-18
24
CodeCutTech/Data-science

收集有用的数据科学主题以及文章、视频和代码

CodeCutTech
⭐ 4,158 Jupyter Notebook 👤 CodeCutTech Organization 🕐 已更新 2025-11-16 📅 创建时间 2020-07-17
25
kalil0321/reverse-api-engineer

将任意网站逆向工程为带类型的 API 客户端。支持 Claude Code、Codex、Cursor 和 OpenCode。

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 已更新 2026-11-21 📅 创建时间 2025-12-23
26
snooppr/snoop

Snoop — 一个基于开源数据的情报工具(OSINT)

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 已更新 2026-11-20 📅 创建时间 2020-02-14
27
fake-useragent/fake-useragent

最新的简单用户代理伪造器,带有真实世界数据库

fake-useragent
⭐ 4,047 Python 👤 fake-useragent Organization 🕐 已更新 2026-03-29 📅 创建时间 2013-03-04
28
any4ai/AnyCrawl

AnyCrawl 🚀: 一个 Node.js/TypeScript 爬虫,可将网站转换为 LLM 就绪数据,并从 Google/Bing/Baidu/等提取结构化的 SERP 结果。支持原生多线程进行批量处理。

any4ai
⭐ 3,580 TypeScript 👤 any4ai User 🕐 已更新 2026-11-12 📅 创建时间 2025-03-31
29
adryfish/fingerprint-chromium

基于Ungoogled Chromium的开源指纹浏览器。指纹浏览器 隐私浏览器

adryfish
⭐ 3,300 👤 adryfish User 🕐 已更新 2026-10-02 📅 创建时间 2024-12-09
30
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

想免费学习新知识吗?别担心,借助网络抓取和自动化的强大功能,此脚本将为您查找必要的 Udemy 优惠券,并免费为您报名参加付费 Udemy 课程!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 已更新 2026-04-28 📅 创建时间 2020-09-12
31
symfony/panther

PHP 和 Symfony 的浏览器测试和网页爬取库

symfony
⭐ 3,074 PHP 👤 symfony Organization 🕐 已更新 2026-10-03 📅 创建时间 2018-03-16
32
kevinzg/facebook-scraper

无需 API 密钥抓取 Facebook 公开页面

kevinzg
⭐ 3,006 Python 👤 kevinzg User 🕐 已更新 2024-06-22 📅 创建时间 2019-03-15
33
vladkens/twscrape

用于X/Twitter数据抓取的Python库和命令行工具,支持多账户轮换和内置速率限制处理。

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 已更新 2026-11-19 📅 创建时间 2023-05-05
34
oxylabs/how-to-scrape-google-trends

学习如何使用 Python 和 Oxylabs SERP API 一步步抓取 Google 趋势数据并进行结果比较。提取关键词、它们的热度、按地区细分、相关查询等信息。

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-08-06
35
spider-rs/spider

使用 Rust 实现基础低延迟网页数据采集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-07
36
geziyor/geziyor

Geziyor,Go 的超高速网络爬虫和抓取框架。支持 JS 渲染。

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 已更新 2026-07-02 📅 创建时间 2019-06-06
37
brightdata/brightdata-mcp

一个强大的模型上下文协议 (MCP) 服务器,为公共Web访问提供一站式解决方案。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-04-15
38
apify/fingerprint-suite

用于匿名化您的爬虫的浏览器指纹识别工具。由 Apify 开发。

apify
⭐ 2,678 TypeScript 👤 apify Organization 🕐 已更新 2026-11-18 📅 创建时间 2022-05-04
39
botswin/BotBrowser

先进隐私浏览器核心,统一指纹防护:Cloudflare、Akamai、Kasada、Shape、DataDome、PerimeterX、hCaptcha、FunCaptcha、Imperva、reCAPTCHA、ThreatMetrix、Adscore

botswin
⭐ 2,667 TypeScript 👤 botswin Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-09-08
40
oss-invisible/playwright

隐形 Playwright:反机器人系统无法检测到的 Playwright,因此不会触发验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,适用于 Python 网页抓取和浏览器自动化。

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-05-13
41
simonw/shot-scraper

一个用于截取网站截图、录制视频演示以及使用JavaScript抓取网站的命令行工具

simonw
⭐ 2,609 Python 👤 simonw User 🕐 已更新 2026-10-14 📅 创建时间 2022-03-08
42
transitive-bullshit/awesome-puppeteer

精选的优秀 Puppeteer 资源列表。

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 已更新 2024-07-19 📅 创建时间 2018-05-07
43
lorien/grab

Web 抓取框架

lorien
⭐ 2,461 Python 👤 lorien User 🕐 已更新 2025-09-19 📅 创建时间 2013-05-01
44
Jieyab89/OSINT-Cheat-sheet

OSINT 备忘单,列出 OSINT 工具、维基、数据集、文章、书籍、黑客的 OSINT 红队,以及 OSINT 技巧和 OSINT 分支。此存储库每次进行研究时都会增长,其中包含研究、科学与技术、教程。请明智地使用它。

Jieyab89
⭐ 2,333 HTML 👤 Jieyab89 User 🕐 已更新 2026-11-16 📅 创建时间 2021-11-22
45
php-embed/Embed

从任何网络服务或页面获取信息

php-embed
⭐ 2,140 PHP 👤 php-embed Organization 🕐 已更新 2026-11-21 📅 创建时间 2012-10-09
46
TheGP/untidetect-tools

反检测和人性化工具及浏览器的列表,包括验证码求解器和短信激活。

TheGP
⭐ 2,075 👤 TheGP User 🕐 已更新 2026-10-07 📅 创建时间 2024-01-21
47
iiab/iiab

Internet-in-a-Box - 用 Raspberry Pi 构建你自己的亚历山大图书馆!

iiab
⭐ 2,056 Jinja 👤 iiab Organization 🕐 已更新 2026-11-20 📅 创建时间 2017-05-28
48
claffin/cloudproxy

将您的抓取器IP隐藏在云层后面。在不同的云提供商之间配置代理服务器,以提高您的抓取成功率。

claffin
⭐ 1,729 Python 👤 claffin User 🕐 已更新 2026-11-05 📅 创建时间 2021-04-16
49
oxylabs/scrape-google-python

在本教程中,我们将展示如何使用 Python 和 Oxylabs API 抓取公共的谷歌数据。

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-07-30
50
emcf/thepipe

利用视觉语言模型从棘手的文档中获取干净的数据 ⚡

emcf
⭐ 1,529 Python 👤 emcf User 🕐 已更新 2026-09-28 📅 创建时间 2024-03-22

常见问题解答

1

GitHub 上最受欢迎的 #scraping 仓库是什么?

GitHub 上排名第一的开源 #scraping 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

2

#scraping 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #scraping 项目中,最常见的编程语言是 Python, TypeScript, Go, JavaScript。

3

#scraping 仓库的排名是如何计算的?

我们跟踪了 109 个标记为 #scraping 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 768,143 个 Star,平均每个仓库拥有 7,047 个 Star。排名每日根据 GitHub API 更新。