Git Stars Git Stars

#web-scraper 仓库

探索 36 个标记为 #web-scraper 的活跃开源 GitHub 仓库,它们累计获得 565,282 个 Star(平均每个项目 15,702 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。

36
仓库总数
565,282
总星标数
15,702
平均每个仓库星标数
1
firecrawl/firecrawl

让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-15
2
Panniantong/Agent-Reach

让你的 AI 代理能全方位观察互联网。阅读并搜索 Twitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShu——仅使用一条命令行,零 API 费用。

Panniantong
⭐ 113,683 Python 👤 Panniantong User 🕐 已更新 2026-11-08 📅 创建时间 2026-02-24
3
D4Vinci/Scrapling

🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 已更新 2026-11-17 📅 创建时间 2024-10-13
4
ScrapeGraphAI/Scrapegraph-ai

基于AI的Python爬虫

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2026-10-06 📅 创建时间 2024-01-27
5
lexmount/moli

最适合 AI 智能体的无头浏览器。轻量、快速、高兼容性。使用 Rust 构建

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-08-10
6
getmaxun/maxun

将任何网站转化为结构化 API。提取、自动化、搜索并监控网络内容。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-10-23
7
gosom/google-maps-scraper

从 Google Maps 抓取数据。提取每个地点的数据,如名称、地址、电话号码、网站 URL、评分、评论数量、纬度和经度、评论、电子邮件等。

gosom
⭐ 8,291 Go 👤 gosom User 🕐 已更新 2026-11-21 📅 创建时间 2023-04-22
8
BruceDone/awesome-crawler

各种语言中优秀的网络爬虫和蜘蛛的合集

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 已更新 2024-06-16 📅 创建时间 2016-10-10
9
jaypyles/Scraperr

自托管网页抓取器。

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 已更新 2025-10-12 📅 创建时间 2024-07-06
10
AhmadHassan-BTed/JinaClip

专业级、本地优先的浏览器扩展,可完全在浏览器运行环境中将任意网页转换为高保真、适合大语言模型处理的 Markdown。零云端、以隐私为核心,专为 AI 工作流打造。

AhmadHassan-BTed
⭐ 4,160 JavaScript 👤 AhmadHassan-BTed User 🕐 已更新 2026-11-09 📅 创建时间 2026-05-16
11
oxylabs/google-ai-mode-scraper

大规模抓取Google AI模式响应,无封锁。

oxylabs
⭐ 3,619 Java 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-09-08
12
arpit-omprakash/100ProjectsOfCode

实用的知识构建项目列表。

arpit-omprakash
⭐ 3,548 👤 arpit-omprakash User 🕐 已更新 2024-04-12 📅 创建时间 2020-10-05
13
itsOwen/CyberScraper-2077

由LLM驱动的强大网络爬虫 | OpenAI, Gemini & Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 已更新 2026-10-12 📅 创建时间 2024-08-17
14
php-curl-class/php-curl-class

PHP Curl Class 使发送 HTTP 请求并与 Web API 集成变得容易。

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 已更新 2026-11-17 📅 创建时间 2013-08-16
15
oxylabs/how-to-scrape-amazon-product-data

使用 Python 从亚马逊提取产品数据的过程,包括标题、评分、价格、图片和描述。

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-09-03
16
spider-rs/spider

使用 Rust 实现基础低延迟网页数据采集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-07
17
lncrawl/lightnovel-crawler

从在线来源生成和下载电子书。

lncrawl
⭐ 2,717 Python 👤 lncrawl Organization 🕐 已更新 2026-11-11 📅 创建时间 2018-01-17
18
anaskhan96/soup

Go 语言编写的网页抓取工具,类似于 BeautifulSoup

anaskhan96
⭐ 2,302 Go 👤 anaskhan96 User 🕐 已更新 2026-10-24 📅 创建时间 2017-02-23
19
oxylabs/how-to-scrape-google-scholar

使用 Python 和 Oxylabs SERP Scraper API 从 Google Scholar 提取标题、作者和引用的指南。

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-03-07
20
oxylabs/how-to-scrape-amazon-prices

使用 Python 和 Oxylabs E-Commerce Scraper API 从 Amazon 提取畅销商品、搜索结果和当前可用优惠的 Python 代码。

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-03-21
21
gildas-lormeau/single-file-cli

用于将完整的网页保存为单个 HTML 文件(基于 SingleFile)的忠实副本的 CLI 工具

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 已更新 2026-11-18 📅 创建时间 2022-05-31
22
fastcrw/crw

基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-02
23
dondai44423/donsetch

面向 AI 智能体的网页获取、搜索与爬取。使用 Rust 从零构建。无需密钥,无需账户。AGPL v3。

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 已更新 2026-11-21 📅 创建时间 2026-08-07
24
juancarlospaco/faster-than-requests

在 Python 3 上更快的请求

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 已更新 2026-11-19 📅 创建时间 2018-11-13
25
0x676e67/wreq

一个符合人体工程学且注重隐私的 Rust HTTP 客户端

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 已更新 2026-11-20 📅 创建时间 2024-09-19
26
oxylabs/ai-scraper-py

AI Scraper 是一个强大的抓取工具和抓取代理,旨在以无与伦比的精度自动化数据提取。非常适合在各种网络来源上进行可扩展的 AI 抓取任务,该工具将复杂的抓取操作简化为高效、智能的工作流程。

oxylabs
⭐ 1,089 👤 oxylabs Organization 🕐 已更新 2026-04-02 📅 创建时间 2025-09-25
27
postmodern/spidr

一个多功能的 Ruby Web 爬虫库,可以爬取一个站点、多个域、特定链接或无限期。Spidr 设计为快速且易用。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 已更新 2026-01-12 📅 创建时间 2009-03-08
28
cassidoo/scrapers

来自网络各处的爬虫列表。

cassidoo
⭐ 723 👤 cassidoo User 🕐 已更新 2025-02-07 📅 创建时间 2016-04-18
29
lumpinif/deepcrawl

100% 免费且完全开源的 Firecrawl edge 替代品,具有更好的链接提取功能,适用于代理 - 您可以自行部署到 Cloudflare 或 Vercel。

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 已更新 2026-08-24 📅 创建时间 2025-05-22
30
shaikhsajid1111/social-media-profile-scrapers

获取跨社交媒体的用户数据

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 已更新 2026-09-15 📅 创建时间 2020-04-26
31
spekulatius/PHPScraper

PHP 的通用 Web 工具。

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 已更新 2026-09-08 📅 创建时间 2020-04-21
32
jaebradley/basketball_reference_web_scraper

通过 Basketball Reference 的 NBA 统计 API

jaebradley
⭐ 563 HTML 👤 jaebradley User 🕐 已更新 2026-11-21 📅 创建时间 2015-10-23
33
oxylabs/oxylabs-ai-studio-openclaw

官方 Oxylabs AI-Studio Openclaw 插件

oxylabs
⭐ 549 TypeScript 👤 oxylabs Organization 🕐 已更新 2026-09-16 📅 创建时间 2026-02-26
34
oxylabs/quick-start-guide

Python 快速入门指南,助您充分利用 Oxylabs 的 Web Scraper API 免费试用。

oxylabs
⭐ 512 👤 oxylabs Organization 🕐 已更新 2026-06-19 📅 创建时间 2022-03-14
35
AlexMathew/scrapple

用于创建半自动网页内容提取器的框架

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 已更新 2026-01-16 📅 创建时间 2014-12-13
36
oxylabs/web-scraper-api

一站式网页抓取 API,支持实时、大规模数据提取——通过单个请求处理代理、验证码管理、JavaScript 渲染和解析,并返回 HTML 或结构化 JSON。

oxylabs
⭐ 503 👤 oxylabs Organization 🕐 已更新 2026-10-01 📅 创建时间 2026-06-05

常见问题解答

1

GitHub 上最受欢迎的 #web-scraper 仓库是什么?

GitHub 上排名第一的开源 #web-scraper 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

2

#web-scraper 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #web-scraper 项目中,最常见的编程语言是 Python, TypeScript, Rust, Go。

3

#web-scraper 仓库的排名是如何计算的?

我们跟踪了 36 个标记为 #web-scraper 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 565,282 个 Star,平均每个仓库拥有 15,702 个 Star。排名每日根据 GitHub API 更新。