#webscraping 仓库
探索 50 个标记为 #webscraping 的活跃开源 GitHub 仓库,它们累计获得 581,593 个 Star(平均每个项目 11,631 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。
共 50 个仓库
🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev
隐形 Playwright:反机器人系统无法检测到的 Playwright,因此不会触发验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,适用于 Python 网页抓取和浏览器自动化。
免费、开源的反检测浏览器启动器,适用于网页抓取和多账号管理。由 ShardX 团队开发(前身为 ProxyShard)。在 Chromium 158 中实现引擎级指纹伪装(WebGL / WebGPU / Client Hints / 字体 / TLS),内置 220 多种设备配置文件,并支持通过 SOCKS5 运行稳定的 QUIC + WebRTC。
Web Scraping 开源项目仓库旨在分享有关使用 Python 进行 Web Scraping 的知识和经验。
此代码用于从 Google Maps 执行网络抓取和数据提取。它特别设计用于获取企业信息,包括名称、地址、网站、电话号码、评论等。
基于 ultrafunkamsterdam/nodriver 的闪电般快速、异步优先、不可检测的 Web 抓取/Web 自动化框架。现在支持 Docker!
让反机器人系统无法检测到的 Python 版 Puppeteer,因此不会遇到验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测、网页抓取和浏览器自动化。
源码级 Chromium 指纹内核,检测站按普通 Chrome 评分。能够通过机器人检测测试的源码级 Chromium 指纹内核。不是 JS 注入,而是编译进二进制文件的 C++ 补丁。
隐形 Playwright MCP:不会被反机器人系统和验证码检测到的 Playwright MCP 服务器:AI 智能体使用反检测隐身版 Firefox、Python、隐蔽式浏览器自动化、网页抓取和计算机操作来浏览互联网。
一个 Python 机器人,可根据您的偏好自动申请 LinkedIn、Glassdoor 等平台的所有“轻松申请”职位。自动登录、自动填写附加问题、自动申请!
命令行工具,用于从 HTML/XML 页面或 JSON-API 下载并提取数据,使用 CSS、XPath 3.0、XQuery 3.0、JSONiq 或模式匹配。它还可以创建新的或转换后的 XML/HTML/JSON 文档。
反机器人系统看不见的 Selenium,因此无需验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,以及 Python 网页抓取和浏览器自动化。
Uscrapper Vanta:使用这款强大的开源工具深入探索网络。轻松高效地从表面网络和深度网络来源提取宝贵见解。利用 Vanta 的高级功能赋能您的数据挖掘和分析。Uscrapper Vanta 快速、可靠且用户友好,是研究人员和分析师的终极选择。
由 AI 驱动的网页抓取编辑器,内置可视化工作流构建器。使用自然语言构建、测试和部署网页抓取器。由 ScrapeGraphAI 和 LangGraph 提供支持。
实时检测反机器人系统、验证码和指纹识别技术。可识别 Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security 等,并提供置信度评分和高级捕获工具。
常见问题解答
GitHub 上最受欢迎的 #webscraping 仓库是什么?
GitHub 上排名第一的开源 #webscraping 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。
#webscraping 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #webscraping 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, Ruby。
#webscraping 仓库的排名是如何计算的?
我们跟踪了 50 个标记为 #webscraping 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 581,593 个 Star,平均每个仓库拥有 11,631 个 Star。排名每日根据 GitHub API 更新。