#scraping 仓库
探索 109 个标记为 #scraping 的活跃开源 GitHub 仓库,它们累计获得 768,143 个 Star(平均每个项目 7,047 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。
共 109 个仓库
🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev
Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。
自定义 Selenium Chromedriver | 零配置 | 通过所有机器人缓解系统(如 Distil / Imperva / Datadadome / CloudFlare IUAM)
Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。
🚀 免费 HTTP、SOCKS4 和 SOCKS5 代理列表 * 每 5 分钟更新一次 * 以及轮换代理 API(覆盖 100 多个国家/地区)
AnyCrawl 🚀: 一个 Node.js/TypeScript 爬虫,可将网站转换为 LLM 就绪数据,并从 Google/Bing/Baidu/等提取结构化的 SERP 结果。支持原生多线程进行批量处理。
想免费学习新知识吗?别担心,借助网络抓取和自动化的强大功能,此脚本将为您查找必要的 Udemy 优惠券,并免费为您报名参加付费 Udemy 课程!
学习如何使用 Python 和 Oxylabs SERP API 一步步抓取 Google 趋势数据并进行结果比较。提取关键词、它们的热度、按地区细分、相关查询等信息。
先进隐私浏览器核心,统一指纹防护:Cloudflare、Akamai、Kasada、Shape、DataDome、PerimeterX、hCaptcha、FunCaptcha、Imperva、reCAPTCHA、ThreatMetrix、Adscore
隐形 Playwright:反机器人系统无法检测到的 Playwright,因此不会触发验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,适用于 Python 网页抓取和浏览器自动化。
OSINT 备忘单,列出 OSINT 工具、维基、数据集、文章、书籍、黑客的 OSINT 红队,以及 OSINT 技巧和 OSINT 分支。此存储库每次进行研究时都会增长,其中包含研究、科学与技术、教程。请明智地使用它。
常见问题解答
GitHub 上最受欢迎的 #scraping 仓库是什么?
GitHub 上排名第一的开源 #scraping 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。
#scraping 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #scraping 项目中,最常见的编程语言是 Python, TypeScript, Go, JavaScript。
#scraping 仓库的排名是如何计算的?
我们跟踪了 109 个标记为 #scraping 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 768,143 个 Star,平均每个仓库拥有 7,047 个 Star。排名每日根据 GitHub API 更新。