#crawling 仓库
探索 39 个标记为 #crawling 的活跃开源 GitHub 仓库,它们累计获得 335,438 个 Star(平均每个项目 8,600 个)。该主题的领先项目是 D4Vinci/Scrapling,拥有 104,760 个 Star。
共 39 个仓库
🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev
Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。
Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统
用于 puppeteer 和 playwright 的补丁集合,以避免自动化检测和泄露。有助于绕过 Cloudflare 和 DataDome CAPTCHA 页面。易于打补丁/取消补丁,可按需启用/禁用。
这是来自《<6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)》的示例代码。此代码面向从未学习过Python的人,涵盖从Excel、设计、宏、爬虫等与工作自动化相关的多领域示例。
SiteOne Crawler 是一个跨平台网站爬虫和分析器,用于 SEO、安全、可访问性和性能优化,是开发人员、DevOps、QA 工程师和顾问的理想选择。支持 Windows、macOS 和 Linux (x64 和 arm64)。
100% 免费且完全开源的 Firecrawl edge 替代品,具有更好的链接提取功能,适用于代理 - 您可以自行部署到 Cloudflare 或 Vercel。
常见问题解答
GitHub 上最受欢迎的 #crawling 仓库是什么?
GitHub 上排名第一的开源 #crawling 项目是 D4Vinci/Scrapling,拥有 104,760 个 Star。🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev
#crawling 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #crawling 项目中,最常见的编程语言是 Python, TypeScript, Go, JavaScript。
#crawling 仓库的排名是如何计算的?
我们跟踪了 39 个标记为 #crawling 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 335,438 个 Star,平均每个仓库拥有 8,600 个 Star。排名每日根据 GitHub API 更新。