#web-scraping 仓库
共 382 个仓库
Uscrapper Vanta:使用这款强大的开源工具深入探索网络。轻松高效地从表面网络和深度网络来源提取宝贵见解。利用 Vanta 的高级功能赋能您的数据挖掘和分析。Uscrapper Vanta 快速、可靠且用户友好,是研究人员和分析师的终极选择。
由 AI 驱动的网页抓取编辑器,内置可视化工作流构建器。使用自然语言构建、测试和部署网页抓取器。由 ScrapeGraphAI 和 LangGraph 提供支持。
100% 免费且完全开源的 Firecrawl edge 替代品,具有更好的链接提取功能,适用于代理 - 您可以自行部署到 Cloudflare 或 Vercel。
Firecrawl CLI 和智能体技能:从终端或任何编程智能体搜索、抓取网页并与网页交互,还可解析、爬取、绘制站点地图,以及使用 Agent 和 Monitor。Firecrawl 是面向 AI 智能体的上下文 API。
此程序使用 Chrome DevTools Protocol 来驱动一个 Chrome 会话,该会话会下载您存储在 Google Photos 中的照片。
EveryInfra MCP 服务器和智能体插件:适用于 TikTok、Instagram、Amazon、YouTube、小红书和抖音的抓取 API。覆盖 106 个平台的 612 个数据 API,每 1,000 次调用低至 0.56 美元。适用于 Claude Code、Cursor 和 Codex。
实时检测反机器人系统、验证码和指纹识别技术。可识别 Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security 等,并提供置信度评分和高级捕获工具。
根据关键词,对搜索引擎内容检索结果的网址内容进行采集的一款程序。可自动从多个搜索引擎采集相关网站的真实地址与标题等信息,可保存为文件,自动去除重复URL。同时,也可以自定义忽略多条域名等。
AI 编程福利导航:汇总 Claude Code、Codex、Cursor 中转站与公益站,整理免费额度、注册福利、签到活动和评测记录,提供可视化看板与 Python 数据采集工具。
让任何 AI 智能体操控你自己的 Chrome——保留全部登录状态。MCP + Chrome 扩展,通用于 Claude Code / Codex / Cursor / Gemini CLI。
抖音福袋扭蛋机,抖音抢福袋工具,自己工作之余用VC++写的,功能还包含了一些其他小功能,抖音无水印视频下载器,抖音直播间录制下载器,抖音批量取消关注取关器
一个基于 Playwright 的 Node.js 工具,用于绕过搜索引擎的反爬机制来执行 Google 搜索。它是 SERP API 的本地替代方案,并集成了 MCP 服务器。