#web-scraping 仓库
共 382 个仓库
自托管爬取引擎——绕过任何JS挑战和验证码:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverr和Byparr的替代品,可直接替换您的*arr堆栈。
使用干净、AI 辅助的 DSL 在 Ruby 中编写网络爬虫。Kimurai 使用 AI 来确定数据的位置,然后缓存选择器并使用纯 Ruby 进行爬取。无需每次请求的延迟或令牌成本,即可获取 LLM 的智能。
660 多个由 muapi 托管的生成式媒体模型,以及社区提交的第三方 API 工具(SEO、数据丰富、社交媒体、抓取)——每个条目对应一个 YAML 文件,可按功能浏览。
内核级反检测浏览器,支持您熟悉的 Playwright API。提供 Python + Node SDK,支持 MCP,支持无限本地配置文件。支持 Linux x64 + arm64、macOS Intel + Apple Silicon,以及 Windows x64。
SiteOne Crawler 是一个跨平台网站爬虫和分析器,用于 SEO、安全、可访问性和性能优化,是开发人员、DevOps、QA 工程师和顾问的理想选择。支持 Windows、macOS 和 Linux (x64 和 arm64)。
"WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models" 的代码
这是一款轻量级无头浏览器,专为 AI 智能体(如 Codex 或 Claude Code)执行浏览器自动化任务而打造;它旨在应对各种网页防护系统、登录流程和逆向工程场景。
ChatGPT Team (Business) 促销码自动扫描工具 — 批量发现/验证/价格收集,支持 17 国 34 个码,最高折扣 71% | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Dorks Eye Google Hacking 垃圾信息抓取和搜索脚本。Dorks Eye 是我用 python 3 制作的一个脚本。使用此工具,您可以轻松找到 Google Dorks。Dork Eye 收集互联网上可能存在漏洞的网页和应用程序,或 Google 搜索机器人收集到的其他绝妙信息。作者:Jolanda de Koff