#web-scraping 仓库
共 382 个仓库
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y](轻松寻找真正的房产)- Fredy 会持续在 ImmoScout24、Immowelt、eBay Kleinanzeigen 等平台上搜索欧洲的新公寓、住宅和房源,并通过 Slack、Telegram、电子邮件、Discord 或 ntfy 将结果即时发送给你,让你可以专注于生活中更重要的事情 ;)
面向 AI 智能体和 SEO 的自托管网页搜索。支持 Google、Bing、Yandex、百度、DuckDuckGo 和 Ecosia,并在真实浏览器中渲染:提供排名结果和整洁的网页 Markdown。API、CLI、MCP 🎉
AgentQL 是一套将您的 AI 连接到网络的工具集。拥有查询语言和 Playwright 集成,可用于快速、精确、大规模地与元素交互和提取数据。包括 REST API、Python 和 JavaScript SDK、浏览器调试器。
用于 puppeteer 和 playwright 的补丁集合,以避免自动化检测和泄露。有助于绕过 Cloudflare 和 DataDome CAPTCHA 页面。易于打补丁/取消补丁,可按需启用/禁用。
通过发送带有有效ChatGPT抓取API凭据的提示,从ChatGPT抓取器中收集结构化响应。启用实时搜索,注入HTML上下文,并仅用几个参数自动化智能抓取器ChatGPT工作流。
WebAI2API:基于 Camoufox 的网页 AI 转 API 工具,支持 LMArena/Gemini 等,多窗口并发与账号隔离。 | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.
让反机器人系统无法检测到的 Python 版 Puppeteer,因此不会遇到验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测、网页抓取和浏览器自动化。
Go HTTP 客户端可实现与浏览器完全相同的 TLS/HTTP2 指纹。通过以加密级别(JA3/JA4、Akamai 指纹、头部顺序)完美模拟 Chrome、Firefox 和 Safari,绕过机器人检测。支持 HTTP/1.1、HTTP/2、HTTP/3、会话、Cookies 和代理。
Calibre 新的豆瓣元数据源插件。豆瓣不再向公众提供图书 API,因此只能通过网页爬取来获取数据。这是一个基于网页爬取的 Calibre 豆瓣插件。
Kspider 是一个爬虫平台,以图形化方式定义爬虫流程,无需代码即可实现一个爬虫流程,Kspider不仅限爬虫,也可用于WEB自动化测试,更多功能等你探索。
基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。
源码级 Chromium 指纹内核,检测站按普通 Chrome 评分。能够通过机器人检测测试的源码级 Chromium 指纹内核。不是 JS 注入,而是编译进二进制文件的 C++ 补丁。