#scraping 仓库
共 109 个仓库
AgentQL 是一套将您的 AI 连接到网络的工具集。拥有查询语言和 Playwright 集成,可用于快速、精确、大规模地与元素交互和提取数据。包括 REST API、Python 和 JavaScript SDK、浏览器调试器。
用于 puppeteer 和 playwright 的补丁集合,以避免自动化检测和泄露。有助于绕过 Cloudflare 和 DataDome CAPTCHA 页面。易于打补丁/取消补丁,可按需启用/禁用。
通过发送带有有效ChatGPT抓取API凭据的提示,从ChatGPT抓取器中收集结构化响应。启用实时搜索,注入HTML上下文,并仅用几个参数自动化智能抓取器ChatGPT工作流。
让反机器人系统无法检测到的 Python 版 Puppeteer,因此不会遇到验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测、网页抓取和浏览器自动化。
:rocket: searx 的开源替代品,提供外观现代 :sparkles:、闪电般快速 :zap:、尊重隐私 :disguised_face:、安全 :lock: 的元搜索引擎
自托管爬取引擎——绕过任何JS挑战和验证码:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverr和Byparr的替代品,可直接替换您的*arr堆栈。
使用 Selenium & Seleniumwire (Python) 的开源批量自动 Gmail 创建机器人。请随时就 Django/Flask、ML、AI、GPT、自动化、爬虫与我联系。
Kemono pawchive Downloader 是一款基于 PyQt5 的快速应用程序,用于归档来自 Kemono、Coomer、Bunkr、Erome、Saint2.su、nhentai 和 Discord 等众多网站的内容。它具有创作者浏览器、更新检查器,并支持多线程、多部分下载。会话可以暂停、恢复或恢复过滤器。
Comic-dl 是一个命令行工具,用于从各种漫画和漫画面站下载漫画和连环画。支持的站点:readcomiconline.to, mangafox.me, comic naver 等更多。
这个 Python 应用程序是一个名为“Ominis OSINT - Web Hunter”的 OSINT(开源情报)工具。它通过查询与用户输入的查询相关的 Google 搜索结果来执行在线信息收集。该工具会提取相关信息,例如标题、URL 以及查询在结果中可能被提及的地方。
用于收集 X(Twitter)公开数据的异步 Python 客户端——支持搜索、个人资料、话题串、回复和媒体内容。内置账号轮换、自适应速率限制,并可导出为 JSON/CSV/SQLite。
实时检测反机器人系统、验证码和指纹识别技术。可识别 Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security 等,并提供置信度评分和高级捕获工具。