#crawler 仓库
共 162 个仓库
一个好用的哔哩哔哩漫画下载器,拥有图形界面,支持关键词搜索漫画和二维码登入,黑科技下载未解锁章节,多线程下载,多种保存格式,本地漫画管理,一键检查更新!
基于 OpenSearch 构建的开源、自托管企业级及网站搜索服务器。支持网页/文件/数据库/云端数据源抓取,涵盖 20 多种语言,提供 REST API 以及 AI/RAG 和语义搜索功能。采用 Apache-2.0 协议。
BaiduSpider,一个爬取百度搜索结果的爬虫,目前支持百度网页搜索,百度图片搜索,百度知道搜索,百度视频搜索,百度资讯搜索,百度文库搜索,百度经验搜索和百度百科搜索。
使用干净、AI 辅助的 DSL 在 Ruby 中编写网络爬虫。Kimurai 使用 AI 来确定数据的位置,然后缓存选择器并使用纯 Ruby 进行爬取。无需每次请求的延迟或令牌成本,即可获取 LLM 的智能。
内核级反检测浏览器,支持您熟悉的 Playwright API。提供 Python + Node SDK,支持 MCP,支持无限本地配置文件。支持 Linux x64 + arm64、macOS Intel + Apple Silicon,以及 Windows x64。
SiteOne Crawler 是一个跨平台网站爬虫和分析器,用于 SEO、安全、可访问性和性能优化,是开发人员、DevOps、QA 工程师和顾问的理想选择。支持 Windows、macOS 和 Linux (x64 和 arm64)。
爬虫逆向案例,已完成:TLS指纹|瑞数|震坤行 | 网易易盾 | 微信小程序反编译逆向(百达星系) | 同花顺 | rpc解密 | 加速乐 | 极验滑块验证码 | 巨量算数 | Boss直聘 | 企查查 | 中国五矿 | qq音乐 | 产业政策大数据平台 | 企知道 | 雪球网(acw_sc__v2) | 1688 | 七麦数据 | whggzy | 企名科技 | mohurd | 艺恩数据 | 欧科云链
适用于Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X)的高性能异步验证码解决器(Captcha Solver)和临时邮箱(Temp Mail)API(接口)。
一个基于 Kotlin 的测试/抓取/解析库,提供分析和从 HTML(服务器端和客户端渲染)中提取数据的能力。它特别强调易用性和高可读性,通过提供直观的 DSL。它旨在成为一个测试库,但也可以方便地用于抓取网站。
Krawl 是一个可定制的、轻量级的、云原生的网络欺骗服务器和反爬虫工具,它使用真实、随机生成的诱饵数据和 AI 生成的 HTML 模板创建具有低门槛漏洞的虚假 Web 应用程序。
The Big Brother 是一个武器化 OSINT 平台,具备用户名枚举(支持 473 多个平台)、四向量视觉情报、Sky Radar 追踪、加密货币钱包分析、SSL 情报、数字足迹重建、EXIF 提取、高级搜索语法挖掘以及网络侦察功能。