Git Stars Git Stars

#crawler 仓库

162
仓库总数
1.1M
总星标数
6,863
平均每个仓库星标数

共 162 个仓库

151
fengzhizi715/NetDiscovery

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 已更新 2026-06-05 📅 创建时间 2017-11-26
152
cv-cat/catbus

一个命令操作小红书、抖音、TikTok、B 站、快手、微博、闲鱼、淘宝、京东、X:统一的命令与 JSON 输出,给人和 AI Agent 用

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 已更新 2026-11-20 📅 创建时间 2026-09-27
153
rajatomar788/pywebcopy

本地将网页保存到您的硬盘,包括图像、CSS、JS 和链接原样。

rajatomar788
⭐ 639 Python 👤 rajatomar788 User 🕐 已更新 2025-05-13 📅 创建时间 2018-07-23
154
scrapfly/Antibot-Detector

实时检测反机器人系统、验证码和指纹识别技术。可识别 Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security 等,并提供置信度评分和高级捕获工具。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 已更新 2026-11-17 📅 创建时间 2025-09-03
155
yhy0/Jie

Jie 是一款专为 Web 应用程序精心打造的综合性安全评估和漏洞利用工具。它拥有强大的功能套件,涵盖漏洞扫描、信息收集和漏洞利用,使其成为安全专业人士和渗透测试人员不可或缺的工具包。挖洞辅助工具(漏洞扫描、信息收集)

yhy0
⭐ 599 Go 👤 yhy0 User 🕐 已更新 2024-07-05 📅 创建时间 2023-01-30
156
CharlesPikachu/freeproxy

FreeProxy:从互联网收集免费代理。(全球海量高质量免费代理,支持爬取数十个免费代理分享源,支持自定义规则代理筛选,爬虫与数据分析必备,每日更新海量免费代理。)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 已更新 2026-11-21 📅 创建时间 2018-10-29
157
vakra-dev/reader

面向 AI 的开源网络基础设施。抓取、爬取并自动化网络,清理 Markdown,浏览器会话,已为您的代理准备就绪。

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 已更新 2026-10-06 📅 创建时间 2026-01-07
158
zhuyingda/webster

一个可靠的高级 Node.js 网络爬虫与抓取框架。

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 已更新 2025-03-12 📅 创建时间 2017-11-04
159
MikeMeliz/TorCrawl.py

通过TOR网络爬取并提取(常规或洋葱)网页

MikeMeliz
⭐ 550 Python 👤 MikeMeliz User 🕐 已更新 2026-06-29 📅 创建时间 2016-12-05
160
dirtyfilthy/freshonions-torscraper

Fresh Onions 是一个开源的 TOR 蜘蛛程序/隐藏服务 onion 爬虫,托管于 zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 已更新 2026-11-19 📅 创建时间 2017-02-15
161
dengmeiluan/ticket-monitoring

✈️ 自托管的多渠道机票价格监控:航班明细采集 → 钉钉图文推送 → 达标四层强提醒。国内航线与国际航线(五洲目的地)共用同一套采集、判定、推送链路;数据留在本机,所有配置均可在网页上完成,开源免费。

dengmeiluan
⭐ 528 Python 👤 dengmeiluan User 🕐 已更新 2026-11-18 📅 创建时间 2026-09-15
162
AlexMathew/scrapple

用于创建半自动网页内容提取器的框架

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 已更新 2026-01-16 📅 创建时间 2014-12-13