Git Stars Git Stars

#crawler リポジトリ

162
リポジトリ総数
1.1M
合計スター数
6,863
リポジトリあたりの平均スター数

リポジトリ合計162件

151
fengzhizi715/NetDiscovery

NetDiscoveryは、Vert.xやRxJava 2などのフレームワークに基づいて実装された汎用クローラーフレームワーク/ミドルウェアです。

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 更新日時 2026-06-05 📅 作成日 2017-11-26
152
cv-cat/catbus

Xiaohongshu、Douyin、TikTok、Bilibili、Kuaishou、Weibo、Xianyu、Taobao、JD.com、Xを1つのコマンドで操作:人間とAIエージェント向けの統一コマンドとJSON出力

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 更新日時 2026-11-20 📅 作成日 2026-09-27
153
rajatomar788/pywebcopy

画像、CSS、JS、リンクをそのままに、ウェブページをハードディスクにローカル保存します。

rajatomar788
⭐ 639 Python 👤 rajatomar788 User 🕐 更新日時 2025-05-13 📅 作成日 2018-07-23
154
scrapfly/Antibot-Detector

アンチボットシステム、CAPTCHA、フィンガープリンティング技術をリアルタイムで検出します。Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security などを識別し、信頼度スコアと高度なキャプチャツールを提供します。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 更新日時 2026-11-17 📅 作成日 2025-09-03
155
yhy0/Jie

Jie は、Web アプリケーション向けに細心の注意を払って作成された包括的なセキュリティ評価およびエクスプロイト ツールとして際立っています。その堅牢な機能スイートには、脆弱性スキャン、情報収集、エクスプロイトが含まれており、セキュリティ専門家とペネトレーション テスターの両方にとって不可欠なツールキットとなっています。挖洞辅助工具(漏洞扫描、信息收集)

yhy0
⭐ 599 Go 👤 yhy0 User 🕐 更新日時 2024-07-05 📅 作成日 2023-01-30
156
CharlesPikachu/freeproxy

FreeProxy: インターネットから無料プロキシを収集します。(世界中の大量の高品質な無料プロキシ、数十の無料プロキシ共有ソースのクロールをサポート、カスタムルールによるプロキシフィルタリングをサポート、ウェブスクレイピングとデータ分析に必須、毎日大量の無料プロキシを更新。)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 更新日時 2026-11-21 📅 作成日 2018-10-29
157
vakra-dev/reader

AI向けのオープンソースWebインフラストラクチャ。ウェブをスクレイプ、クロール、そして自動化し、Markdownをクリーンアップ、ブラウザセッションを管理し、エージェントがすぐに使える状態にします。

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 更新日時 2026-10-06 📅 作成日 2026-01-07
158
zhuyingda/webster

Node.js 用の信頼性の高い高レベルウェブクローリング&スクレイピングフレームワーク。

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 更新日時 2025-03-12 📅 作成日 2017-11-04
159
MikeMeliz/TorCrawl.py

TORネットワーク経由で(通常またはオニオン)ウェブページをクローリングして抽出

MikeMeliz
⭐ 550 Python 👤 MikeMeliz User 🕐 更新日時 2026-06-29 📅 作成日 2016-12-05
160
dirtyfilthy/freshonions-torscraper

Fresh Onionsは、zlal32teyptf4tvi.onionでホストされているオープンソースのTORスパイダー/隠しサービス向けonionクローラーです

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 更新日時 2026-11-19 📅 作成日 2017-02-15
161
dengmeiluan/ticket-monitoring

✈️ セルフホスト型のマルチチャネル航空券価格モニタリング:フライト詳細を収集 → DingTalkでテキストと画像を配信 → 条件達成時に4段階の強力なアラートを送信。国内線・国際線(五大陸の目的地)で、収集・判定・通知の一連の仕組みを共通利用できます。データはローカルに保存され、設定はすべてWeb上で完結。オープンソースで無料です。

dengmeiluan
⭐ 528 Python 👤 dengmeiluan User 🕐 更新日時 2026-11-18 📅 作成日 2026-09-15
162
AlexMathew/scrapple

半自動ウェブコンテンツ抽出器作成のためのフレームワーク

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 更新日時 2026-01-16 📅 作成日 2014-12-13