Git Stars Git Stars

#crawler リポジトリ

162
リポジトリ総数
1.1M
合計スター数
6,863
リポジトリあたりの平均スター数

リポジトリ合計162件

101
Zeal-L/BiliBili-Manga-Downloader

使いやすいbilibiliマンガダウンローダー、グラフィカルインターフェース搭載、キーワード検索マンガとQRコードログイン対応、『ブラックテクノロジー』で未解放チャプターをダウンロード、マルチスレッドダウンロード、多様な保存フォーマット、ローカルマンガ管理、ワンクリックアップデートチェック!

Zeal-L
⭐ 1,244 Python 👤 Zeal-L User 🕐 更新日時 2025-07-23 📅 作成日 2023-01-15
102
InstaPy/instagram-profilecrawl

📝 Instagramプロフィールの情報を素早くクローリングする(例: フォロワー、タグなど...)。

InstaPy
⭐ 1,244 Python 👤 InstaPy Organization 🕐 更新日時 2024-03-19 📅 作成日 2017-02-15
103
seveniruby/AppCrawler

Appiumベースのアプリ自動探索ツール

seveniruby
⭐ 1,244 Scala 👤 seveniruby User 🕐 更新日時 2026-04-20 📅 作成日 2016-02-16
104
webrecorder/browsertrix-crawler

単一のDockerコンテナで高忠実度のブラウザベースのWebアーカイブクローラーを実行する

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 更新日時 2026-11-19 📅 作成日 2020-11-02
105
AndyTheFactory/newspaper4k

📰 Newspaper4k は、人気の Newspaper3k のフォークです。ニュースウェブサイトから記事、タイトル、メタデータを抽出します。

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 更新日時 2026-11-01 📅 作成日 2023-10-22
106
dixudx/tumblr-crawler

Tumblr ブログからすべての写真/ビデオを簡単にダウンロード。指定された Tumblr ブログの画像、ビデオをダウンロード

dixudx
⭐ 1,160 Python 👤 dixudx User 🕐 更新日時 2025-12-26 📅 作成日 2016-04-15
107
codelibs/fess

OpenSearchをベースに構築された、オープンソースのセルフホスト型エンタープライズ&サイト検索サーバー。Web/ファイル/DB/クラウドソースのクロール、20以上の言語対応、REST API、AI/RAGおよびセマンティック検索を提供。Apache-2.0ライセンス。

codelibs
⭐ 1,152 Java 👤 codelibs Organization 🕐 更新日時 2026-11-21 📅 作成日 2013-09-13
108
scrapfly/scrapfly-scrapers

80以上の人気ドメインに対応する、スケーラブルなPythonウェブスクレイピングスクリプト

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-22
109
BaiduSpider/BaiduSpider

Baidu検索結果をクロールするクローラーであるBaiduSpiderは、現在、Baiduウェブ検索、Baidu画像検索、Baidu知恵袋検索、Baidu動画検索、Baiduニュース検索、Baidu文庫検索、Baidu経験検索、Baidu百科検索をサポートしています。

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 更新日時 2024-06-14 📅 作成日 2020-10-03
110
elixir-crawly/crawly

Crawly、Elixir向けの高レベルウェブクローリングおよびスクレイピングフレームワーク。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-03-09
111
0x676e67/wreq

人間工学に基づいた、プライバシーに配慮した Rust HTTP クライアント

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 更新日時 2026-11-20 📅 作成日 2024-09-19
112
wujunwei928/parse-video

Golang 短尺動画ウォーターマーク削除:Douyin、Pipixia、Huoshan、Weishi、Zuiyou、Kuaishou、Quanmin Xiaoshipin、Pipixia Gaoqiao、Xigua Video、Huya、Li Video、AcFun、Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 更新日時 2026-11-08 📅 作成日 2022-07-12
113
vifreefly/kimuraframework

CleanでAIアシストされたDSLを使い、Rubyでウェブスクレイパーを書きます。KimuraiはAIを使ってデータがどこにあるかを判定し、選択子をキャッシュして純粋なRubyでスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしでLLMの知能を手に入れましょう。

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 更新日時 2026-01-27 📅 作成日 2018-08-23
114
antibrow/antibrow

すでに使い慣れている Playwright API に対応したカーネルレベルのアンチ検知ブラウザ。Python + Node SDK、MCP 対応、ローカルプロファイル数無制限。Linux x64 + arm64、macOS Intel + Apple Silicon、Windows x64 に対応。

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 更新日時 2026-09-28 📅 作成日 2026-07-29
115
darbra/awesome-ai-reverse

AIでリバースエンジニアリングを一気に

darbra
⭐ 1,026 👤 darbra User 🕐 更新日時 2026-09-29 📅 作成日 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawlerは、SEO、セキュリティ、アクセシビリティ、パフォーマンの最適化のためのクロスプラットフォームWebサイトクローラーおよびアナライザーであり、開発者、DevOps、QAエンジニア、コンサルタントに最適です。Windows、macOS、Linux(x64およびarm64)をサポートします。

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 更新日時 2026-09-27 📅 作成日 2023-10-04
117
apache/stormcrawler

Apache Storm を基盤としたスケーラブルで成熟した多用途のウェブクローラー

apache
⭐ 1,014 Java 👤 apache Organization 🕐 更新日時 2026-11-17 📅 作成日 2013-04-12
118
pea3nut/Pxer

pixiv.netのためのツール。誰でも使えるP站クローラー

pea3nut
⭐ 1,010 JavaScript 👤 pea3nut User 🕐 更新日時 2025-03-03 📅 作成日 2015-12-16
119
spidersuite/SpiderSuite

SpiderSuite(ウェブセキュリティクローラー)のリリース、ウィキ、ロードマップ

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 更新日時 2026-08-13 📅 作成日 2023-04-05
120
fredwu/crawler

Elixir製の高性能Webクローラー/スクレイパー。

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 更新日時 2026-11-21 📅 作成日 2016-08-08
121
ma6254/FictionDown

小説ダウンロード|小説クローリング|起点|笔趣阁|Markdown出力|txt出力|epub変換|広告フィルタリング|自動校正

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 更新日時 2025-01-21 📅 作成日 2019-03-03
122
xiaoxiunique/x-kit

X.com向けの純Pythonプロトコルツールと研究ノート、VibeLoft Twitterアカウントデータセット付き

xiaoxiunique
⭐ 947 Python 👤 xiaoxiunique User 🕐 更新日時 2026-11-04 📅 作成日 2024-12-16
123
0xAllenChen/spider_reverse

クローラーの逆アセンブリ事例、完了:TLSフィンガープリント|Ruishu|Zhenkunxing|NetEase Yudun|WeChatミニプログラム逆アセンブリ・逆エンジニアリング(Baida Xingxi)|Tonghuashun|RPC復号|Jiasule|JueyanスライダCAPTCHA|Julang Sanshu|Boss Zhipin|Qichacha|China Minmetals|QQ Music|産業政策ビッグデータプラットフォーム|Qizhidiao|Xueqiu.com(acw_sc__v2)|1688|Qimai Data|whggzy|Qiming Keji|mohurd|Ejoin Data|Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 更新日時 2026-11-17 📅 作成日 2023-06-02
124
TikHub/TikHub-API-Python-SDK

Douyin(抖音)、TikTok、Xiaohongshu(小红书)、Kuaishou(快手)、Weibo(微博)、Instagram、YouTube(油管)、Twitter(X)用の、高性能非同期Captcha Solver(検証コード解決器)およびTemp Mail(一時メール)API(インターフェース)。

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 更新日時 2026-10-03 📅 作成日 2022-12-17
125
hellock/icrawler

多くの組み込み画像クローラーが提供されるマルチスレッドクローラーフレームワーク。

hellock
⭐ 936 Python 👤 hellock User 🕐 更新日時 2025-12-10 📅 作成日 2016-03-19
126
JoMingyu/google-play-scraper

<facundoolano/google-play-scraper> に着想を得た Python 用 Google Play スクレイパー

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 更新日時 2024-08-05 📅 作成日 2019-06-04
127
SkywalkerDarren/chatWeb

ChatWebは、Webページをクロールし、PDF、DOCX、TXTを読み取り、主要なコンテンツを抽出してから、そのコンテンツに基づいて質問に回答するか、要点を要約できます。

SkywalkerDarren
⭐ 916 Python 👤 SkywalkerDarren User 🕐 更新日時 2026-05-25 📅 作成日 2023-03-09
128
scrapinghub/scrapyrt

Scrapyスパイダー用HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 更新日時 2026-10-13 📅 作成日 2015-01-06
129
rndinfosecguy/Scavenger

ペーストサイトで情報漏えいを検索するクローラー(ボット)。

rndinfosecguy
⭐ 883 Python 👤 rndinfosecguy User 🕐 更新日時 2026-11-20 📅 作成日 2018-03-10
130
skrapeit/skrape.it

Kotlinベースのテスト/スクレイピング/解析ライブラリで、サーバーサイドおよびクライアントサイドでレンダリングされたHTMLからデータを分析・抽出する機能を提供します。直感的なDSLを提供することで、使用のしやすさと高い可読性を特に重視しています。テストライブラリを目指していますが、便利な方法でウェブサイトのスクレイピングにも使用できます。

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 更新日時 2026-10-20 📅 作成日 2019-01-14
131
StJudeWasHere/seonaut

オープンソースのSEO監査ツール。

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 更新日時 2026-10-08 📅 作成日 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader) は、Windows、macOS、Linux 用のダウンロードマネージャーです。

setvisible
⭐ 855 C++ 👤 setvisible User 🕐 更新日時 2026-05-04 📅 作成日 2019-07-04
133
BlessedRebuS/Krawl

Krawl は、カスタマイズ可能で軽量なクラウドネイティブのウェブデセプションサーバおよびアンチクローラーで、現実的でランダム生成されたおとりデータと AI 生成の HTML テンプレートを使用して、低ハンギングの脆弱性を持つ偽のウェブアプリケーションを作成します。

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 更新日時 2026-11-20 📅 作成日 2025-12-10
134
postmodern/spidr

多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 更新日時 2026-01-12 📅 作成日 2009-03-08
135
tiliondev/fortress

1行のコード変更だけで、スクレイパーやブラウザエージェントのブロックを防ぐステルス Chromium エンジン。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 更新日時 2026-11-03 📅 作成日 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

シンプルだが役立つ Python ウェブスクレイピング チュートリアル コード。

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 更新日時 2024-04-07 📅 作成日 2017-12-29
137
fffonion/xeHentai

同人誌ダウンローダー 紳士漫画ダウンロード

fffonion
⭐ 808 Python 👤 fffonion User 🕐 更新日時 2026-11-15 📅 作成日 2013-03-23
138
fanyong920/jvppeteer

Chrome と Firefox 用 Java API

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 更新日時 2026-10-04 📅 作成日 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother は、ユーザー名の列挙(473以上のプラットフォーム)、4ベクトルの視覚情報分析、Sky Radarによる追跡、暗号資産ウォレット分析、SSL情報分析、デジタルフットプリントの再構築、EXIF抽出、高度なドーキング、ネットワーク偵察を備えた武器化OSINTプラットフォームです。

chadi0x
⭐ 787 Python 👤 chadi0x User 🕐 更新日時 2026-11-14 📅 作成日 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

JavaScript Cookie逆アセンブリの強力なツール:JS Cookie変更監視可視化ツール&条件付きブレークポイントのJS Cookieフック

JSREI
⭐ 779 TypeScript 👤 JSREI Organization 🕐 更新日時 2026-01-28 📅 作成日 2022-07-22
141
lixi5338619/lxBook

「クローラーリバースエンジニアリング実践入門」書籍コードリポジトリ

lixi5338619
⭐ 770 JavaScript 👤 lixi5338619 User 🕐 更新日時 2026-01-26 📅 作成日 2021-11-16
142
xuxueli/xxl-crawler

軽量なウェブクローラーフレームワーク。(Javaクローラーフレームワーク)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 更新日時 2026-08-08 📅 作成日 2017-10-17
143
polyrabbit/hacker-news-digest

📰 LLMにHacker Newsを要約してもらおう

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 更新日時 2026-11-21 📅 作成日 2014-09-17
144
TumblThreeApp/TumblThree

Tumblr と Twitter ブログバックアップアプリケーション

TumblThreeApp
⭐ 744 C# 👤 TumblThreeApp Organization 🕐 更新日時 2026-11-14 📅 作成日 2018-12-29
145
PyPtt/PyPtt

最高の PTT ライブラリ

PyPtt
⭐ 733 Python 👤 PyPtt Organization 🕐 更新日時 2026-11-13 📅 作成日 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn プロフィールスクレイパー。JSON で構造化されたプロフィールデータを返します。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 更新日時 2024-04-05 📅 作成日 2018-12-21
147
chushuai/wscan

Wscanはウェブセキュリティに焦点を当てたウェブセキュリティスキャナーであり、誰もがウェブセキュリティにアクセスできるようにすることを目指しています。

chushuai
⭐ 717 Go 👤 chushuai User 🕐 更新日時 2026-09-21 📅 作成日 2022-05-06
148
tasos-py/Search-Engines-Scraper

PythonでGoogle、Bing、Yahoo、その他の検索エンジンを検索

tasos-py
⭐ 672 Python 👤 tasos-py User 🕐 更新日時 2025-04-02 📅 作成日 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL は Moodle からコースコンテンツを高速でダウンロードします(例: 講義 PDF)

C0D3D3V
⭐ 668 Python 👤 C0D3D3V User 🕐 更新日時 2026-10-22 📅 作成日 2019-12-19
150
cxcscmu/Craw4LLM

"Craw4LLM: LLM 事前学習のための効率的な Web クローリング" の公式リポジトリ

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 更新日時 2025-02-24 📅 作成日 2025-02-17