Git Stars Git Stars

#spider リポジトリ

92
リポジトリ総数
325,814
合計スター数
3,541
リポジトリあたりの平均スター数

リポジトリ合計92件

51
kiddyuchina/Beanbun

BeanbunはPHPで書かれたマルチプロセスWebクローリングフレームワークであり、優れた開放性と高い拡張性を持ち、Workermanをベースとしています。

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 更新日時 2026-05-26 📅 作成日 2017-04-13
52
scrapfly/scrapfly-scrapers

80以上の人気ドメインに対応する、スケーラブルなPythonウェブスクレイピングスクリプト

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-22
53
BaiduSpider/BaiduSpider

Baidu検索結果をクロールするクローラーであるBaiduSpiderは、現在、Baiduウェブ検索、Baidu画像検索、Baidu知恵袋検索、Baidu動画検索、Baiduニュース検索、Baidu文庫検索、Baidu経験検索、Baidu百科検索をサポートしています。

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 更新日時 2024-06-14 📅 作成日 2020-10-03
54
elixir-crawly/crawly

Crawly、Elixir向けの高レベルウェブクローリングおよびスクレイピングフレームワーク。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-03-09
55
skygazer42/DL-Hub

LLM大規模モデルノート50記事 このリポジトリには、機械学習、ディープラーニング、コンピュータービジョン、自然言語処理、大規模モデル、Webスクレイピングなどの分野におけるプロジェクトの実践が含まれています。

skygazer42
⭐ 1,121 Python 👤 skygazer42 User 🕐 更新日時 2026-08-30 📅 作成日 2022-04-05
56
wujunwei928/parse-video

Golang 短尺動画ウォーターマーク削除:Douyin、Pipixia、Huoshan、Weishi、Zuiyou、Kuaishou、Quanmin Xiaoshipin、Pipixia Gaoqiao、Xigua Video、Huya、Li Video、AcFun、Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 更新日時 2026-11-08 📅 作成日 2022-07-12
57
zhangyd-c/OneBlog

:alien: OneBlog、シンプルで美しく、機能豊かでレスポンシブなJavaブログ

zhangyd-c
⭐ 1,103 Java 👤 zhangyd-c User 🕐 更新日時 2025-03-16 📅 作成日 2018-04-10
58
1061700625/WeChat_Article

WeChat公式アカウントの記事をクローリング

1061700625
⭐ 1,089 Python 👤 1061700625 User 🕐 更新日時 2026-06-17 📅 作成日 2019-02-21
59
gsh199449/spider

使いやすいウェブコンソールを備えた設定可能なウェブスパイダー

gsh199449
⭐ 996 Java 👤 gsh199449 User 🕐 更新日時 2026-06-03 📅 作成日 2016-11-24
60
spidersuite/SpiderSuite

SpiderSuite(ウェブセキュリティクローラー)のリリース、ウィキ、ロードマップ

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 更新日時 2026-08-13 📅 作成日 2023-04-05
61
QIN2DIM/V2RSS

:rocket: 収集|無料|高品質|購読?

QIN2DIM
⭐ 978 Python 👤 QIN2DIM User 🕐 更新日時 2026-11-17 📅 作成日 2020-06-02
62
LoseNine/Crack-JS-Spider

JSリバースエンジニアリング、JSアンチスクレイピング暗号化パラメータの解読、Geetestスライダーw(2022.2.19)を解読済み、QQ音楽sign(2022.2.13)、Pinduoduo anti_content、Boss Zhipin zp_token、Zhihu x-zse-96、Kugou kg_mid/dfid、Vipshop mars_cid、中国裁判文書ネットワーク(2020-06-30更新)、Taobaoパスワード、Tianan Insuranceログイン、bilibiliログイン、Fang.comログイン、WPSログイン、Weiboログイン、Youdao Translate、Neteaseログイン、WeChat公式アカウントログイン、Air China Networkログイン、Jmubiaoログイン、Student Information Management Systemログイン、Gengying Financeログイン、Chongqing Science and Technology Resource Sharing Platformログイン、Netease Cloud Musicダウンロード、ワンクリックビデオリンク解析、Cailiansheログイン。

LoseNine
⭐ 974 JavaScript 👤 LoseNine User 🕐 更新日時 2024-05-03 📅 作成日 2020-02-09
63
fredwu/crawler

Elixir製の高性能Webクローラー/スクレイパー。

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 更新日時 2026-11-21 📅 作成日 2016-08-08
64
ma6254/FictionDown

小説ダウンロード|小説クローリング|起点|笔趣阁|Markdown出力|txt出力|epub変換|広告フィルタリング|自動校正

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 更新日時 2025-01-21 📅 作成日 2019-03-03
65
0xAllenChen/spider_reverse

クローラーの逆アセンブリ事例、完了:TLSフィンガープリント|Ruishu|Zhenkunxing|NetEase Yudun|WeChatミニプログラム逆アセンブリ・逆エンジニアリング(Baida Xingxi)|Tonghuashun|RPC復号|Jiasule|JueyanスライダCAPTCHA|Julang Sanshu|Boss Zhipin|Qichacha|China Minmetals|QQ Music|産業政策ビッグデータプラットフォーム|Qizhidiao|Xueqiu.com(acw_sc__v2)|1688|Qimai Data|whggzy|Qiming Keji|mohurd|Ejoin Data|Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 更新日時 2026-11-17 📅 作成日 2023-06-02
66
hellock/icrawler

多くの組み込み画像クローラーが提供されるマルチスレッドクローラーフレームワーク。

hellock
⭐ 936 Python 👤 hellock User 🕐 更新日時 2025-12-10 📅 作成日 2016-03-19
67
alltheplaces/alltheplaces

インターネットに位置情報を投稿する場所から位置情報を抽出するためのスパイダーとスクレイパーのセット。

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-06-15
68
BlessedRebuS/Krawl

Krawl は、カスタマイズ可能で軽量なクラウドネイティブのウェブデセプションサーバおよびアンチクローラーで、現実的でランダム生成されたおとりデータと AI 生成の HTML テンプレートを使用して、低ハンギングの脆弱性を持つ偽のウェブアプリケーションを作成します。

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 更新日時 2026-11-20 📅 作成日 2025-12-10
69
kingschan1204/istock

:point_right: Spring Boot を基盤とした Java 株式クローラー(A株のみ対応)、気に入ったら :heart: :star: してください。V2 アップグレード版開発中!

kingschan1204
⭐ 836 Java 👤 kingschan1204 User 🕐 更新日時 2024-12-27 📅 作成日 2017-03-09
70
postmodern/spidr

多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 更新日時 2026-01-12 📅 作成日 2009-03-08
71
DoiiarX/NLCISBNPlugin

中国国家図書館のISBN検索に基づいたcalibreのsource/metadataプラグイン。https://doiiars.com/article/NLCISBNPlugin

DoiiarX
⭐ 812 Python 👤 DoiiarX User 🕐 更新日時 2026-01-07 📅 作成日 2023-12-14
72
bahaabdelwahed/killshot

ペネトレーションテストフレームワーク、情報収集ツール、ウェブサイト脆弱性スキャナー

bahaabdelwahed
⭐ 791 Ruby 👤 bahaabdelwahed User 🕐 更新日時 2025-12-07 📅 作成日 2018-10-27
73
montaro2017/bili_novel_packer

ライトノベルパッカー。ビリノベルのウェブサイト(bilinovel.com linovelib.com)からコンテンツを収集し、表紙、挿絵、目次、巻の統合をサポートするEPUB形式にパッケージングします。

montaro2017
⭐ 787 Dart 👤 montaro2017 User 🕐 更新日時 2026-11-13 📅 作成日 2023-02-20
74
xuxueli/xxl-crawler

軽量なウェブクローラーフレームワーク。(Javaクローラーフレームワーク)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 更新日時 2026-08-08 📅 作成日 2017-10-17
75
polyrabbit/hacker-news-digest

📰 LLMにHacker Newsを要約してもらおう

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 更新日時 2026-11-21 📅 作成日 2014-09-17
76
signal18/replication-manager

Signal 18 repman - MySQL / MariaDB / Percona Server 用レプリケーションマネージャー

signal18
⭐ 747 Go 👤 signal18 Organization 🕐 更新日時 2026-11-20 📅 作成日 2015-10-14
77
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn プロフィールスクレイパー。JSON で構造化されたプロフィールデータを返します。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 更新日時 2024-04-05 📅 作成日 2018-12-21
78
wujunwei928/parse-video-py

Python短動画の透かし削除クローラー:Douyin、Pipixia、Huoshan、Weishi、Zuiyou、Kuaishou、国民短動画、Pipi楽しい、Xigua Video、Huya、Li Video、AcFun、Haokan Video…

wujunwei928
⭐ 721 Python 👤 wujunwei928 User 🕐 更新日時 2026-11-08 📅 作成日 2024-04-03
79
xinlingqudongX/TSDK

淘宝クローラーSDK、淘宝オープン・プラットフォームまたは淘宝、天猫、アリババのログイン・クローリング用

xinlingqudongX
⭐ 716 Python 👤 xinlingqudongX User 🕐 更新日時 2026-03-26 📅 作成日 2018-12-06
80
casual-silva/NewsCrawl

企業級の世論ニュースクローラープロジェクトをオープンソース化:任意の数のクローラーのワンクリック実行、クローラーの定期タスク、クローラーの一括削除をサポート;クローラーのワンクリックデプロイ;クローラーの監視可視化;クラスタークローラーの割り当て戦略を設定;👉 既製のDockerワンクリックデプロイドキュメントで皆さんのために障害を回避しました。

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 更新日時 2026-05-23 📅 作成日 2022-07-08
81
darbra/sign

アプリパラメータの逆アセンブルの考え方と体験、Android逆アセンブル

darbra
⭐ 667 👤 darbra User 🕐 更新日時 2024-06-13 📅 作成日 2020-05-26
82
spiritLHLS/Hang-up-items

アンケートプロジェクト、クラウドサーバー推奨、ハンギングプロジェクト、無料プロキシ、各種スクリプト収集。右上のベルをクリックして、タイムリーな更新情報を受け取ってください。(フォークしないで、控えめに)

spiritLHLS
⭐ 646 👤 spiritLHLS User 🕐 更新日時 2026-11-13 📅 作成日 2022-04-11
83
fengzhizi715/NetDiscovery

NetDiscoveryは、Vert.xやRxJava 2などのフレームワークに基づいて実装された汎用クローラーフレームワーク/ミドルウェアです。

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 更新日時 2026-06-05 📅 作成日 2017-11-26
84
cv-cat/catbus

Xiaohongshu、Douyin、TikTok、Bilibili、Kuaishou、Weibo、Xianyu、Taobao、JD.com、Xを1つのコマンドで操作:人間とAIエージェント向けの統一コマンドとJSON出力

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 更新日時 2026-11-20 📅 作成日 2026-09-27
85
scrapfly/Antibot-Detector

アンチボットシステム、CAPTCHA、フィンガープリンティング技術をリアルタイムで検出します。Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security などを識別し、信頼度スコアと高度なキャプチャツールを提供します。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 更新日時 2026-11-17 📅 作成日 2025-09-03
86
l4rm4nd/LinkedInDumper

LinkedIn APIから会社の従業員をダンプ/スクレイプ/抽出するためのPython 3スクリプト

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 更新日時 2026-08-21 📅 作成日 2022-10-17
87
mouday/spider-admin-pro

spider-admin-pro クローラScrapy+Scrapydクローラプロジェクトの表示とクローラタスクの定期実行スケジューリングのためのビジュアル管理ツール、SpiderAdminのアップグレード版

mouday
⭐ 614 Python 👤 mouday User 🕐 更新日時 2026-06-15 📅 作成日 2021-01-25
88
jadehh/TVSpider

映画と猫の映画クローラーリポジトリ

jadehh
⭐ 604 JavaScript 👤 jadehh User 🕐 更新日時 2024-09-18 📅 作成日 2023-02-16
89
CharlesPikachu/freeproxy

FreeProxy: インターネットから無料プロキシを収集します。(世界中の大量の高品質な無料プロキシ、数十の無料プロキシ共有ソースのクロールをサポート、カスタムルールによるプロキシフィルタリングをサポート、ウェブスクレイピングとデータ分析に必須、毎日大量の無料プロキシを更新。)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 更新日時 2026-11-21 📅 作成日 2018-10-29
90
zhuyingda/webster

Node.js 用の信頼性の高い高レベルウェブクローリング&スクレイピングフレームワーク。

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 更新日時 2025-03-12 📅 作成日 2017-11-04
91
dirtyfilthy/freshonions-torscraper

Fresh Onionsは、zlal32teyptf4tvi.onionでホストされているオープンソースのTORスパイダー/隠しサービス向けonionクローラーです

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 更新日時 2026-11-19 📅 作成日 2017-02-15
92
sansan0/bilibili-comment-analyzer

🎯 ビリビリ(bilibili)コメントデータ可視化分析ソフトウェア -- 投稿者は自分のテーマ選択を導き、ファン層を明確にするために使用できます。

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 更新日時 2025-06-27 📅 作成日 2025-06-03