Git Stars Git Stars

#web-scraping リポジトリ

381
リポジトリ総数
2.1M
合計スター数
5,636
リポジトリあたりの平均スター数

リポジトリ合計382件

251
aws/nova-act

Amazon Nova Actは、UIベースのワークフローを大規模に自動化する、信頼性の高いAIエージェントを構築およびデプロイするためのAWSサービスです。

aws
⭐ 920 Python 👤 aws Organization 🕐 更新日時 2026-11-19 📅 作成日 2025-03-10
252
goose3/goose3

Python 3 互換の goose バージョン http://goose3.readthedocs.io/en/latest/index.html

goose3
⭐ 916 HTML 👤 goose3 Organization 🕐 更新日時 2026-07-23 📅 作成日 2016-12-11
253
MobinX/awesome-mcp-list

MCPサーバーの簡潔なリスト

MobinX
⭐ 915 👤 MobinX User 🕐 更新日時 2026-11-19 📅 作成日 2025-03-24
254
Borber/seam

複数のライブストリーミングプラットフォームからのライブストリームソースを取得する

Borber
⭐ 909 Rust 👤 Borber User 🕐 更新日時 2024-01-22 📅 作成日 2020-03-24
255
Rishikant181/Rettiwt-API

Twitterから無料でデータを取得するためのCLIツールとAPI!

Rishikant181
⭐ 904 TypeScript 👤 Rishikant181 User 🕐 更新日時 2026-11-10 📅 作成日 2022-01-24
256
Cl0udG0d/Fofa-hack

非会員、fofaデータ収集ツール

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 更新日時 2025-10-28 📅 作成日 2022-09-15
257
KartikTalwar/Duolingo

Pythonで書かれた非公式Duolingo API

KartikTalwar
⭐ 881 Python 👤 KartikTalwar User 🕐 更新日時 2024-04-12 📅 作成日 2013-07-03
258
coddingtonbear/python-myfitnesspal

MyFitnessPal に保存された食事追跡データをプログラム的にアクセスする

coddingtonbear
⭐ 875 Python 👤 coddingtonbear User 🕐 更新日時 2025-09-28 📅 作成日 2013-07-16
259
oss-invisible/playwright_mcp

Invisible Playwright MCP:ボット対策やCAPTCHAに検出されないPlaywright MCPサーバー。AIエージェントが、検出回避型のステルスFirefox、Python、検出されにくいブラウザー自動化、スクレイピング、コンピューター操作を使ってウェブを閲覧します。

oss-invisible
⭐ 869 Python 👤 oss-invisible Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-09-29
260
oxylabs/agent-skills

Oxylabs製品の公式Agentスキル

oxylabs
⭐ 869 JavaScript 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2026-02-17
261
844704781/ximalaya_downloader

⭐️ 可愛くて気まぐれな ヒマラヤアルバムオーディオ無制限ダウンローダーO(∩_∩)O

844704781
⭐ 868 JavaScript 👤 844704781 User 🕐 更新日時 2026-09-20 📅 作成日 2024-05-17
262
ttlns/Selenium-Driverless

ステルスブラウザ自動化フレームワーク

ttlns
⭐ 860 Python 👤 ttlns User 🕐 更新日時 2026-10-20 📅 作成日 2023-07-21
263
akkuman/rotateproxy

Fofaでsocks5オープンプロキシを検索してプロキシプールを切り替えるツール

akkuman
⭐ 859 Go 👤 akkuman User 🕐 更新日時 2025-05-20 📅 作成日 2021-10-18
264
Hong-Kong-Emergency-Coordination-Hub/Hong-Kong-Fire-Documentary

香港火災(大埔、11/26):王福苑で大規模な火災が発生しました

Hong-Kong-Emergency-Coordination-Hub
⭐ 854 HTML 👤 Hong-Kong-Emergency-Coordination-Hub Organization 🕐 更新日時 2025-12-05 📅 作成日 2025-11-28
265
AtuboDad
⭐ 851 Python 👤 AtuboDad User 🕐 更新日時 2024-07-29 📅 作成日 2020-12-22
266
zgq354/weibo-rss

🍰 お気に入りの微博をRSSサブスクリプションソースに変換

zgq354
⭐ 847 TypeScript 👤 zgq354 User 🕐 更新日時 2026-10-20 📅 作成日 2017-09-30
267
kiliman/tailwindui-crawler

tailwindui-crawlerはコンポーネントのHTMLファイルをローカルにダウンロードします

kiliman
⭐ 840 JavaScript 👤 kiliman User 🕐 更新日時 2025-11-05 📅 作成日 2020-03-06
268
postmodern/spidr

多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 更新日時 2026-01-12 📅 作成日 2009-03-08
269
OriX6/liveRecordAuto

Electronベースのマルチプラットフォームライブストリーミング自動録画ソフトウェア、Douyin/Kuaishouの複数リンク形式をサポート

OriX6
⭐ 828 👤 OriX6 User 🕐 更新日時 2024-03-07 📅 作成日 2023-08-27
270
hcjohn463/JableTVDownload

jableヘルパーをダウンロード

hcjohn463
⭐ 823 Python 👤 hcjohn463 User 🕐 更新日時 2026-08-13 📅 作成日 2021-01-10
271
hollingsworthd/jBrowserDriver

Selenium WebDriver仕様と互換性のある、プログラム可能で埋め込み可能なWebブラウザドライバ -- ヘッドレス、WebKitベース、ピュアJava

hollingsworthd
⭐ 818 Java 👤 hollingsworthd User 🕐 更新日時 2026-11-17 📅 作成日 2015-01-15
272
tiliondev/fortress

1行のコード変更だけで、スクレイパーやブラウザエージェントのブロックを防ぐステルス Chromium エンジン。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 更新日時 2026-11-03 📅 作成日 2026-07-02
273
Kaliiiiiiiiii-Vinyzu/patchright-nodejs

Playwrightテストおよび自動化ライブラリの未検出のNodeJSバージョン。

Kaliiiiiiiiii-Vinyzu
⭐ 813 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 更新日時 2026-11-10 📅 作成日 2024-11-02
274
zhaotoday/fingerprint-browser

フィンガープリントブラウザー(アカウント間の関連付けを防ぐブラウザー/アンチディテクトブラウザー/Antidetect Browser)と住宅用プロキシIPの選び方、およびオープンソースリソースのまとめ。主要なフィンガープリントブラウザー27製品とプロキシIP事業者28社の料金プランを整理し、Chromiumのフィンガープリントカスタマイズ、Camoufox、Patchright、アンチディテクト自動化、フィンガープリント検出ツールを紹介します。

zhaotoday
⭐ 813 👤 zhaotoday User 🕐 更新日時 2026-11-15 📅 作成日 2023-11-05
275
zqzess/MyWebStorage

Web上の既存の香色閨閣ソースを統合し、クローラーが毎週自動的にソースを更新します

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 更新日時 2026-11-16 📅 作成日 2021-05-18
276
feder-cr/invisible_selenium

アンチボットシステムに検知されないSeleniumだから、CAPTCHA不要:同じAPI、検知回避機能を備えたステルス型ヘッドレスFirefox、検知されないフィンガープリント、ボット検知の回避、Pythonによるウェブスクレイピングとブラウザー自動化。

feder-cr
⭐ 808 Python 👤 feder-cr User 🕐 更新日時 2026-10-19 📅 作成日 2024-08-16
277
justjavac/weibo-trending-hot-search

微博ホット検索ランキングは、2020年11月24日から微博の人気検索を記録します。データは1時間ごとに取得され、毎日アーカイブされます。

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 更新日時 2026-11-21 📅 作成日 2020-11-24
278
longxiaofei/spider-BaiduIndex

Baidu Index 向けデータ SDK

longxiaofei
⭐ 800 Python 👤 longxiaofei User 🕐 更新日時 2025-11-24 📅 作成日 2018-09-27
279
MrTurvey/flareprox

Cloudflareを使用して、fireproxと同様に、ユニークなIPローテーションのためのHTTPパススループロキシを作成します

MrTurvey
⭐ 799 Python 👤 MrTurvey User 🕐 更新日時 2025-11-11 📅 作成日 2025-09-26
280
chinoogawa/instaBrute

Instagram ブルートフォース エクスプロイト モジュール

chinoogawa
⭐ 798 Python 👤 chinoogawa User 🕐 更新日時 2024-03-29 📅 作成日 2015-08-04
281
hyperbrowserai/mcp

ハイパーブラウザ用MCPサーバー実装

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 更新日時 2025-11-20 📅 作成日 2025-02-25
282
discourse/onebox

(非推奨)URLをウェブサイトのプレビューに変換するためのGem

discourse
⭐ 792 Ruby 👤 discourse Organization 🕐 更新日時 2024-02-01 📅 作成日 2013-07-09
283
figranium/figranium

ブロックを視覚的に積み重ねて複雑なブラウザワークフローを構築し、API 経由で実行できます

figranium
⭐ 791 JavaScript 👤 figranium Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-12-25
284
DoctorD1501/JAVMovieScraper

XBMCおよびKodiの映画メタデータをスクレイピングし、日本の成人向けビデオ(JAV)、アメリカの成人向けDVD、アメリカの成人向けWebコンテンツのファイル名を自動的に変更します。

DoctorD1501
⭐ 789 Java 👤 DoctorD1501 User 🕐 更新日時 2024-03-14 📅 作成日 2014-07-27
286
checkToke/yangtai

青龙パネル、参加、巴奴火鍋、一汽フォルクスワーゲン、海底撈、屈臣氏、霸王茶姫、華住会、東呈会、万達ホテル、益禾堂 自動チェックイン。DJIストアの在庫、価格変動の監視

checkToke
⭐ 782 JavaScript 👤 checkToke User 🕐 更新日時 2025-10-23 📅 作成日 2024-06-24
287
lonnyzhang423/douyin-hot-hub

抖音トレンドランキング、スターランキング、ライブランキング、音楽ランキング、ブランドランキングを記録し、1時間ごとに更新し、日ごとにアーカイブします。

lonnyzhang423
⭐ 782 Python 👤 lonnyzhang423 User 🕐 更新日時 2026-10-22 📅 作成日 2021-01-09
288
quantumproxies/quantumproxies.io

200か国以上で9,000万以上のIPを利用できる住宅用、データセンター、ISP、モバイルプロキシ。スクレイピングAPIとSERP APIも提供。Python、Node.js、PHP、Go、Java、C#、Ruby、curlのコード例付き。

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 更新日時 2026-09-06 📅 作成日 2025-11-17
289
letr007/CCTVVideoDownloader

CCTV.com向けのネットワークビデオストリーム解析・処理ツール

letr007
⭐ 774 C++ 👤 letr007 User 🕐 更新日時 2026-11-13 📅 作成日 2023-12-29
290
mattsse/voyager

rustでウェブページをクロールおよびスクレイピング

mattsse
⭐ 767 Rust 👤 mattsse User 🕐 更新日時 2024-12-14 📅 作成日 2020-12-22
291
pbeenigg/LittleCrawler

LittleCrawler(小爬虫)、小紅書(xhs)、知乎(zh)、闲鱼(xy)プラットフォームの公開情報取得をサポートします。

pbeenigg
⭐ 764 Python 👤 pbeenigg User 🕐 更新日時 2026-08-09 📅 作成日 2026-01-07
292
serpapi/google-search-results-python

Google 検索結果 via SERP API pip Python パッケージ

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 更新日時 2026-08-18 📅 作成日 2018-01-10
293
python-mechanize/mechanize

python-mechanize プロジェクトの公式ソースコード

python-mechanize
⭐ 760 Python 👤 python-mechanize Organization 🕐 更新日時 2026-11-16 📅 作成日 2017-03-08
294
andybalholm/cascadia

Go の CSS セレクタライブラリ

andybalholm
⭐ 760 Go 👤 andybalholm User 🕐 更新日時 2026-11-12 📅 作成日 2015-03-28
295
oxylabs/web-scraping-google-sheets

基本的なウェブスクレイピングにGoogle Sheetsを使用するガイド

oxylabs
⭐ 757 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2022-11-14
296
1broseidon/ketch

ウェブ検索とスクレイピングのための高速でステートレスな CLI。AI エージェント向けに構築。

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 更新日時 2026-11-19 📅 作成日 2026-03-25
297
4ier/neo

任意のウェブアプリをAPIに変換。Chrome拡張機能がブラウザのトラフィックをキャプチャし、スキーマを自動生成し、AIがAPIを直接リプレイ可能。公式API不要。

4ier
⭐ 756 JavaScript 👤 4ier User 🕐 更新日時 2026-04-28 📅 作成日 2025-11-03
298
developersdigest/llm-api-engine

AI駆動型APIを数秒で構築・デプロイ

developersdigest
⭐ 755 TypeScript 👤 developersdigest User 🕐 更新日時 2025-02-03 📅 作成日 2025-01-24
299
jshemas/openGraphScraper

Open Graph情報などのNode.jsスクレイパーサービス!

jshemas
⭐ 754 TypeScript 👤 jshemas User 🕐 更新日時 2026-10-30 📅 作成日 2013-09-01
300
FreshRSS/Extensions

すべての公式FreshRSS拡張機能を含むリポジトリ

FreshRSS
⭐ 751 PHP 👤 FreshRSS Organization 🕐 更新日時 2026-11-19 📅 作成日 2015-01-08