Git Stars Git Stars

#web-scraping リポジトリ

381
リポジトリ総数
2.1M
合計スター数
5,636
リポジトリあたりの平均スター数

リポジトリ合計382件

51
matthewmueller/x-ray

次のWebスクレイパー。<html>のノイズを見抜く。

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 更新日時 2026-08-31 📅 作成日 2015-02-05
52
omkarcloud/botasaurus

無敵のスクレイパーを構築するためのオールインワンフレームワーク

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 更新日時 2026-11-13 📅 作成日 2023-05-09
53
executeautomation/mcp-playwright

Playwright Model Context Protocol Server - Claude Desktop、Cline、Cursor IDE などでブラウザとAPIを自動化するためのツール 🔌

executeautomation
⭐ 5,681 TypeScript 👤 executeautomation User 🕐 更新日時 2025-12-13 📅 作成日 2024-12-03
54
KnockOutEZ/wigolo

AIコーディングエージェントのための頼りになるウェブ — MCPを介したローカルファーストの検索、取得、クロール、リサーチ。APIキー不要、クラウド不要、1クエリ0ドル。公開ベータ版。

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 更新日時 2026-11-21 📅 作成日 2026-04-12
55
Kaliiiiiiiiii-Vinyzu/patchright

Playwright テストおよび自動化ライブラリの未検出バージョンです。

Kaliiiiiiiiii-Vinyzu
⭐ 5,227 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 更新日時 2026-11-13 📅 作成日 2023-11-07
56
Manavarya09/design-extract

1つのコマンドで任意のウェブサイトの完全なデザインシステムを抽出。DTCGトークン、セマンティック+プリミティブ+コンポジット、Claude Code/Cursor/Windsurf用のMCPサーバー、マルチプラットフォームエミッター(iOS SwiftUI、Android Compose、Flutter、WordPress)、Tailwind v4、Figma変数、shadcn/ui、CSSヘルス監査、WCAG修復、Chrome拡張。MIT、Playwright、Node 20+。

Manavarya09
⭐ 5,180 HTML 👤 Manavarya09 User 🕐 更新日時 2026-11-18 📅 作成日 2026-04-15
57
ultrafunkamsterdam/nodriver

Undetected-Chromedriverの後継。Captcha / CloudFlare / Imperva / hCaptchaのような迷惑なアンチボットシステムによって通常妨げられるWebオートメーション、Webスクレイピング、ボット、およびその他の創造的なアイデアのための非常に高速なフレームワークを提供します。

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 更新日時 2026-10-26 📅 作成日 2024-02-20
58
jaypyles/Scraperr

セルフホスト型Webスクレイパー。

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 更新日時 2025-10-12 📅 作成日 2024-07-06
59
NanmiCoder/CrawlerTutorial

クローラー入門、クローラー中級、上級クローラー

NanmiCoder
⭐ 4,873 Python 👤 NanmiCoder User 🕐 更新日時 2026-04-03 📅 作成日 2024-03-24
60
request/request-promise

Promiseサポート付きのシンプルなHTTPリクエストクライアント「request」。Bluebird搭載。

request
⭐ 4,734 JavaScript 👤 request Organization 🕐 更新日時 2024-01-31 📅 作成日 2013-10-04
61
REMitchell/python-scraping

書籍『Web Scraping with Python』のコードサンプル http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 更新日時 2024-06-01 📅 作成日 2015-06-14
62
AhmadHassan-BTed/Noria

メッセージングプラットフォーム向けのエージェント型情報抽出ツール。NoriaはチャットでメッセージやURLを受け取り、ウェブデータを収集して、カスタムの評価基準(求人、奨学金など)に基づいて内容を評価します。その後、算出した適合スコアを含む構造化された要約を、割り当てられたメッセンジャーの番号に直接送信します。

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 更新日時 2026-11-10 📅 作成日 2026-05-31
63
linsomniac/spotify_to_ytmusic

Spotifyのプレイリストとお気に入りの音楽をYTMusicにコピー

linsomniac
⭐ 4,588 Python 👤 linsomniac User 🕐 更新日時 2026-04-13 📅 作成日 2023-12-22
64
0xHJK/music-dl

音楽の検索とダウンロード 网易云音楽、QQ音楽、酷狗音楽、百度音楽、虾米音楽、咪咕音楽などから検索して曲をダウンロード

0xHJK
⭐ 4,423 Python 👤 0xHJK User 🕐 更新日時 2025-08-12 📅 作成日 2019-01-08
65
ssut/py-googletrans

(非公式) Googletrans: Python用の無料で無制限のGoogle翻訳API。完全に無料で翻訳します。

ssut
⭐ 4,303 Python 👤 ssut User 🕐 更新日時 2026-08-08 📅 作成日 2015-06-05
66
RookieEnough/Orion-Store

オープンソースアプリとクリーンなアプリの理想のホーム。OrionStoreなら、YouTube Morphe、YT Music Morphe、そして欠かせないオープンソースツールにすぐアクセスできます。余計なものは一切ありません。サーバーもトラッキングもなく、お気に入りのアプリへつながる、美しくモダンなポータルです。

RookieEnough
⭐ 4,285 Kotlin 👤 RookieEnough User 🕐 更新日時 2026-11-19 📅 作成日 2025-11-28
67
scrapinghub/splash

軽量でスクリプタブルなブラウザをサービスとして、HTTP API付き

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 更新日時 2024-08-02 📅 作成日 2013-05-20
68
kalil0321/reverse-api-engineer

あらゆるウェブサイトをリバースエンジニアリングして、型付き API クライアントに変換します。Claude Code、Codex、Cursor、OpenCode に対応。

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 更新日時 2026-11-21 📅 作成日 2025-12-23
69
snooppr/snoop

Snoop – オープンソースインテリジェンス(OSINT)ツール

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 更新日時 2026-11-20 📅 作成日 2020-02-14
70
IonicaBizau/scrape-it

🔮 人間のための Node.js スクレイパー。

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 更新日時 2026-11-20 📅 作成日 2016-04-28
71
ericciarla/trendFinder

AI を活用して、ソーシャルメディアやウェブ上のトレンドトピックを把握しましょう

ericciarla
⭐ 4,016 TypeScript 👤 ericciarla User 🕐 更新日時 2025-02-17 📅 作成日 2024-12-31
72
osnr/TabFS

🗄 ブラウザのタブをファイルシステムとしてマウントします。

osnr
⭐ 3,916 JavaScript 👤 osnr User 🕐 更新日時 2024-12-28 📅 作成日 2019-02-26
73
Samueli924/chaoxing

Superstar Learning Cloud / Super Star Er Ya / Pan Ya Superstar 完全自動無人監視タスクポイント完了

Samueli924
⭐ 3,883 Python 👤 Samueli924 User 🕐 更新日時 2026-09-28 📅 作成日 2020-11-20
74
sentient-agi/OpenDeepSearch

SOTA検索搭載LLM

sentient-agi
⭐ 3,824 Python 👤 sentient-agi Organization 🕐 更新日時 2025-04-04 📅 作成日 2025-03-20
75
edoardottt/cariddi

ドメインのリストを取得し、URLをクロールして、エンドポイント、シークレット、APIキー、ファイル拡張子、トークンなどをスキャンします。

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 更新日時 2026-11-19 📅 作成日 2021-04-27
76
3441293738/creatorhub

マルチプラットフォームのコンテンツ監視・収集・転載。1つのWebパネルでDouyin/小紅書/快手/WeChatチャンネル/TikTok/Bilibili/Instagram/海外版小紅書(rednote)を一元管理

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 更新日時 2026-11-21 📅 作成日 2026-07-03
77
Anakin-Inc/anakin

オープンソースのWebスクレイピングAPI。あらゆるウェブサイトをクリーンなMarkdownや構造化されたJSONに変換します。アンチ検知ブラウザ、プロキシ自動選択、セルフホスト対応。コマンド一つで実行:make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 更新日時 2026-08-18 📅 作成日 2026-03-17
78
cv-cat/DouYin_Spider

TikTokリバースエンジニアリング、TikTokクローラー、TikTok全API、プライベートメッセージ、ライブ配信室監視

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 更新日時 2026-10-23 📅 作成日 2023-10-17
79
oxylabs/amazon-scraper

検索、製品、オファーリスト、レビュー、質問と回答、ベストセラー、出品者データを抽出するための無料トライアルAmazon Scraper API。

oxylabs
⭐ 3,417 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2022-11-29
81
oxylabs/oxylabs-ai-studio-py

AIを活用したスクレイパー、クローラー、ブラウザ自動化を使用して、あらゆるウェブサイトから構造化データを収集します。自然言語プロンプトによるスクレイピングとクロール。LLMエージェントに最新データを装備させます。インテリジェントなウェブデータ収集のためのAI Studio python SDK。

oxylabs
⭐ 3,394 Python 👤 oxylabs Organization 🕐 更新日時 2026-08-21 📅 作成日 2025-06-17
82
vibheksoni/stealth-browser-mcp

MCP と Chrome DevTools Protocol を介した AI エージェント向けステルスブラウザ自動化:ナビゲーション、ネットワークフック、DOM 抽出、ピクセル単位で正確な UI クローン作成。

vibheksoni
⭐ 3,384 Python 👤 vibheksoni User 🕐 更新日時 2026-11-20 📅 作成日 2025-08-09
83
php-curl-class/php-curl-class

PHP Curl Class は、HTTP リクエストの送信と Web API との統合を簡単にします。

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 更新日時 2026-11-17 📅 作成日 2013-08-16
84
Virtual-Browser/VirtualBrowser

無料のアンチフィンガープリントブラウザ、フィンガープリントブラウザ、プライバシーブラウザ、アンチ認識ブラウザ、アンチ識別ブラウザ、アンチ関連付けブラウザ、無料のWeb3エアドロップ専用フィンガープリントブラウザ https://virtualbrowser.cc/?src=github

Virtual-Browser
⭐ 3,282 Vue 👤 Virtual-Browser User 🕐 更新日時 2026-10-16 📅 作成日 2023-05-20
85
hydrusnetwork/hydrus

ハードドライブや人気ウェブサイトからファイルとタグをインポートできる個人用 booru スタイルのメディアタグ付けツール。コンテンツはユーザー運営サーバーを通じて他のユーザーと共有できます。

hydrusnetwork
⭐ 3,276 Python 👤 hydrusnetwork User 🕐 更新日時 2026-11-18 📅 作成日 2013-02-19
86
oxylabs/how-to-scrape-amazon-product-data

Python を使用して Amazon から製品データ(タイトル、評価、価格、画像、説明を含む)を抽出するプロセス。

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-09-03
87
mitsuhiko/agent-stuff

これらは私がエージェント、主にClaudeと使うコマンドです。

mitsuhiko
⭐ 3,223 TypeScript 👤 mitsuhiko User 🕐 更新日時 2026-09-27 📅 作成日 2025-11-02
88
scrapy/scrapyd

Scrapy スパイダーを実行するためのサービスデーモン

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 更新日時 2026-10-23 📅 作成日 2013-02-01
90
langchain-ai/social-media-agent

📲 ソーシング、キュレーション、ソーシャルメディア投稿のスケジューリングを行うエージェント(ヒューマン・イン・ザ・ループ)。

langchain-ai
⭐ 3,045 TypeScript 👤 langchain-ai Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-11-21
91
TheBlewish/Automated-AI-Web-Researcher-Ollama

Ollama上で実行されているLLMを自動化されたリサーチャーに変えるPythonプログラム。単一のクエリで調査すべき焦点領域を決定し、ウェブ検索を実行し、様々な関連ウェブサイトからコンテンツをスクレイピングし、あなたのためにすべてを自分でリサーチします!さらに、成果の保存なども含まれますが、これらに限定されません!

TheBlewish
⭐ 3,019 Python 👤 TheBlewish User 🕐 更新日時 2026-09-02 📅 作成日 2024-11-20
92
x4nth055/pythoncode-tutorials

Python コード チュートリアル

x4nth055
⭐ 3,003 Jupyter Notebook 👤 x4nth055 User 🕐 更新日時 2026-09-30 📅 作成日 2019-07-29
93
vladkens/twscrape

X/TwitterのスクレイピングのためのPythonライブラリとCLI。マルチアカウントのローテーションとレート制限処理を内蔵。

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 更新日時 2026-11-19 📅 作成日 2023-05-05
94
rust-headless-chrome/rust-headless-chrome

DevTools プロトコル経由でヘッドレス Chrome または Chromium を制御するための高レベル API。Chrome DevTools チームがメンテナンスする Node ライブラリ Puppeteer の Rust 相当です。

rust-headless-chrome
⭐ 2,960 Rust 👤 rust-headless-chrome Organization 🕐 更新日時 2026-06-11 📅 作成日 2018-09-18
95
oxylabs/how-to-scrape-google-trends

PythonとOxylabs SERP APIを使用して、Googleトレンドデータをスクレイピングし、結果比較を行う方法を段階的に学びます。キーワード、その人気度、地域別の内訳、関連するクエリなどを抽出します。

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-08-06
96
digininja/CeWL

CeWL はカスタムワードリストジェネレーターです

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 更新日時 2026-06-24 📅 作成日 2016-04-22
97
spider-rs/spider

Rustによる基盤的な低レイテンシーWebデータ収集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-01-07
98
Geniusay/ChopperBot

Huya、Douyu、Douyin、BiliBili、TikTok、Twitch🔥人気🔥スマートライブビデオ編集・投稿AIロボット、自動化🤖、完全自動化⚙(スマートクリップ生成、タイトル、サムネイル、説明)、視覚化👓、プラットフォーム人気監視🌡、豊富なプラグイン自由拡張🕹、高速デプロイ⚡、ビデオアカウント自動投稿構築🌟、DIY対応🎮

Geniusay
⭐ 2,758 Java 👤 Geniusay User 🕐 更新日時 2025-08-04 📅 作成日 2023-04-27
99
levywang/avhub

R18 リソース検索・管理ツール

levywang
⭐ 2,742 Vue 👤 levywang User 🕐 更新日時 2026-04-18 📅 作成日 2025-03-07
100
brightdata/brightdata-mcp

パブリックWebアクセス向けのオールインワンソリューションを提供する強力なModel Context Protocol (MCP)サーバー。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-04-15