Git Stars Git Stars

#web-scraping リポジトリ

381
リポジトリ総数
2.1M
合計スター数
5,636
リポジトリあたりの平均スター数

リポジトリ合計382件

101
jerry3747/taobao_seckill

淘宝、天猫半額特売、テレビを確保、茅台酒を確保、転売屋をぶっ潰せ

jerry3747
⭐ 2,667 Python 👤 jerry3747 User 🕐 更新日時 2024-07-12 📅 作成日 2020-12-29
102
Predidit/KazumiRules

Kazumiのルールホスティングリポジトリ、貢献を歓迎します ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 更新日時 2026-11-13 📅 作成日 2024-05-22
103
Anning01/AIMedia

AIMediaは、ホットトピックを自動的に取得し、AIで記事を作成して自動公開する統合ソフトウェアです。Toutiao、Xiaohongshu、WeChat公式アカウントなどをサポートします。

Anning01
⭐ 2,619 TypeScript 👤 Anning01 User 🕐 更新日時 2026-11-04 📅 作成日 2024-10-28
104
oss-invisible/playwright

見えない Playwright:アンチボットシステムから検出されない Playwright。だから CAPTCHA もありません。同じ API、検出回避機能を備えたステルス型ヘッドレス Firefox、検出されないフィンガープリント、ボット検出の回避、Python によるウェブスクレイピングとブラウザー自動化。

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-05-13
105
Mahanaicoach/google-maps-scraper-kit

リード獲得向けの無料オープンソース Google マップスクレイパー(Python、APIキー不要、Docker不要)。名称、電話番号、メールアドレス、ウェブサイト、評価、Instagram/Facebook/LinkedIn/TikTok/YouTube/XのリンクをCSVに出力します。メールアドレス付きの場所100件を44秒で取得。--gridでGoogleの120件上限を突破します。メールのMXレコード確認、広告ピクセル検出機能を搭載。Claude Code、Codex、Cursor向けのスキルです。

Mahanaicoach
⭐ 2,567 Python 👤 Mahanaicoach User 🕐 更新日時 2026-11-19 📅 作成日 2026-06-21
106
lorien/grab

ウェブスクレイピングフレームワーク

lorien
⭐ 2,461 Python 👤 lorien User 🕐 更新日時 2025-09-19 📅 作成日 2013-05-01
107
openbullet/OpenBullet2

OpenBullet 再創

openbullet
⭐ 2,447 C# 👤 openbullet User 🕐 更新日時 2026-09-07 📅 作成日 2020-04-23
108
0xMassi/webclaw

LLM向け高速ローカルファーストウェブコンテンツ抽出。スクレイプ、クロール、構造化データ抽出 — すべてRustで。CLI、REST API、MCPサーバー。

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 更新日時 2026-11-21 📅 作成日 2026-03-10
109
paquettg/php-html-parser

HTML DOM パーサーです。HTML を操作できます。jQuery のようにセレクターを使用して HTML ページ上のタグを検索します。

paquettg
⭐ 2,405 HTML 👤 paquettg User 🕐 更新日時 2024-08-09 📅 作成日 2013-12-13
110
drunkdream/weread-exporter

WeChat Readingの書籍をepub、pdf、mobiなどの形式にエクスポートする

drunkdream
⭐ 2,403 Python 👤 drunkdream User 🕐 更新日時 2026-03-21 📅 作成日 2023-02-11
111
saifyxpro/HeadlessX

検知されない自己ホスト型ブラウザ自動化プラットフォーム。Camoufox(Firefox)により0%の検出率を実現。高速性、プライバシー、スケーラビリティを備えて構築されています。

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 更新日時 2026-11-12 📅 作成日 2025-09-12
112
jxhczhl/JsRpc

コードを直接記述したり環境をセットアップしたりする手間を省き、RPC(リモートプロシージャコール)ブラウザメソッドを呼び出します

jxhczhl
⭐ 2,352 Go 👤 jxhczhl User 🕐 更新日時 2026-06-08 📅 作成日 2021-09-25
113
codingforentrepreneurs/30-Days-of-Python

次の30(くらい)日間でPythonを学びましょう。

codingforentrepreneurs
⭐ 2,232 HTML 👤 codingforentrepreneurs User 🕐 更新日時 2024-02-27 📅 作成日 2016-03-09
114
chao325/MaoTai_GUIT

天猫 TaoBao i茅台 iMatoTai JD 京東抢購、京東茅台抢購 Windows版、開箱即用環境設定不要。開発在即(Apache Licenseを採用したオープンソースプロトコル)

chao325
⭐ 2,147 Python 👤 chao325 User 🕐 更新日時 2026-11-12 📅 作成日 2023-09-20
115
btahir/open-deep-research

Gemini Deep Researchのオープンソース代替。検索結果に基づいてAIでレポートを生成します。

btahir
⭐ 2,141 TypeScript 👤 btahir User 🕐 更新日時 2025-12-15 📅 作成日 2024-12-24
116
ThePhaseless/Byparr

有効なアンチボットクッキーを自分で取得してください!

ThePhaseless
⭐ 2,117 Python 👤 ThePhaseless User 🕐 更新日時 2026-11-19 📅 作成日 2024-07-24
117
oxylabs/how-to-scrape-google-scholar

PythonとOxylabs SERP Scraper APIを使用してGoogle Scholarからタイトル、著者、引用を抽出するためのガイド。

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-03-07
118
oxylabs/how-to-scrape-amazon-prices

PythonおよびOxylabs E-Commerce Scraper APIを使用してAmazonからベストセラー商品、検索結果、現在利用可能な取引を抽出するためのコード。

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-03-21
119
ssili126/tv

自動収集されたIPv4ホテルテレビライブストリーム、自動再生速度テスト、毎日の自動更新。CCTV全国衛星チャンネルおよび一部の地方チャンネルが含まれており、スムーズに再生されます。OpenWrtまたはSynologyのDockerでも実行できます。

ssili126
⭐ 2,052 Python 👤 ssili126 User 🕐 更新日時 2026-11-04 📅 作成日 2024-01-12
120
supermemoryai/markdowner

あらゆるウェブサイトをLLM対応のマークダウンデータに変換する高速ツール。https://supermemory.ai製

supermemoryai
⭐ 2,033 TypeScript 👤 supermemoryai Organization 🕐 更新日時 2026-10-02 📅 作成日 2024-05-09
121
midudev/curso-python

初心者からわかるPython講座【演習問題付き】

midudev
⭐ 2,006 Python 👤 midudev User 🕐 更新日時 2026-10-16 📅 作成日 2025-01-15
122
zhegexiaohuozi/SeimiCrawler

SpringBootをサポートする、シンプル、アジャイル、分散型のJavaクローラフレームワーク。アジャイルで分散型のクローラフレームワーク。

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 更新日時 2026-11-17 📅 作成日 2015-11-06
123
KEV0143/Parser-Chitai-Gorod

「チタイ・ゴロド」カタログ用のインテリジェントパーサー。ISBNから割引の動向まで、指定されたあらゆるパラメーターに基づいた高速なデータ収集と構造化。

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 更新日時 2026-09-17 📅 作成日 2025-05-18
124
bogdanfinn/tls-client

net/http.Client は、リクエストに使用する特定のクライアント TLS フィンガープリントを選択するオプションを備えた HTTP クライアントに似ています。

bogdanfinn
⭐ 1,949 Go 👤 bogdanfinn User 🕐 更新日時 2026-11-18 📅 作成日 2022-07-09
125
stevenyomi/copymanga

Tachiyomi用のCopyManga拡張機能。

stevenyomi
⭐ 1,941 👤 stevenyomi User 🕐 更新日時 2024-02-18 📅 作成日 2022-06-30
126
nat/natbot

GPT-3でブラウザを操作する

nat
⭐ 1,933 Python 👤 nat User 🕐 更新日時 2024-06-09 📅 作成日 2022-09-29
127
ARC-MX/sgcc_electricity_new

HomeAssistant 国営電力網 電料金照会

ARC-MX
⭐ 1,925 Python 👤 ARC-MX User 🕐 更新日時 2026-11-07 📅 作成日 2024-05-08
128
bugswriter/notflix

Notflixは、トレントを検索およびストリーミングするためのシェルスクリプトです。

bugswriter
⭐ 1,913 Shell 👤 bugswriter User 🕐 更新日時 2024-06-18 📅 作成日 2022-01-01
129
saermart/DouyinLiveWebFetcher

抖音ライブのウェブ版での弾幕データ取得(2025年最新版)

saermart
⭐ 1,909 Python 👤 saermart User 🕐 更新日時 2026-09-08 📅 作成日 2024-01-02
⭐ 1,894 Python 👤 LawRefBook Organization 🕐 更新日時 2026-11-18 📅 作成日 2022-03-21
131
Freedium-cfd/web

このリポジトリはミラー専用です!主な開発リポジトリは https://codeberg.org/Freedium-cfd/web です

Freedium-cfd
⭐ 1,885 Python 👤 Freedium-cfd Organization 🕐 更新日時 2026-10-20 📅 作成日 2023-08-21
132
enetx/surf

SURF - Chrome/Firefoxブラウザのなりすまし、QUICフィンガープリンティングによるHTTP/3、JA3/JA4 TLSエミュレーション、Webオートメーションおよびスクレイピングのためのアンチボットバイパスを備えた高度なGo HTTPクライアント。

enetx
⭐ 1,853 Go 👤 enetx User 🕐 更新日時 2026-11-15 📅 作成日 2025-08-30
133
microlinkhq/browserless

Puppeteer 上で動作する Headless Chrome/Chromium のドライバ。スクリーンショットを撮影し、PDF を生成し、テキストと HTML を抽出できる、プロダクションレディな API です。

microlinkhq
⭐ 1,846 JavaScript 👤 microlinkhq Organization 🕐 更新日時 2026-11-20 📅 作成日 2017-09-06
134
tkfy920/qstock

qstockは、「Python金融量化」公式アカウントによって開発され、個人の定量的投資研究分析パッケージになることを目指しています。現在、データ取得(data)、可視化(plot)、銘柄選定(stock)、定量的バックテスト(strategy backtest)モジュールが含まれています。qstockは、ユーザーに簡潔なデータインターフェースと整理された金融市場データを提供します。可視化モジュールは、ユーザーにWebベースのインタラクティブなグラフィックのための簡単なインターフェースを提供します。銘柄選定モジュールは、Tonghuashunの銘柄選定データと、RPS、MMトレンド、財務指標、資金フローモデルなどを含むカスタム銘柄選定を提供します。バックテストモジュールは、すべての人にベクトル化された(pandasベース)およびイベント駆動型の基本的なフレームワークとモデルを提供します。「Python金融量化」WeChat公式アカウントをフォローして、より多くのアプリケーション情報を入手してください。

tkfy920
⭐ 1,839 Python 👤 tkfy920 User 🕐 更新日時 2025-03-16 📅 作成日 2022-10-10
135
deweizhu/bookget

bookget デジタル古籍ダウンロードツール。

deweizhu
⭐ 1,824 Go 👤 deweizhu User 🕐 更新日時 2026-01-23 📅 作成日 2023-04-09
136
kickscondor/fraidycat

1つのページからブログ、ウィキ、YouTube チャンネル、Twitter、Instagram などのアカウントをフォローします。

kickscondor
⭐ 1,809 JavaScript 👤 kickscondor User 🕐 更新日時 2024-02-07 📅 作成日 2019-06-22
137
lit26/finvizfinance

Finviz分析Pythonライブラリ。

lit26
⭐ 1,790 Python 👤 lit26 User 🕐 更新日時 2026-11-18 📅 作成日 2020-07-23
138
adsbypasser/adsbypasser

可能であれば、広告カウンターをバイパスしてください。

adsbypasser
⭐ 1,790 JavaScript 👤 adsbypasser Organization 🕐 更新日時 2026-11-21 📅 作成日 2012-12-17
139
oxylabs/how-to-scrape-google-jobs

PythonとOxylabsのGoogle Jobs Scraper APIを使用して、複数の検索クエリと地理的位置についてGoogleの求人を同時にスクレイピングする独自のGoogle Jobsスクレイパーを構築する方法を学びましょう。 https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-02-08
140
ProxyShard/ShardBrowser

ウェブスクレイピングとマルチアカウント運用向けの、無料・オープンソースのアンチ検知ブラウザランチャー。ShardXチーム(旧ProxyShard)による開発。Chromium 158でエンジンレベルのフィンガープリント偽装(WebGL / WebGPU / Client Hints / フォント / TLS)を実現し、220種類以上のデバイスプロファイルを同梱。SOCKS5経由で安定したQUIC + WebRTCに対応。

ProxyShard
⭐ 1,735 TypeScript 👤 ProxyShard User 🕐 更新日時 2026-11-21 📅 作成日 2026-05-30
141
egoist/sitefetch

サイト全体を取得し、テキストファイルとして保存します(AIモデルで使用するため)。

egoist
⭐ 1,733 TypeScript 👤 egoist User 🕐 更新日時 2025-01-18 📅 作成日 2025-01-07
142
acoooder/aliyunpanshare

Baidu Netdisk、Quark Netdisk、Aliyun Driveの映画・テレビリソース共有。最新のテレビドラマ、バラエティ番組、映画リソースを毎日更新。

acoooder
⭐ 1,729 👤 acoooder User 🕐 更新日時 2026-11-21 📅 作成日 2023-02-21
143
qinlili23333/ctfileGet

Chengtongクラウドドライブの使い捨てダイレクトリンクアドレスを取得する

qinlili23333
⭐ 1,725 JavaScript 👤 qinlili23333 User 🕐 更新日時 2025-11-07 📅 作成日 2021-02-11
144
oxylabs/scrape-google-python

このチュートリアルでは、PythonとOxylabs APIを使用して公開されているGoogleデータをスクレイピングする方法を紹介します。

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-07-30
145
rushter/selectolax

ModestおよびLexborエンジンへのPythonバインディング。Python用のCSSセレクタを備えた高速HTML5パーサー。

rushter
⭐ 1,717 Python 👤 rushter User 🕐 更新日時 2026-11-10 📅 作成日 2017-11-26
146
Shrans/GalSites

チャオ~(∠・ω< )⌒☆

Shrans
⭐ 1,716 Python 👤 Shrans User 🕐 更新日時 2026-10-26 📅 作成日 2024-10-16
147
gildas-lormeau/single-file-cli

単一のHTMLファイルに完全なWebページを忠実にコピーして保存するためのCLIツール(SingleFileベース)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 更新日時 2026-11-18 📅 作成日 2022-05-31
148
MgArcher/Text_select_captcha

テキスト選択、文字選択、選択、タッチCAPTCHA認識の実装、PyTorchでトレーニング済み

MgArcher
⭐ 1,679 Python 👤 MgArcher User 🕐 更新日時 2026-05-08 📅 作成日 2020-08-23
149
Altimis/Scweet

Python向けのTwitter・Xスクレイパー:公式APIを使わずに、ツイート、プロフィール、フォロワー、フォロー中のアカウント、トレンドを取得できます。複数アカウントのプール、プロキシ対応、非同期処理に対応したTwitterスクレイピングライブラリ、またはApifyでホストされたバージョンをご利用いただけます。

Altimis
⭐ 1,667 Python 👤 Altimis User 🕐 更新日時 2026-11-20 📅 作成日 2020-12-14
150
ttttmr/Wechat2RSS

WeChat公式アカウントからRSSへ

ttttmr
⭐ 1,665 Shell 👤 ttttmr User 🕐 更新日時 2026-11-20 📅 作成日 2021-09-25