Git Stars Git Stars

#web-scraping リポジトリ

381
リポジトリ総数
2.1M
合計スター数
5,636
リポジトリあたりの平均スター数

リポジトリ合計382件

201
germondai/trawl

セルフホスト型スクレイピングエンジン — あらゆるJSチャレンジとキャプチャをバイパス:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverrおよびByparrの代替品で、*arrスタックのドロップイン置換として使用可能。

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 更新日時 2026-11-16 📅 作成日 2026-06-26
202
intoli/user-agents

毎日更新されるデータでランダムなユーザーエージェントを生成するための JavaScript ライブラリ。

intoli
⭐ 1,194 TypeScript 👤 intoli Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-08-06
203
Evolution0/bandcamp-dl

BandcampのアルバムをダウンロードするためのシンプルなPythonスクリプト

Evolution0
⭐ 1,189 Python 👤 Evolution0 User 🕐 更新日時 2026-11-18 📅 作成日 2013-04-29
204
goodreasonai/ScrapeServ

URLを受け取り、ブラウザのスクリーンショットを含むファイルを返すセルフホスト型API。

goodreasonai
⭐ 1,184 Python 👤 goodreasonai Organization 🕐 更新日時 2025-03-09 📅 作成日 2025-02-05
205
eshaham/israeli-bank-scrapers

すべての主要なイスラエル銀行およびクレジットカード会社向けのスクレイパー提供

eshaham
⭐ 1,181 TypeScript 👤 eshaham User 🕐 更新日時 2026-11-20 📅 作成日 2017-07-29
206
dchrastil/ScrapedIn

API制限なしでLinkedInをスクレイピングするデータ偵察ツール

dchrastil
⭐ 1,168 Python 👤 dchrastil User 🕐 更新日時 2024-04-11 📅 作成日 2018-03-29
207
ccd0/4chan-x

匿名画像掲示板に様々な機能を追加します。

ccd0
⭐ 1,163 CoffeeScript 👤 ccd0 User 🕐 更新日時 2026-08-27 📅 作成日 2014-04-01
208
yize8888/maotai

i茅台(アイマオタイ)、葫芦娃(フールーワー)予約スクリプト

yize8888
⭐ 1,135 JavaScript 👤 yize8888 User 🕐 更新日時 2025-03-08 📅 作成日 2023-06-20
209
fwonggh/Bthub

Bthub最新アドレス公開ページ

fwonggh
⭐ 1,134 HTML 👤 fwonggh User 🕐 更新日時 2026-11-21 📅 作成日 2020-01-11
210
scrapfly/scrapfly-scrapers

80以上の人気ドメインに対応する、スケーラブルなPythonウェブスクレイピングスクリプト

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-22
211
juancarlospaco/faster-than-requests

Python 3 でより速いリクエスト

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 更新日時 2026-11-19 📅 作成日 2018-11-13
212
cipher387/python-for-OSINT-21-days

このリポジトリには、「OSINTのためのPython。初心者向け21日間コース」の各日のサンプルコードファイルが含まれています。

cipher387
⭐ 1,129 Python 👤 cipher387 User 🕐 更新日時 2026-01-06 📅 作成日 2023-03-26
213
Cloxl/xhshow

小紅書(Xiaohongshu)のxs純粋計算、および小紅書x-s、x-s-common、xscなどのフィールドの純粋計算リバースエンジニアリング。

Cloxl
⭐ 1,124 Python 👤 Cloxl User 🕐 更新日時 2026-06-11 📅 作成日 2024-09-11
215
xiaoguyu/wechatDownload

WeChat公式アカウント記事ダウンロードツール

xiaoguyu
⭐ 1,107 TypeScript 👤 xiaoguyu User 🕐 更新日時 2025-11-28 📅 作成日 2023-01-03
216
vifreefly/kimuraframework

CleanでAIアシストされたDSLを使い、Rubyでウェブスクレイパーを書きます。KimuraiはAIを使ってデータがどこにあるかを判定し、選択子をキャッシュして純粋なRubyでスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしでLLMの知能を手に入れましょう。

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 更新日時 2026-01-27 📅 作成日 2018-08-23
217
requireCool/stealth.min.js

最新の stealth.min.js を自動生成します。

requireCool
⭐ 1,096 👤 requireCool User 🕐 更新日時 2026-11-16 📅 作成日 2022-04-10
218
caolvchong-top/twitter_download

Twitter 画像 動画 クローラー; ワンクリックダウンロード

caolvchong-top
⭐ 1,087 Python 👤 caolvchong-top User 🕐 更新日時 2026-07-28 📅 作成日 2022-08-23
219
YaoZeyuan/stablog

ステイブル・トライブ。プロフェッショナルなバックアップとWeibo記録のエクスポート、ステイブル!

YaoZeyuan
⭐ 1,085 JavaScript 👤 YaoZeyuan User 🕐 更新日時 2026-08-15 📅 作成日 2019-09-11
220
Anil-matcha/awesome-agent-apis

muapiがホストする660以上の生成メディアモデルに加え、コミュニティ投稿のサードパーティAPIツール(SEO、データ拡充、ソーシャル、スクレイピング)を収録。1項目につきYAMLファイル1つで、機能別に閲覧できます。

Anil-matcha
⭐ 1,070 Python 👤 Anil-matcha User 🕐 更新日時 2026-10-14 📅 作成日 2023-05-06
221
antibrow/antibrow

すでに使い慣れている Playwright API に対応したカーネルレベルのアンチ検知ブラウザ。Python + Node SDK、MCP 対応、ローカルプロファイル数無制限。Linux x64 + arm64、macOS Intel + Apple Silicon、Windows x64 に対応。

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 更新日時 2026-09-28 📅 作成日 2026-07-29
222
IcarusRyy/NewJob

この役職の最終更新時間が一目でわかります。緑は2週間以内、暗いオレンジ色は1.5ヶ月以内、赤色は1.5ヶ月以上を示します。

IcarusRyy
⭐ 1,058 JavaScript 👤 IcarusRyy User 🕐 更新日時 2024-06-10 📅 作成日 2024-05-03
223
stay-leave/weibo-public-opinion-analysis

Weiboデータに基づくソーシャルメディア感情分析プロジェクト。Weiboクローラー、LDAトピック分析、感情分析を含みます。

stay-leave
⭐ 1,058 Python 👤 stay-leave User 🕐 更新日時 2026-10-24 📅 作成日 2021-08-01
224
lm-rebooter/NuggetsBooklet

Juejinミニブック

lm-rebooter
⭐ 1,054 HTML 👤 lm-rebooter User 🕐 更新日時 2026-05-06 📅 作成日 2023-05-31
225
mandatoryprogrammer/thermoptic

スタックのすべてのレイヤーでChromeブラウザとしてのリクエストを完全に偽装する、次世代のHTTPステルスプロキシ。

mandatoryprogrammer
⭐ 1,053 JavaScript 👤 mandatoryprogrammer User 🕐 更新日時 2026-10-25 📅 作成日 2025-09-02
⭐ 1,041 JavaScript 👤 badlogic User 🕐 更新日時 2026-02-17 📅 作成日 2023-05-08
227
FR13ND8/BruteFb

Termux でブルートフォース手法を使って Facebook をハック

FR13ND8
⭐ 1,026 Python 👤 FR13ND8 User 🕐 更新日時 2024-07-17 📅 作成日 2019-01-10
228
janreges/siteone-crawler

SiteOne Crawlerは、SEO、セキュリティ、アクセシビリティ、パフォーマンの最適化のためのクロスプラットフォームWebサイトクローラーおよびアナライザーであり、開発者、DevOps、QAエンジニア、コンサルタントに最適です。Windows、macOS、Linux(x64およびarm64)をサポートします。

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 更新日時 2026-09-27 📅 作成日 2023-10-04
229
utkarshkukreti/select.rs

HTMLドキュメントから有用なデータを抽出するためのRustライブラリ。ウェブスクレイピングに適しています。

utkarshkukreti
⭐ 1,018 Rust 👤 utkarshkukreti User 🕐 更新日時 2025-03-19 📅 作成日 2015-07-15
230
thepycoach/automation

Pythonによる自動化 (Excel、スクリプトなど)

thepycoach
⭐ 1,010 Jupyter Notebook 👤 thepycoach User 🕐 更新日時 2024-05-19 📅 作成日 2021-05-02
231
fferrin/free-medium

Medium の記事を無料で読むための拡張機能

fferrin
⭐ 1,008 JavaScript 👤 fferrin User 🕐 更新日時 2025-11-02 📅 作成日 2024-02-13
232
WittmannF/sort-google-scholar

引用数の数に基づいた Google Scholar 検索結果のランキング

WittmannF
⭐ 999 Python 👤 WittmannF User 🕐 更新日時 2026-10-30 📅 作成日 2016-04-30
233
maldevel/EmailHarvester

メールアドレスハーベスター

maldevel
⭐ 999 Python 👤 maldevel User 🕐 更新日時 2026-06-07 📅 作成日 2016-04-16
234
runesleo/x-reader

10以上のプラットフォームに対応したユニバーサルコンテンツリーダーMCPサーバー

runesleo
⭐ 992 Python 👤 runesleo User 🕐 更新日時 2026-11-11 📅 作成日 2026-02-22
235
borisbabic/browser_cookie3

これは browser_cookie のフォークです

borisbabic
⭐ 989 Python 👤 borisbabic User 🕐 更新日時 2024-12-20 📅 作成日 2015-04-26
236
MinorJerry/WebVoyager

"WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models" のコード

MinorJerry
⭐ 986 Python 👤 MinorJerry User 🕐 更新日時 2024-03-04 📅 作成日 2024-01-24
237
YaoZeyuan/zhihuhelp

Node&TypeScript 기반 知乎アシスタントの書き直し

YaoZeyuan
⭐ 985 TypeScript 👤 YaoZeyuan User 🕐 更新日時 2026-10-24 📅 作成日 2019-02-04
238
nicoxiang/geektime-downloader

Geektime コースダウンローダー、Geektime コラム/ビデオコース/毎日のレッスン/大企業の実践/ブートキャンプビデオのダウンロードをサポート

nicoxiang
⭐ 982 Go 👤 nicoxiang User 🕐 更新日時 2026-11-19 📅 作成日 2022-03-12
239
romansky/dom-to-semantic-markdown

LLMで使用するためのDOMからSemantic-Markdownへ

romansky
⭐ 976 TypeScript 👤 romansky User 🕐 更新日時 2025-05-21 📅 作成日 2024-07-22
241
cutetailbud/ff-ruyijs

これは、CodexやClaude CodeなどのAIエージェントがブラウザー自動化タスクを実行できるよう、専用に開発された軽量なヘッドレスブラウザーです。さまざまなウェブ保護システムやログイン手順、リバースエンジニアリングのシナリオに対応できるよう設計されています。

cutetailbud
⭐ 968 C++ 👤 cutetailbud User 🕐 更新日時 2026-11-19 📅 作成日 2026-10-28
242
treetrum/amazon-kindle-bulk-downloader

購入した書籍のバックアップコピーを作成できるこのツールを使用して、Kindle電子書籍をより自動化された方法で一括ダウンロードできます。

treetrum
⭐ 968 TypeScript 👤 treetrum User 🕐 更新日時 2025-02-27 📅 作成日 2023-04-07
244
HtmlUnit/htmlunit

HtmlUnit は Java プログラム用の「GUI なしブラウザ」です。」

HtmlUnit
⭐ 951 JavaScript 👤 HtmlUnit Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-09-02
245
JUk1-GH/gpt-promo-scanner

ChatGPT Team (Business) プロモーションコード自動スキャンツール — 一括発見/検証/価格収集、17カ国34種類のコードに対応、最大71%オフ | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off

JUk1-GH
⭐ 948 Python 👤 JUk1-GH User 🕐 更新日時 2026-05-15 📅 作成日 2026-05-11
246
SickleSec/SnowEyes

Web上の機密情報検出、フィンガープリント認識のためのChrome拡張機能

SickleSec
⭐ 946 JavaScript 👤 SickleSec User 🕐 更新日時 2026-08-10 📅 作成日 2024-12-27
247
BullsEye0/dorks-eye

Dorks Eye Google Hacking Dork Scraping and Searching Script。Dorks Eye は、私が Python 3 で作成したスクリプトです。このツールを使用すると、Google Dorks を簡単に見つけることができます。Dork Eye は、インターネット上で潜在的に脆弱な Web ページやアプリケーション、または Google の検索ボットによって収集されたその他の素晴らしい情報を収集します。作成者: Jolanda de Koff

BullsEye0
⭐ 940 Python 👤 BullsEye0 User 🕐 更新日時 2026-10-01 📅 作成日 2020-04-30
248
caseychu/spotify-backup

すべてのSpotifyプレイリストをエクスポートするPythonスクリプト。

caseychu
⭐ 937 Python 👤 caseychu User 🕐 更新日時 2024-09-22 📅 作成日 2014-12-24
249
facundoolano/feedi

パーソナルフィードリーダー

facundoolano
⭐ 933 Python 👤 facundoolano User 🕐 更新日時 2026-09-19 📅 作成日 2023-07-15
250
browser-use/awesome-prompts

素晴らしいブラウザ使用プロンプトのテーブル

browser-use
⭐ 926 👤 browser-use Organization 🕐 更新日時 2025-03-26 📅 作成日 2025-03-26