Git Stars Git Stars

#scraper リポジトリ

128
リポジトリ総数
792,441
合計スター数
6,190
リポジトリあたりの平均スター数

リポジトリ合計128件

51
rushter/selectolax

ModestおよびLexborエンジンへのPythonバインディング。Python用のCSSセレクタを備えた高速HTML5パーサー。

rushter
⭐ 1,717 Python 👤 rushter User 🕐 更新日時 2026-11-10 📅 作成日 2017-11-26
52
paulpierre/informer

Python製のTelegram大量監視ボット

paulpierre
⭐ 1,679 Python 👤 paulpierre User 🕐 更新日時 2025-10-20 📅 作成日 2019-12-09
53
consumet/api.consumet.org

アニメ、映画/テレビ番組、書籍、ライトノベル、マンガなどのためのモダンな検索エンジンAPI。

consumet
⭐ 1,623 TypeScript 👤 consumet Organization 🕐 更新日時 2026-03-13 📅 作成日 2022-05-22
54
GramAddict/bot

完全に無料でオープンソースの人間そっくりのInstagramボット。UIAutomator2を搭載し、Instagramを実行できるほぼすべてのAndroidデバイス5.0+(実機またはエミュレーター)と互換性があります。

GramAddict
⭐ 1,558 Python 👤 GramAddict Organization 🕐 更新日時 2025-02-16 📅 作成日 2020-10-29
55
0x676e67/wreq-python

人間工学に基づいた、プライバシーに配慮したPython HTTPクライアント

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 更新日時 2026-11-15 📅 作成日 2025-02-10
56
Nriver/Episode-ReName

テレビドラマ/アニメ自動リネームツール、ワンクリック一括リネーム。QBittorrentダウンロード後に自動リネームしてEmbyの自動スクレイピングを容易にすることができます。Windows、Linux、MacOS、Docker、およびSynologyパッケージ環境での実行をサポートします。

Nriver
⭐ 1,488 Python 👤 Nriver User 🕐 更新日時 2025-05-19 📅 作成日 2021-10-19
57
th3unkn0n/osi.ig

情報収集 Instagram.

th3unkn0n
⭐ 1,447 Python 👤 th3unkn0n User 🕐 更新日時 2024-02-01 📅 作成日 2019-11-04
58
justfoolingaround/animdl

お気に入りのアニメのための、非常に効率的で、高速、強力、軽量なアニメダウンローダーおよびストリーマーです。

justfoolingaround
⭐ 1,437 Python 👤 justfoolingaround User 🕐 更新日時 2024-06-13 📅 作成日 2021-04-15
59
yjl9903/AnimeGarden

アニメガーデン ミラーステーション | アニメBTリソース集約ステーション | アニメBTリソースオープンインターフェース

yjl9903
⭐ 1,414 TypeScript 👤 yjl9903 User 🕐 更新日時 2026-11-21 📅 作成日 2023-04-08
60
mariostoev/finviz

finviz.com の非公式 API

mariostoev
⭐ 1,373 Python 👤 mariostoev User 🕐 更新日時 2026-11-01 📅 作成日 2017-11-15
61
lorey/mlscraper

🤖 例を提供するだけでHTMLウェブサイトからデータを自動的にスクレイピングします

lorey
⭐ 1,370 Python 👤 lorey User 🕐 更新日時 2024-03-17 📅 作成日 2020-07-30
62
felipecsl/wombat

ページから構造化データを抽出するエレガントな DSL を備えた軽量 Ruby ウェブ クローラー/スクラパー。

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 更新日時 2026-10-27 📅 作成日 2011-11-14
63
cinemagoer/cinemagoer

Cinemagoerは、IMDb(当社とは一切関係ありません)の映画データベースから映画、人物、キャラクターに関するデータを取得および管理するために役立つPythonパッケージです。

cinemagoer
⭐ 1,327 Python 👤 cinemagoer Organization 🕐 更新日時 2026-11-10 📅 作成日 2010-08-01
64
huaying/instagram-crawler

Instagram API を使用せずに Instagram の投稿/プロフィール/ハッシュタグデータを取得

huaying
⭐ 1,299 Python 👤 huaying User 🕐 更新日時 2024-05-03 📅 作成日 2017-09-15
65
datawhores/OF-Scraper

オリジナルの onlyfans-scraper をベースに、一から再構想して全面的に刷新・再設計したフォークです。OnlyFans と Fansly に対応しています。

datawhores
⭐ 1,219 Python 👤 datawhores User 🕐 更新日時 2026-11-21 📅 作成日 2023-03-22
66
germondai/trawl

セルフホスト型スクレイピングエンジン — あらゆるJSチャレンジとキャプチャをバイパス:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverrおよびByparrの代替品で、*arrスタックのドロップイン置換として使用可能。

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 更新日時 2026-11-16 📅 作成日 2026-06-26
67
AndyTheFactory/newspaper4k

📰 Newspaper4k は、人気の Newspaper3k のフォークです。ニュースウェブサイトから記事、タイトル、メタデータを抽出します。

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 更新日時 2026-11-01 📅 作成日 2023-10-22
68
obitouka/InstagramPrivSniffer

Instagramの「非公開投稿」を匿名で閲覧する初のツール

obitouka
⭐ 1,163 Python 👤 obitouka User 🕐 更新日時 2026-09-18 📅 作成日 2025-07-09
69
scrapfly/scrapfly-scrapers

80以上の人気ドメインに対応する、スケーラブルなPythonウェブスクレイピングスクリプト

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-22
70
elixir-crawly/crawly

Crawly、Elixir向けの高レベルウェブクローリングおよびスクレイピングフレームワーク。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-03-09
71
0x676e67/wreq

人間工学に基づいた、プライバシーに配慮した Rust HTTP クライアント

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 更新日時 2026-11-20 📅 作成日 2024-09-19
72
vifreefly/kimuraframework

CleanでAIアシストされたDSLを使い、Rubyでウェブスクレイパーを書きます。KimuraiはAIを使ってデータがどこにあるかを判定し、選択子をキャッシュして純粋なRubyでスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしでLLMの知能を手に入れましょう。

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 更新日時 2026-01-27 📅 作成日 2018-08-23
73
jikan-me/jikan

公式API以外の機能を提供する非公式のMyAnimeList PHP+REST API

jikan-me
⭐ 1,095 PHP 👤 jikan-me Organization 🕐 更新日時 2026-11-20 📅 作成日 2017-01-11
74
klsdf/GreenResourcesManager

コンピュータ内のリソースを管理し、ゲーム化を提供する統合マネージャー

klsdf
⭐ 1,087 JavaScript 👤 klsdf User 🕐 更新日時 2026-11-08 📅 作成日 2025-06-20
75
JosephLai241/URS

Universal Reddit Scraper - 包括的なRedditスクレイピング/アーカイブ用コマンドラインツール。

JosephLai241
⭐ 1,048 Python 👤 JosephLai241 User 🕐 更新日時 2026-07-11 📅 作成日 2019-03-20
76
ythx-101/x-tweet-fetcher

ログインや API キーなしで、X/Twitter のポスト、返信、タイムライン、検索結果、リスト、X Articles を取得。AI エージェント向けの Python CLI とライブラリです。FxTwitter、Nitter、ブラウザーの各バックエンドに対応し、自動フォールバック、統一 JSON、オプションの SQLite アーカイブを備えています。ログインや API を使わずに Twitter の投稿を取得できます。

ythx-101
⭐ 1,012 Python 👤 ythx-101 User 🕐 更新日時 2026-11-12 📅 作成日 2026-02-14
77
fredwu/crawler

Elixir製の高性能Webクローラー/スクレイパー。

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 更新日時 2026-11-21 📅 作成日 2016-08-08
78
Solr159/JavBoss

すぐに使えるローカル JAV/動画スクレイピング・管理・再生ソフトウェア。コマンドラインからのワンクリックインストールと Docker デプロイに対応しています。ディレクトリを追加するだけで、あなただけのプライベート JAV/動画メディアライブラリを構築でき、最高級のブラウジング体験を楽しめます。面倒くさがりの方に必須のツールです!| あなたのローカル JAV/動画マネージャー。

Solr159
⭐ 955 Go 👤 Solr159 User 🕐 更新日時 2026-11-15 📅 作成日 2026-03-21
79
oxylabs/youtube-scraper

YouTubeスクレイパーは、動画やチャンネル情報を含む公開のYouTubeデータを手軽に収集します。

oxylabs
⭐ 937 Java 👤 oxylabs Organization 🕐 更新日時 2025-09-23 📅 作成日 2023-10-11
80
JoMingyu/google-play-scraper

<facundoolano/google-play-scraper> に着想を得た Python 用 Google Play スクレイパー

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 更新日時 2024-08-05 📅 作成日 2019-06-04
81
justchokingaround/lobster

mmm ロブスター

justchokingaround
⭐ 896 Shell 👤 justchokingaround User 🕐 更新日時 2026-09-15 📅 作成日 2022-07-20
82
scrapinghub/scrapyrt

Scrapyスパイダー用HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 更新日時 2026-10-13 📅 作成日 2015-01-06
83
opensanctions/opensanctions

国際制裁データ、注目人物、および政治的に暴露された人物のオープンなデータベース

opensanctions
⭐ 880 Python 👤 opensanctions Organization 🕐 更新日時 2026-11-20 📅 作成日 2015-12-05
84
skrapeit/skrape.it

Kotlinベースのテスト/スクレイピング/解析ライブラリで、サーバーサイドおよびクライアントサイドでレンダリングされたHTMLからデータを分析・抽出する機能を提供します。直感的なDSLを提供することで、使用のしやすさと高い可読性を特に重視しています。テストライブラリを目指していますが、便利な方法でウェブサイトのスクレイピングにも使用できます。

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 更新日時 2026-10-20 📅 作成日 2019-01-14
85
openzim/zimit

あらゆるウェブサイトからZIMファイルを作成し、オフラインでサーフィンしましょう!

openzim
⭐ 872 Python 👤 openzim Organization 🕐 更新日時 2026-11-18 📅 作成日 2016-06-21
86
HDoujinDownloader/HDoujinDownloader

汎用同人誌・画像ギャラリーダウンローダー

HDoujinDownloader
⭐ 861 Lua 👤 HDoujinDownloader User 🕐 更新日時 2026-06-25 📅 作成日 2019-10-01
87
maoserr/epublifier

一部のWeb小説をepub形式に変換します

maoserr
⭐ 845 TypeScript 👤 maoserr User 🕐 更新日時 2026-11-01 📅 作成日 2020-05-09
88
benibela/xidel

HTML/XML ページや JSON-API からデータをダウンロードして抽出するためのコマンドラインツールで、CSS、XPath 3.0、XQuery 3.0、JSONiq またはパターンマッチングを使用します。また、新しいまたは変換された XML/HTML/JSON ドキュメントを作成することもできます。

benibela
⭐ 836 Pascal 👤 benibela User 🕐 更新日時 2025-02-22 📅 作成日 2015-06-11
89
postmodern/spidr

多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 更新日時 2026-01-12 📅 作成日 2009-03-08
90
kiryano/Scout

無料のリード獲得ツール。Instagram、Twitch、TikTok、LinkedInのプロフィールをスクレイピングします。プロフィール欄からメールアドレスを抽出し、SMTPで検証してCSVにエクスポートできます。

kiryano
⭐ 824 Python 👤 kiryano User 🕐 更新日時 2026-09-05 📅 作成日 2026-02-06
91
fanyong920/jvppeteer

Chrome と Firefox 用 Java API

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 更新日時 2026-10-04 📅 作成日 2020-03-11
92
unnohwn/telegram-scraper

Telethonライブラリを使用してTelegramチャンネルからメッセージやメディアをスクレイピングできる強力なPythonスクリプトです。リアルタイムでの継続的なスクレイピング、メディアのダウンロード、データのエクスポート機能が含まれます。

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 更新日時 2026-04-11 📅 作成日 2024-11-04
93
Cybrarist/Discount-Bandit

Amazon、Aliexpress、ebayなどのストアやカスタムストアに対応したマルチユーザーのセルフホスト型価格トラッカー。ユーザーが設定した1つ以上の基準に価格が一致した場合に通知を受け取ります

Cybrarist
⭐ 765 PHP 👤 Cybrarist User 🕐 更新日時 2026-10-26 📅 作成日 2023-07-06
94
ZacharyHampton/HomeHarvest

不動産データスクレイピング用Pythonパッケージ

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 更新日時 2025-12-26 📅 作成日 2023-09-15
95
graniet/operative-framework

Operative Framework は Rust 調査 OSINT フレームワークです。複数のターゲットとやり取りでき、複数のモジュールを実行し、ターゲットとリンクを作成し、レポートを PDF ファイルにエクスポートし、ターゲットや結果にノートを追加し、RESTFul API とやり取りし、自分のモジュールを書くことができます。

graniet
⭐ 742 Rust 👤 graniet User 🕐 更新日時 2025-05-17 📅 作成日 2017-01-03
96
ruippeixotog/scala-scraper

HTMLページからコンテンツをスクレイピングするためのScalaライブラリ

ruippeixotog
⭐ 731 Scala 👤 ruippeixotog User 🕐 更新日時 2026-11-05 📅 作成日 2014-10-12
97
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn プロフィールスクレイパー。JSON で構造化されたプロフィールデータを返します。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 更新日時 2024-04-05 📅 作成日 2018-12-21
98
fa0311/TwitterInternalAPIDocument

Twitter 内部 API ドキュメント

fa0311
⭐ 724 Python 👤 fa0311 User 🕐 更新日時 2026-11-21 📅 作成日 2022-09-04
99
cassidoo/scrapers

ウェブ全体のスクレイパー一覧。

cassidoo
⭐ 723 👤 cassidoo User 🕐 更新日時 2025-02-07 📅 作成日 2016-04-18
100
AbirHasan2005/TelegramScraper

Telegramグループのメンバー(非表示メンバーも含む)をスクレイピングして、あなたのグループに追加します。

AbirHasan2005
⭐ 722 👤 AbirHasan2005 User 🕐 更新日時 2026-10-18 📅 作成日 2020-08-10