Git Stars Git Stars

#scraping リポジトリ

109
リポジトリ総数
768,143
合計スター数
7,047
リポジトリあたりの平均スター数

リポジトリ合計109件

51
tinyfish-io/agentql

AgentQLは、AIをWebに接続するためのツールスイートです。要素と対話し、データを迅速、正確、かつ大規模に抽出するためのクエリ言語とPlaywright統合を備えています。REST API、PythonおよびJavaScript SDK、ブラウザデバッガが含まれています。

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-02-20
52
rebrowser/rebrowser-patches

Puppeteer および Playwright のパッチコレクション。自動検出と漏洩を回避します。Cloudflare および DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、オンデマンドで有効化/無効化できます。

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 更新日時 2026-11-02 📅 作成日 2024-08-06
53
ScrapingBee/chatgpt-scraper-api

有効なChatGPTスクレイピングAPI資格情報を含むプロンプトを送信して、ChatGPTスクレイパーから構造化された応答を収集します。ライブ検索を有効にし、HTMLコンテキストを注入し、わずか数パラメータでインテリジェントなスクレイパーChatGPTワークフローを自動化します。

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 更新日時 2026-07-15 📅 作成日 2026-03-12
54
okfn-brasil/querido-diario

📰 ブラジルの公報がすべての人にアクセス可能 | 📰 ブラジル政府の官報、すべての人にアクセス可能。

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 更新日時 2026-10-12 📅 作成日 2018-04-01
55
feder-cr/invisible_puppeteer

アンチボットシステムに検出されないPython向けPuppeteer。CAPTCHAも表示されません。同じAPI、検出回避機能を備えたステルス型ヘッドレスFirefox、検出されないフィンガープリント、ボット検出の回避、ウェブスクレイピング、ブラウザー自動化に対応。

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 更新日時 2026-10-19 📅 作成日 2024-09-01
56
raznem/parsera

LLMを用いたウェブサイトスクレイピングのための軽量ライブラリ

raznem
⭐ 1,372 Python 👤 raznem User 🕐 更新日時 2025-12-17 📅 作成日 2024-08-12
57
lorey/mlscraper

🤖 例を提供するだけでHTMLウェブサイトからデータを自動的にスクレイピングします

lorey
⭐ 1,370 Python 👤 lorey User 🕐 更新日時 2024-03-17 📅 作成日 2020-07-30
58
scrapy/parsel

Parsel は、XPath または CSS セレクターを使用して XML/HTML ドキュメントからデータを抽出できます

scrapy
⭐ 1,368 Python 👤 scrapy Organization 🕐 更新日時 2026-11-12 📅 作成日 2015-04-24
59
mov-cli/mov-cli

ターミナルからすべてを視聴します。

mov-cli
⭐ 1,313 Python 👤 mov-cli Organization 🕐 更新日時 2025-10-05 📅 作成日 2022-03-11
60
daijro/browserforge

🎭 インテリジェントなブラウザヘッダー&フィンガープリントジェネレーター

daijro
⭐ 1,298 Python 👤 daijro User 🕐 更新日時 2026-10-29 📅 作成日 2024-03-13
61
plabayo/rama

ネットワークパケットの移動と変換のためのモジュラーサービスフレームワーク

plabayo
⭐ 1,273 Rust 👤 plabayo Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-08-07
62
Decodo/Decodo

HTTP(S)/SOCKS5 回転式住宅用プロキシ - コード例および一般情報。

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 更新日時 2026-11-11 📅 作成日 2019-01-07
63
neon-mmd/websurfx

:rocket: searx のオープンソースの代替品で、モダンな :sparkles:, 雷のように速い :zap:, プライバシーを尊重する :disguised_face:, 安全な :lock: メタ検索エンジンを提供します

neon-mmd
⭐ 1,231 Rust 👤 neon-mmd User 🕐 更新日時 2026-11-06 📅 作成日 2023-04-28
64
datawhores/OF-Scraper

オリジナルの onlyfans-scraper をベースに、一から再構想して全面的に刷新・再設計したフォークです。OnlyFans と Fansly に対応しています。

datawhores
⭐ 1,219 Python 👤 datawhores User 🕐 更新日時 2026-11-21 📅 作成日 2023-03-22
65
germondai/trawl

セルフホスト型スクレイピングエンジン — あらゆるJSチャレンジとキャプチャをバイパス:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverrおよびByparrの代替品で、*arrスタックのドロップイン置換として使用可能。

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 更新日時 2026-11-16 📅 作成日 2026-06-26
66
AndyTheFactory/newspaper4k

📰 Newspaper4k は、人気の Newspaper3k のフォークです。ニュースウェブサイトから記事、タイトル、メタデータを抽出します。

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 更新日時 2026-11-01 📅 作成日 2023-10-22
67
bellingcat/auto-archiver

Google スプレッドシート(およびその他)から動画、画像、ソーシャルメディア コンテンツへのリンクを自動的にアーカイブします。

bellingcat
⭐ 1,158 Python 👤 bellingcat Organization 🕐 更新日時 2026-11-18 📅 作成日 2021-01-15
68
soxoj/socid-extractor

⛏️ Maigretの背後にある抽出エンジン:任意のプロフィールURLを150以上のサイトにわたる構造化されたOSINTレコードに変換

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 更新日時 2026-11-20 📅 作成日 2019-11-17
69
ai-to-ai/Auto-Gmail-Creator

Selenium & Seleniumwire(Python)を使用したオープンソースの一括自動Gmail作成ボット。Django/Flask、ML、AI、GPT、自動化、スクレイピングについてはお気軽にご連絡ください。

ai-to-ai
⭐ 1,138 Python 👤 ai-to-ai User 🕐 更新日時 2024-09-26 📅 作成日 2023-02-20
70
scrapfly/scrapfly-scrapers

80以上の人気ドメインに対応する、スケーラブルなPythonウェブスクレイピングスクリプト

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-22
71
elixir-crawly/crawly

Crawly、Elixir向けの高レベルウェブクローリングおよびスクレイピングフレームワーク。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-03-09
72
online-judge-tools/oj

各種オンラインジャッジ用のツール。サンプルケースのダウンロード、追加テストケースの生成、コードのテスト、および提出。

online-judge-tools
⭐ 1,128 Python 👤 online-judge-tools Organization 🕐 更新日時 2024-05-03 📅 作成日 2017-01-05
73
viu-media/viu

ターミナルからブラウザでお楽しみいただけるアニメ体験

viu-media
⭐ 1,062 Python 👤 viu-media Organization 🕐 更新日時 2026-05-06 📅 作成日 2024-05-27
74
jfilter/clean-text

🧹 テキストクリーニング用Pythonパッケージ

jfilter
⭐ 1,031 Python 👤 jfilter User 🕐 更新日時 2026-10-26 📅 作成日 2018-12-06
75
daijro/hrequests

人間向けのウェブスクレイピング

daijro
⭐ 976 Python 👤 daijro User 🕐 更新日時 2024-12-01 📅 作成日 2023-07-06
76
Krasjet/pdf.tocgen

PDFファイルの目次を自動生成するためのCLIツールセット。

Krasjet
⭐ 853 Python 👤 Krasjet User 🕐 更新日時 2026-05-13 📅 作成日 2020-07-28
77
leoncvlt/loconotion

📄 Notion.soページを軽量でカスタマイズ可能な静的ウェブサイトに変換するPythonツール

leoncvlt
⭐ 853 Python 👤 leoncvlt User 🕐 更新日時 2024-07-22 📅 作成日 2020-05-16
78
tiliondev/fortress

1行のコード変更だけで、スクレイパーやブラウザエージェントのブロックを防ぐステルス Chromium エンジン。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 更新日時 2026-11-03 📅 作成日 2026-07-02
79
MorvanZhou/easy-scraping-tutorial

シンプルだが役立つ Python ウェブスクレイピング チュートリアル コード。

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 更新日時 2024-04-07 📅 作成日 2017-12-29
80
Lookyloo/lookyloo

Lookyloo は、ユーザーがウェブサイトのページをキャプチャし、その後、お互いを呼び合うドメインのツリーを表示するウェブインターフェースです。

Lookyloo
⭐ 790 Python 👤 Lookyloo Organization 🕐 更新日時 2026-11-20 📅 作成日 2017-07-23
81
alpkeskin/rota

自動IP管理とリアルタイムヘルスモニタリングを備えた高性能プロキシローテーションエンジン

alpkeskin
⭐ 775 Go 👤 alpkeskin User 🕐 更新日時 2026-09-25 📅 作成日 2024-06-02
82
ZacharyHampton/HomeHarvest

不動産データスクレイピング用Pythonパッケージ

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 更新日時 2025-12-26 📅 作成日 2023-09-15
83
serpapi/google-search-results-python

Google 検索結果 via SERP API pip Python パッケージ

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 更新日時 2026-08-18 📅 作成日 2018-01-10
84
1broseidon/ketch

ウェブ検索とスクレイピングのための高速でステートレスな CLI。AI エージェント向けに構築。

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 更新日時 2026-11-19 📅 作成日 2026-03-25
85
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn プロフィールスクレイパー。JSON で構造化されたプロフィールデータを返します。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 更新日時 2024-04-05 📅 作成日 2018-12-21
86
prescience-data/dark-knowledge

😈📚 検出防止とウェブプライバシー愛好家のための研究論文とプレゼンテーションのキュレーションライブラリ。

prescience-data
⭐ 715 JavaScript 👤 prescience-data User 🕐 更新日時 2024-02-19 📅 作成日 2021-04-15
87
Yuvi9587/Kemono-Downloader

Kemono pawchive Downloaderは、Kemono、Coomer、Bunkr、Erome、Saint2.su、nhentai、Discordなど、幅広いサイトからコンテンツをアーカイブするための高速なPyQt5アプリです。クリエイターブラウザ、更新チェッカーを備え、マルチスレッドおよびマルチパートダウンロードをサポートしています。セッションは一時停止、再開、またはフィルターの復元が可能です。

Yuvi9587
⭐ 675 Python 👤 Yuvi9587 User 🕐 更新日時 2026-11-12 📅 作成日 2025-05-05
88
ScriptSmith/socialreaper

Facebook、Twitter、Reddit、YouTube、Pinterest、TumblrのAPI向けソーシャルメディアスクレイピング/データ収集ライブラリ

ScriptSmith
⭐ 668 Python 👤 ScriptSmith User 🕐 更新日時 2026-09-29 📅 作成日 2017-01-31
89
Xonshiz/comic-dl

Comic-dl は、さまざまなコミックおよびマンガサイトからマンガとコミックスをダウンロードするためのコマンドラインツールです。サポートされているサイト: readcomiconline.to, mangafox.me, comic naver など多数。

Xonshiz
⭐ 667 Python 👤 Xonshiz User 🕐 更新日時 2025-07-31 📅 作成日 2016-11-13
90
freelawproject/juriscraper

アメリカの裁判所ウェブサイトからメタデータをスクレイピングするためのAPI。

freelawproject
⭐ 664 HTML 👤 freelawproject Organization 🕐 更新日時 2026-11-21 📅 作成日 2014-08-08
91
AnonCatalyst/Ominis-OSINT

このPythonアプリケーションは、「Ominis OSINT - Web Hunter」と呼ばれるOSINT(オープンソースインテリジェンス)ツールです。ユーザーが入力したクエリに関連する検索結果についてGoogleに問い合わせることにより、オンラインで情報を収集します。このツールは、タイトル、URL、および結果におけるクエリの潜在的な言及などの関連情報を抽出します。

AnonCatalyst
⭐ 655 Python 👤 AnonCatalyst User 🕐 更新日時 2026-11-17 📅 作成日 2023-10-09
92
gunkonchi/xscrape

X(Twitter)の公開データを収集する非同期 Python クライアント。検索、プロフィール、スレッド、返信、メディアに対応。アカウントの自動ローテーション、適応型レート制限、JSON/CSV/SQLite へのエクスポート機能を搭載。

gunkonchi
⭐ 647 Python 👤 gunkonchi User 🕐 更新日時 2026-10-20 📅 作成日 2026-09-26
93
lorey/social-media-profiles-regexs

:card_index: 正規表現を使ってソーシャルメディアのプロフィールなどを抽出

lorey
⭐ 642 Python 👤 lorey User 🕐 更新日時 2024-01-11 📅 作成日 2015-06-24
94
scrapfly/Antibot-Detector

アンチボットシステム、CAPTCHA、フィンガープリンティング技術をリアルタイムで検出します。Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security などを識別し、信頼度スコアと高度なキャプチャツールを提供します。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 更新日時 2026-11-17 📅 作成日 2025-09-03
95
l4rm4nd/LinkedInDumper

LinkedIn APIから会社の従業員をダンプ/スクレイプ/抽出するためのPython 3スクリプト

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 更新日時 2026-08-21 📅 作成日 2022-10-17
96
ksanjeev284/reddit-universal-scraper

Universal Reddit Scraper - あらゆるサブレディットやユーザーで動作します

ksanjeev284
⭐ 620 Python 👤 ksanjeev284 User 🕐 更新日時 2026-10-22 📅 作成日 2025-12-13
97
umihico/docker-selenium-lambda

PythonとSeleniumによるAWS LambdaでのChrome自動化の最も簡単なデモ

umihico
⭐ 614 Dockerfile 👤 umihico User 🕐 更新日時 2026-11-12 📅 作成日 2021-03-12
98
kr4ude/onlyfans-scraper

あらゆるOnlyfansアカウントなどからメディアをスクレイピングできるツール

kr4ude
⭐ 605 Python 👤 kr4ude User 🕐 更新日時 2025-11-25 📅 作成日 2025-11-10
99
drudge/n8n-nodes-puppeteer

Puppeteer を使用したブラウザ自動化のための n8n ノード

drudge
⭐ 589 TypeScript 👤 drudge User 🕐 更新日時 2026-05-08 📅 作成日 2022-05-07
100
spekulatius/PHPScraper

PHP用のユニバーサルWebユーティリティ。

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 更新日時 2026-09-08 📅 作成日 2020-04-21