Git Stars Git Stars

#web-scraping リポジトリ

381
リポジトリ総数
2.1M
合計スター数
5,636
リポジトリあたりの平均スター数

リポジトリ合計382件

151
Nutlope/turboseek

PerplexityにインスパイアされたAI検索エンジン

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 更新日時 2026-10-23 📅 作成日 2024-05-26
152
oxylabs/ai-map-py

AI Map は、Oxylabs AI Studio による AI 搭載のウェブサイトマッピングツールであり、自然言語プロンプトを使用して、あらゆるウェブサイトから関連する URL をインテリジェントに発見し、抽出します。

oxylabs
⭐ 1,651 👤 oxylabs Organization 🕐 更新日時 2026-04-02 📅 作成日 2025-10-29
153
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y](本物の不動産探しをとても簡単に)- Fredyは、ImmoScout24、Immowelt、eBay Kleinanzeigenなどのプラットフォームで、ヨーロッパの新しいアパート、住宅、フラットを継続的に検索し、Slack、Telegram、メール、Discord、またはntfyを通じて結果をすぐに届けてくれます。だから、人生でより大切なことに集中できます ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 更新日時 2026-11-19 📅 作成日 2018-01-15
154
Xetera/ghost-cursor

🖱️ Puppeteer や 2D 平面上で人間らしいマウス移動を生成

Xetera
⭐ 1,634 TypeScript 👤 Xetera User 🕐 更新日時 2026-11-04 📅 作成日 2019-10-15
155
justmarkham/DAT8

ワシントンDCの General Assembly 2015 データサイエンスコース

justmarkham
⭐ 1,622 Jupyter Notebook 👤 justmarkham User 🕐 更新日時 2024-06-05 📅 作成日 2015-08-07
156
karust/openserp

AIエージェントとSEO向けのセルフホスト型ウェブ検索。Google、Bing、Yandex、Baidu、DuckDuckGo、Ecosiaに対応し、実際のブラウザーで表示:ランキング付きの検索結果と、整形されたページのMarkdownを提供。API、CLI、MCP 🎉

karust
⭐ 1,605 Go 👤 karust User 🕐 更新日時 2026-11-19 📅 作成日 2023-06-23
157
Kaliiiiiiiiii-Vinyzu/patchright-python

Playwright テストおよび自動化ライブラリの検出されていない Python バージョン。

Kaliiiiiiiiii-Vinyzu
⭐ 1,603 Python 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 更新日時 2026-11-10 📅 作成日 2024-11-02
158
ulixee/hero

スクレイピングのために構築されたWebブラウザ

ulixee
⭐ 1,557 TypeScript 👤 ulixee Organization 🕐 更新日時 2026-05-16 📅 作成日 2021-07-28
159
dteviot/WebToEpub

Web小説(および他のウェブページ)をEPUBに変換するシンプルなChrome(およびFirefox)拡張機能。

dteviot
⭐ 1,544 JavaScript 👤 dteviot User 🕐 更新日時 2026-11-20 📅 作成日 2015-11-23
160
headzoo/surf

GoにおけるステートフルなプログラムによるWebブラウジング。

headzoo
⭐ 1,533 Go 👤 headzoo User 🕐 更新日時 2024-01-24 📅 作成日 2014-08-25
161
0x676e67/wreq-python

人間工学に基づいた、プライバシーに配慮したPython HTTPクライアント

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 更新日時 2026-11-15 📅 作成日 2025-02-10
162
tidyverse/rvest

RのためのシンプルなWebスクレイピング

tidyverse
⭐ 1,524 R 👤 tidyverse Organization 🕐 更新日時 2026-10-27 📅 作成日 2014-07-23
163
tinyfish-io/agentql

AgentQLは、AIをWebに接続するためのツールスイートです。要素と対話し、データを迅速、正確、かつ大規模に抽出するためのクエリ言語とPlaywright統合を備えています。REST API、PythonおよびJavaScript SDK、ブラウザデバッガが含まれています。

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-02-20
164
liguobao/HouseSearch

地図で賃貸物件を検索:街中を探し回ってもうヘトヘト?方法を変えて、地図上で直接賃貸物件を探してみよう!【WeChat公式アカウント・ミニプログラム:人生删除指南】

liguobao
⭐ 1,495 JavaScript 👤 liguobao User 🕐 更新日時 2026-11-14 📅 作成日 2016-08-07
165
antonmedv/finder

CSS セレクタージェネレーター 🗺

antonmedv
⭐ 1,491 HTML 👤 antonmedv User 🕐 更新日時 2025-11-20 📅 作成日 2018-02-20
166
rebrowser/rebrowser-patches

Puppeteer および Playwright のパッチコレクション。自動検出と漏洩を回避します。Cloudflare および DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、オンデマンドで有効化/無効化できます。

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 更新日時 2026-11-02 📅 作成日 2024-08-06
167
ScrapingBee/chatgpt-scraper-api

有効なChatGPTスクレイピングAPI資格情報を含むプロンプトを送信して、ChatGPTスクレイパーから構造化された応答を収集します。ライブ検索を有効にし、HTMLコンテキストを注入し、わずか数パラメータでインテリジェントなスクレイパーChatGPTワークフローを自動化します。

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 更新日時 2026-07-15 📅 作成日 2026-03-12
168
Surfer-Org/Protocol

個人データをエクスポートするためのオープンソースフレームワーク。

Surfer-Org
⭐ 1,462 TypeScript 👤 Surfer-Org Organization 🕐 更新日時 2024-12-25 📅 作成日 2024-08-09
169
austin-weeks/miasma

AIウェブスクレイパーを果てしない毒の穴に閉じ込めろ。

austin-weeks
⭐ 1,459 Rust 👤 austin-weeks User 🕐 更新日時 2026-11-05 📅 作成日 2026-03-18
170
roach-php/core

PHPのための完全なWebスクレイピングツールキット。

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 更新日時 2025-10-27 📅 作成日 2021-08-17
171
wordware-ai/twitter

Twitterの個性分析のためのAIエージェント

wordware-ai
⭐ 1,446 TypeScript 👤 wordware-ai Organization 🕐 更新日時 2026-08-02 📅 作成日 2024-06-03
172
mattsse/chromiumoxide

Chrome Devtools Protocol Rust API

mattsse
⭐ 1,437 Rust 👤 mattsse User 🕐 更新日時 2026-04-03 📅 作成日 2020-11-28
173
Miserlou/SoundScrape

PythonによるSoundCloud(およびBandcamp、Mixcloud)ダウンローダー。

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 更新日時 2024-06-23 📅 作成日 2013-12-29
174
foxhui/WebAI2API

WebAI2API: Camoufox ベースのウェブ AI を API に変換するツール。LMArena/Gemini などをサポート、多窓口同時実行とアカウント隔離。 | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.

foxhui
⭐ 1,429 JavaScript 👤 foxhui User 🕐 更新日時 2026-07-10 📅 作成日 2025-11-23
175
oxylabs/how-to-scrape-google-finance

Web Scraper APIを使用して、Google Financeから、銘柄名、価格設定、およびパーセンテージでの価格変動を含むデータを抽出します。

oxylabs
⭐ 1,403 Python 👤 oxylabs Organization 🕐 更新日時 2025-09-23 📅 作成日 2024-09-25
176
feder-cr/invisible_puppeteer

アンチボットシステムに検出されないPython向けPuppeteer。CAPTCHAも表示されません。同じAPI、検出回避機能を備えたステルス型ヘッドレスFirefox、検出されないフィンガープリント、ボット検出の回避、ウェブスクレイピング、ブラウザー自動化に対応。

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 更新日時 2026-10-19 📅 作成日 2024-09-01
177
mckaywrigley/clarity-ai

Perplexityのクローンです。

mckaywrigley
⭐ 1,401 TypeScript 👤 mckaywrigley User 🕐 更新日時 2024-03-28 📅 作成日 2023-02-19
178
facundoolano/app-store-scraper

iTunes App Storeからデータをスクレイプ

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 更新日時 2025-07-27 📅 作成日 2016-05-31
179
regenrek/deepwiki-mcp

📖 MCPサーバーでdeepwiki.comを取得し、Cursorおよびその他のコードエディターで最新の知識を入手する

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 更新日時 2026-03-20 📅 作成日 2025-04-28
180
sardanioss/httpcloak

Go HTTPクライアントで、ブラウザと同等のTLS/HTTP2フィンガープリントを実現。暗号レベル(JA3/JA4、Akamaiフィンガープリント、ヘッダー順序)でChrome、Firefox、Safariを完璧に模倣し、ボット検出を回避します。HTTP/1.1、HTTP/2、HTTP/3、セッション、クッキー、プロキシに対応。

sardanioss
⭐ 1,387 Go 👤 sardanioss User 🕐 更新日時 2026-11-14 📅 作成日 2025-12-28
181
MiniGlome/Archive.org-Downloader

archive.orgの書籍をPDF形式でダウンロードするためのPython3スクリプト

MiniGlome
⭐ 1,385 Python 👤 MiniGlome User 🕐 更新日時 2026-09-27 📅 作成日 2021-02-17
182
fugary/calibre-douban

Calibre 用の新しい Douban メタデータソースプラグイン。Douban は一般に書籍 API を提供しなくなったため、Web クローリングを使用してのみデータを取得できます。これは、Web クローリングに基づいた Calibre Douban プラグインです。

fugary
⭐ 1,382 Python 👤 fugary User 🕐 更新日時 2025-11-08 📅 作成日 2021-12-12
183
firecrawl/open-scouts

🔥 AI搭載のウェブ監視プラットフォーム。ウェブを検索し、探しているものを見つけたらメールで通知する自動スカウトを作成します。

firecrawl
⭐ 1,372 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-13 📅 作成日 2025-11-28
184
sourcegraph/webloop

WebLoop: Go API を備えたスクリプト可能なヘッドレス WebKit。PhantomJS のように、Go 用です。

sourcegraph
⭐ 1,366 Go 👤 sourcegraph Organization 🕐 更新日時 2024-04-01 📅 作成日 2013-10-27
185
philippta/flyscrape

Flyscrapeは、高度なプログラミングスキルを持たないユーザー向けに設計されたコマンドラインWebスクレイピングツールです。

philippta
⭐ 1,347 Go 👤 philippta User 🕐 更新日時 2025-11-24 📅 作成日 2023-08-28
186
Sniper970119/dianping_spider

Dianpingクローラー(全サイトクロール可能、動的フォント暗号化を解決、OCRなし)。継続的に更新

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 更新日時 2026-11-03 📅 作成日 2021-01-22
187
firecrawl/fire-enrich

FirecrawlとマルチエージェントAIを使用して、電子メールを会社プロフィール、資金調達データ、技術スタックなどを含む豊富なデータセットに変換するAI駆動のデータエンリッチメントツール

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-10-26 📅 作成日 2025-06-06
188
AI4Finance-Foundation/FinNLP

インターネット規模の金融データを民主化する。

AI4Finance-Foundation
⭐ 1,292 Jupyter Notebook 👤 AI4Finance-Foundation Organization 🕐 更新日時 2024-07-01 📅 作成日 2023-02-07
189
kkangert/kspider

Kspiderは、グラフィカルな方法でクローラープロセスを定義できるクローラープラットフォームであり、コードなしでクローラープロセスを実装できます。KspiderはWebクローリングに限定されず、WEB自動化テストにも使用でき、さらに多くの機能があなたを待っています。

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 更新日時 2024-08-19 📅 作成日 2024-07-07
190
fastcrw/crw

Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-02
191
techwithtim/Price-Tracking-Web-Scraper

Bright Data、Playwright、React、Flaskを使用した自動価格トラッカー。

techwithtim
⭐ 1,284 Python 👤 techwithtim User 🕐 更新日時 2024-10-17 📅 作成日 2023-06-23
192
ovobrowsersupport/ovobrowser

ソースコードレベルの Chromium フィンガープリント・エンジン。検出サイトでは通常の Chrome として評価されます。ボット検出テストを通過する、ソースコードレベルの Chromium フィンガープリント・カーネルです。JS インジェクションではなく、バイナリにコンパイルされた C++ パッチです。

ovobrowsersupport
⭐ 1,277 👤 ovobrowsersupport User 🕐 更新日時 2026-11-16 📅 作成日 2026-08-23
193
raawaa/jav-scrapy

AV磁力リンクやカバーの一括取得の苦労人

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 更新日時 2026-10-17 📅 作成日 2015-10-31
194
TaxyAI/browser-extension

GPT-4でブラウザを自動化

TaxyAI
⭐ 1,269 TypeScript 👤 TaxyAI Organization 🕐 更新日時 2025-01-15 📅 作成日 2023-03-27
195
chromedp/examples

chromedp コード例。

chromedp
⭐ 1,265 Go 👤 chromedp Organization 🕐 更新日時 2026-11-18 📅 作成日 2017-12-26
196
Decodo/Decodo

HTTP(S)/SOCKS5 回転式住宅用プロキシ - コード例および一般情報。

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 更新日時 2026-11-11 📅 作成日 2019-01-07
197
MarioVilas/googlesearch

Python からの Google 検索(非公式)。

MarioVilas
⭐ 1,249 Python 👤 MarioVilas User 🕐 更新日時 2025-11-11 📅 作成日 2012-10-22
198
kairi003/Get-cookies.txt-LOCALLY

cookies.txtを取得し、外部に情報を送信しないでください。

kairi003
⭐ 1,230 JavaScript 👤 kairi003 User 🕐 更新日時 2025-10-07 📅 作成日 2023-03-01
199
mika-cn/maoxian-web-clipper

ウェブページから情報をクリップするウェブ拡張機能。情報の無効化を避けるためにローカルマシンに保存してください。退屈な登録なし、料金なし。

mika-cn
⭐ 1,230 JavaScript 👤 mika-cn User 🕐 更新日時 2026-08-23 📅 作成日 2018-08-09
200
eooce/Auto-login-netlib

netlib.re Webサイトへの自動ログインでドメインを維持

eooce
⭐ 1,220 JavaScript 👤 eooce User 🕐 更新日時 2025-11-08 📅 作成日 2025-11-06