Git Stars Git Stars

#web-scraping リポジトリ

381
リポジトリ総数
2.1M
合計スター数
5,636
リポジトリあたりの平均スター数

リポジトリ合計382件

301
z0m31en7/Uscrapper

Uscrapper Vanta: この強力なオープンソースツールで、より深くウェブを探索しましょう。サーフェスウェブとディープウェブの両方のソースから、貴重な洞察を簡単かつ効率的に抽出します。Vantaの高度な機能で、データマイニングと分析を強化しましょう。高速、信頼性、使いやすさを備えたUscrapper Vantaは、研究者とアナリストにとって究極の選択肢です。

z0m31en7
⭐ 740 Python 👤 z0m31en7 User 🕐 更新日時 2024-11-24 📅 作成日 2023-05-31
302
djadmin/medium-cli

ハッカー向け Medium - :computer: Medium ストーリー用の CLI。

djadmin
⭐ 735 JavaScript 👤 djadmin User 🕐 更新日時 2026-02-13 📅 作成日 2016-01-21
303
drawrowfly/amazon-product-api

Amazon スクレイパー。Amazon の検索結果から製品をスクレイプするか、特定の製品のレビューをスクレイプする

drawrowfly
⭐ 734 JavaScript 👤 drawrowfly User 🕐 更新日時 2024-07-05 📅 作成日 2019-10-06
304
ScrapeGraphAI/scrapecraft

視覚的なワークフロービルダーを備えた AI 駆動のウェブスクレイピングエディター。自然言語を使用してウェブスクレイパーを構築、テスト、デプロイします。ScrapeGraphAI および LangGraph を搭載。

ScrapeGraphAI
⭐ 731 Python 👤 ScrapeGraphAI Organization 🕐 更新日時 2025-12-26 📅 作成日 2025-07-01
305
rubycdp/vessel

高速の高レベルウェブクローリング Ruby フレームワーク

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 更新日時 2026-11-03 📅 作成日 2019-09-17
306
MorganZhang100/zhihu-spider

zhihu.comのウェブクローラー

MorganZhang100
⭐ 725 Python 👤 MorganZhang100 User 🕐 更新日時 2024-01-17 📅 作成日 2015-02-22
307
lzjun567/python_scripts

Python関連のデモコード

lzjun567
⭐ 715 HTML 👤 lzjun567 User 🕐 更新日時 2024-07-21 📅 作成日 2017-02-07
308
lhccong/fish-island-backend

Moyu Island🎣 バックエンド クロール➕ Netty ➕ SpringBoot ➕Redis➕ MySQL オープンソース🌟ワンストップMoyuウェブサイト

lhccong
⭐ 710 Java 👤 lhccong User 🕐 更新日時 2026-11-18 📅 作成日 2025-02-20
309
kovidgoyal/html5-parser

Pythonのための高速CベースのHTML 5解析

kovidgoyal
⭐ 710 C 👤 kovidgoyal User 🕐 更新日時 2026-09-20 📅 作成日 2017-06-03
310
lumpinif/deepcrawl

100% 無料で完全にオープンソースの Firecrawl edge 代替品、エージェント向けにリンク抽出が優れており、自分で Cloudflare または Vercel にデプロイ可能。

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 更新日時 2026-08-24 📅 作成日 2025-05-22
311
maaaaz/webscreenshot

ウェブサイトのリストをスクリーンショットするためのシンプルなスクリプト

maaaaz
⭐ 696 Python 👤 maaaaz User 🕐 更新日時 2025-10-19 📅 作成日 2014-01-12
312
only-cli/oc

あらゆるウェブサイトを、AIエージェント向けに最適化されたコンパクトなCLIに変換します。数万トークンではなく、数百トークンでウェブを閲覧できます。

only-cli
⭐ 694 JavaScript 👤 only-cli User 🕐 更新日時 2026-11-17 📅 作成日 2026-08-18
313
firecrawl/cli

Firecrawl CLI とエージェント向けスキル:ターミナルや任意のコーディングエージェントからウェブを検索・スクレイピングし、操作できます。さらに、解析、クロール、サイトマップの作成に加え、Agent と Monitor も利用できます。Firecrawl は AI エージェント向けのコンテキスト API です。

firecrawl
⭐ 694 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-19 📅 作成日 2026-01-07
314
karpathy/hn-time-capsule

10年前のHacker Newsの議論をLLMを用いて後知恵で分析する

karpathy
⭐ 693 Python 👤 karpathy User 🕐 更新日時 2025-12-10 📅 作成日 2025-12-10
315
xiaosimao/IP_POOL

無料のIPプロキシブール

xiaosimao
⭐ 686 Python 👤 xiaosimao User 🕐 更新日時 2025-09-15 📅 作成日 2017-09-22
316
perkeep/gphotos-cdp

このプログラムは、Chrome DevTools Protocol を使用して、Google Photos に保存された写真をダウンロードする Chrome セッションを駆動します。

perkeep
⭐ 683 Go 👤 perkeep Organization 🕐 更新日時 2024-06-30 📅 作成日 2019-08-08
317
yixiu001/Free-SS-NODES

無料SSノードの取得

yixiu001
⭐ 681 👤 yixiu001 User 🕐 更新日時 2024-11-11 📅 作成日 2024-11-11
318
everyinfra/everyinfra-agent-plugins

EveryInfra MCPサーバー&エージェントプラグイン:TikTok、Instagram、Amazon、YouTube、小紅書、Douyin向けのスクレイピングAPI。106のプラットフォームにわたる612のデータAPIを、1,000回の呼び出しあたり0.56ドルから利用可能。Claude Code、Cursor、Codexに対応。

everyinfra
⭐ 672 Python 👤 everyinfra Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-09-01
319
firecrawl/open-researcher

🔥 リアルタイムの考えを表示し、スプリットビューで分析を提供し、Claude と Firecrawl を使用して自動引用を行う視覚AI研究アシスタント

firecrawl
⭐ 667 TypeScript 👤 firecrawl Organization 🕐 更新日時 2025-07-02 📅 作成日 2025-06-27
320
wimglenn/advent-of-code-data

1つの import 文で Advent of Code のデータを取得する

wimglenn
⭐ 666 Python 👤 wimglenn User 🕐 更新日時 2026-08-01 📅 作成日 2016-12-03
321
oxylabs/Agent-browser

リモートクラウドセッションを介して複雑な自動化スクリプトを実行。住宅用プロキシの統合、自動CAPTCHA解決、および最も困難な動的ウェブサイト向けのネイティブJavaScriptレンダリング機能を備えています。

oxylabs
⭐ 663 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2026-04-17
322
adamschwartz/web.scraper.workers.dev

CSSセレクタでウェブサイトからテキストをスクレイピングする。

adamschwartz
⭐ 658 JavaScript 👤 adamschwartz User 🕐 更新日時 2024-02-14 📅 作成日 2019-10-10
323
asmcos/requests

Golang HTTP クライアントライブラリ。Python requests への敬意。

asmcos
⭐ 656 Go 👤 asmcos User 🕐 更新日時 2026-10-09 📅 作成日 2018-08-27
324
yanzhou/CnkiSpider

中国知网クローラー

yanzhou
⭐ 653 Python 👤 yanzhou User 🕐 更新日時 2025-03-08 📅 作成日 2014-11-05
325
11firefly11/fir-proxy

ローテーションプロキシを備えたグラフィカルプロキシプールプログラム

11firefly11
⭐ 650 Python 👤 11firefly11 User 🕐 更新日時 2025-12-04 📅 作成日 2025-07-22
326
KNKPA/KNKPAnime

KNKPAnime: マルチエピソードソースと弾幕をサポートするアニメ視聴ソフトウェア。

KNKPA
⭐ 648 Dart 👤 KNKPA Organization 🕐 更新日時 2025-02-01 📅 作成日 2024-04-20
327
Threezh1/SiteCopy

sitecopy は、個人ウェブサイトのバックアップとネットワークデータ収集を容易にするツールです

Threezh1
⭐ 647 Python 👤 Threezh1 User 🕐 更新日時 2024-01-21 📅 作成日 2019-12-12
328
ScrapingBee/google-hotels-api

Google Hotels APIの統合により、価格、空室状況、評価、予約プロバイダーを含むホテルデータのスクレイピングを自動化します。

ScrapingBee
⭐ 645 👤 ScrapingBee Organization 🕐 更新日時 2026-04-08 📅 作成日 2026-04-08
⭐ 640 CSS 👤 dreamsofcode-io Organization 🕐 更新日時 2024-08-04 📅 作成日 2024-07-26
330
cfinke/EpsteOut

あなたのLinkedInの連絡先の中で、どの人がエプスタインファイルに登場するか確認してみてください。

cfinke
⭐ 638 Python 👤 cfinke User 🕐 更新日時 2026-10-17 📅 作成日 2026-02-04
331
lzjqsdd/NewsSpider

今日头条、网易、腾讯などのニュースをクローリングし、シンプルな検索エンジンを構築

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 更新日時 2024-05-14 📅 作成日 2016-04-19
332
scrapfly/Antibot-Detector

アンチボットシステム、CAPTCHA、フィンガープリンティング技術をリアルタイムで検出します。Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security などを識別し、信頼度スコアと高度なキャプチャツールを提供します。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 更新日時 2026-11-17 📅 作成日 2025-09-03
333
ohyicong/Google-Image-Scraper

Google画像をスクレイピングするライブラリ

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 更新日時 2025-02-16 📅 作成日 2020-07-18
335
deedy5/primp

Webブラウザに偽装できるHTTPクライアント

deedy5
⭐ 634 Rust 👤 deedy5 User 🕐 更新日時 2026-09-13 📅 作成日 2024-04-12
336
achuthasubhash/Complete-Life-Cycle-of-a-Data-Science-Project

データサイエンスプロジェクトのライフサイクル全体

achuthasubhash
⭐ 631 👤 achuthasubhash User 🕐 更新日時 2024-06-07 📅 作成日 2020-09-02
337
eliemichel/LilySurfaceScraper

単一の URL から Blender にシェーダーと環境をインポート

eliemichel
⭐ 625 Cython 👤 eliemichel User 🕐 更新日時 2026-06-19 📅 作成日 2019-04-28
338
super-l/superl-url

キーワードに基づいて、検索エンジンのコンテンツ検索結果のURLコンテンツを収集するプログラムです。複数の検索エンジンから関連ウェブサイトの本物のアドレスとタイトルなどの情報を自動的に収集し、ファイルに保存でき、重複URLを自動的に除去します。また、複数のドメインをカスタムで無視することもできます。

super-l
⭐ 621 Python 👤 super-l User 🕐 更新日時 2025-04-12 📅 作成日 2017-08-03
339
Lofter1/anyflip-downloader

anyflip の書籍を PDF 形式でダウンロード

Lofter1
⭐ 619 Go 👤 Lofter1 User 🕐 更新日時 2026-11-16 📅 作成日 2023-02-05
340
chenluda/zhihu-download

知乎のコラム記事をMarkdownファイルに変換してローカルに保存する

chenluda
⭐ 613 Python 👤 chenluda User 🕐 更新日時 2025-03-21 📅 作成日 2023-05-12
341
liuda30201/AI-Coding

AIプログラミング特典ガイド:Claude Code、Codex、Cursorの中継サービスや公益サイトをまとめ、無料利用枠、登録特典、チェックインキャンペーン、レビュー記録を掲載。ビジュアルダッシュボードとPythonデータ収集ツールも提供します。

liuda30201
⭐ 611 HTML 👤 liuda30201 User 🕐 更新日時 2026-11-21 📅 作成日 2026-10-15
342
alchaincyf/huashu-chrome

あらゆる AI エージェントから、自分の Chrome を操作できます。ログイン状態もそのまま。MCP + Chrome 拡張機能で、Claude Code / Codex / Cursor / Gemini CLI に対応。

alchaincyf
⭐ 609 JavaScript 👤 alchaincyf User 🕐 更新日時 2026-11-15 📅 作成日 2026-08-26
343
testusyd/douyin_downloader

抖音福袋ガチャ、抖音福袋取得ツール、自分で仕事の合間にVC++で書いたもので、機能には他のいくつかの小さな機能も含まれています。抖音のウォーターマークなし動画ダウンローダー、抖音ライブ配信録画ダウンローダー、抖音一括フォロー解除ツール

testusyd
⭐ 605 👤 testusyd User 🕐 更新日時 2026-03-08 📅 作成日 2025-05-22
344
ThinkerWen/TicketMonitoring

大麦、猫眼、Fenwan Island、Ticket Planet、コンサートの戻りチケット監視

ThinkerWen
⭐ 605 Python 👤 ThinkerWen User 🕐 更新日時 2025-01-24 📅 作成日 2023-10-22
345
lunnar211/HackFacebokpass

Termux で Facebook をハッキング。このツールは TecnicalDipesh によってコーディングされました。任意の Facebook ID とパスワードをダンプできます。

lunnar211
⭐ 603 Python 👤 lunnar211 User 🕐 更新日時 2026-03-26 📅 作成日 2019-11-11
346
web-agent-master/google-search

PlaywrightベースのNode.jsツールで、検索エンジンのアンチスクレイピングメカニズムをバイパスしてGoogle検索を実行します。MCPサーバー統合を備えたSERP APIのローカルな代替手段です。

web-agent-master
⭐ 598 TypeScript 👤 web-agent-master Organization 🕐 更新日時 2025-04-06 📅 作成日 2025-03-04
347
jiuzhi-1/meituan-shenquan

美団 毎日神クーポン 地域イベント 自動化スクリプト

jiuzhi-1
⭐ 595 Python 👤 jiuzhi-1 User 🕐 更新日時 2024-05-08 📅 作成日 2021-10-15
348
ytdl-org/ytdl-nightly

youtube-dl のナイトリービルド。

ytdl-org
⭐ 593 Python 👤 ytdl-org Organization 🕐 更新日時 2026-11-06 📅 作成日 2023-07-02
349
shaikhsajid1111/social-media-profile-scrapers

ソーシャルメディア全体のユーザーデータを取得する

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 更新日時 2026-09-15 📅 作成日 2020-04-26
350
spekulatius/PHPScraper

PHP用のユニバーサルWebユーティリティ。

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 更新日時 2026-09-08 📅 作成日 2020-04-21