Git Stars Git Stars

#web-scraping リポジトリ

381
リポジトリ総数
2.1M
合計スター数
5,636
リポジトリあたりの平均スター数

リポジトリ合計382件

351
samacs/simple_html_dom

シンプル HTML DOM ライブラリのフォークです。 (http://simplehtmldom.sourceforge.net/)

samacs
⭐ 587 HTML 👤 samacs User 🕐 更新日時 2024-05-15 📅 作成日 2012-09-23
352
pcrbot/HoshinoBot-plugins-index

HoshinoBot プラグインインデックス

pcrbot
⭐ 581 Python 👤 pcrbot Organization 🕐 更新日時 2026-11-16 📅 作成日 2020-11-13
354
vakra-dev/reader

AI向けのオープンソースWebインフラストラクチャ。ウェブをスクレイプ、クロール、そして自動化し、Markdownをクリーンアップ、ブラウザセッションを管理し、エージェントがすぐに使える状態にします。

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 更新日時 2026-10-06 📅 作成日 2026-01-07
355
JeremiahPetersen/RepoToText

GitHubリポジトリ全体を、LLM(ChatGPT、Claude、Geminiなど)で使用できる、整理された単一の.txtファイルに変換します。

JeremiahPetersen
⭐ 576 Python 👤 JeremiahPetersen User 🕐 更新日時 2024-05-29 📅 作成日 2023-07-09
356
realgam3/pymultitor

PyMultitor - Python マルチスレッドTorプロキシ

realgam3
⭐ 575 Python 👤 realgam3 User 🕐 更新日時 2025-08-30 📅 作成日 2013-09-28
357
firecrawl/firestarter

🔥 RAG による検索、ストリーミング応答、OpenAI互換のAPIエンドポイントを使用して、あらゆるウェブサイトにAIチャットボットを即座に作成

firecrawl
⭐ 571 TypeScript 👤 firecrawl Organization 🕐 更新日時 2025-06-18 📅 作成日 2025-06-13
358
jpjacobpadilla/Stealth-Requests

Pythonでの検知されないWebスクレイピングとシームレスなHTML解析!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 更新日時 2026-09-19 📅 作成日 2024-08-04
359
alterem/knowledge-grab

knowledge-grabは、TauriとVue 3をベースに構築されたデスクトップアプリケーションで、ユーザーが国家中小学スマート教育プラットフォーム (basic.smartedu.cn) から各種教育リソースを簡単にダウンロードできるようにするものです。

alterem
⭐ 566 Rust 👤 alterem User 🕐 更新日時 2026-10-21 📅 作成日 2025-05-18
360
sentient-engineering/sentient

3行のコードでブラウザ制御エージェントを構築できるフレームワーク/SDK。チャットに参加する https://discord.gg/umgnyQU2K8

sentient-engineering
⭐ 565 Python 👤 sentient-engineering Organization 🕐 更新日時 2024-10-10 📅 作成日 2024-09-01
361
jaebradley/basketball_reference_web_scraper

Basketball Reference を経由した NBA 統計 API

jaebradley
⭐ 563 HTML 👤 jaebradley User 🕐 更新日時 2026-11-21 📅 作成日 2015-10-23
362
programminghistorian/jekyll

The Programming Historian の Jekyll ベースの静的サイト

programminghistorian
⭐ 559 HTML 👤 programminghistorian Organization 🕐 更新日時 2026-11-19 📅 作成日 2013-09-09
363
databay-labs/free-proxy-list

無料プロキシリスト ✅🚀 HTTP, HTTPS, SOCKS4 & SOCKS5 | 5分ごとに更新 | 厳格なSSL、MITMなし、多国対応

databay-labs
⭐ 557 👤 databay-labs Organization 🕐 更新日時 2026-06-20 📅 作成日 2025-04-25
364
Johell1NS/browser-search

AIエージェント向けスキル:SearXNGでウェブ検索、Camofoxでブラウジング、CloakBrowserで保護を回避。設計段階からの対ハルシネーション仕様。セルフホスト対応、無料、無制限。

Johell1NS
⭐ 549 JavaScript 👤 Johell1NS User 🕐 更新日時 2026-10-22 📅 作成日 2026-06-22
366
strohne/Facepager

Facepager は、API とウェブスクレイピングを基に、YouTube、Twitter、および他のウェブサイトから公開されているデータを取得するために作られました。

strohne
⭐ 549 Python 👤 strohne User 🕐 更新日時 2026-05-17 📅 作成日 2012-09-26
367
la-deep-web/Phoneinfoga

電話番号に関するデータを検索するためのスクリプト

la-deep-web
⭐ 548 Python 👤 la-deep-web Organization 🕐 更新日時 2024-04-24 📅 作成日 2019-02-24
368
TomoeMami/S1PlainTextBackup

純テキスト形式のS1投稿バックアップ

TomoeMami
⭐ 547 Python 👤 TomoeMami User 🕐 更新日時 2026-11-21 📅 作成日 2020-02-02
369
AeternaLabsHQ/pullmd

人間とAIエージェント向けの、URL・ファイルをMarkdownに変換するセルフホスト型サービス。ウェブページ、ドキュメント、画像、音声、YouTubeに対応。PWA + REST + MCP + Claude Codeスキルを備え、Redditにも対応。共有リンクは更新可能です。

AeternaLabsHQ
⭐ 528 JavaScript 👤 AeternaLabsHQ Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-04-27
370
qxinGitHub/searchEngineJump

複数のエンジン間を簡単に移動できる検索エンジンリダイレクトスクリプト

qxinGitHub
⭐ 528 JavaScript 👤 qxinGitHub User 🕐 更新日時 2026-04-19 📅 作成日 2017-02-28
371
Johnserf-Seed/TikTokWeb

TikTokTool Web版

Johnserf-Seed
⭐ 527 CSS 👤 Johnserf-Seed User 🕐 更新日時 2024-01-26 📅 作成日 2021-07-18
372
luyu0279/BrainyAI

Sider、Monica、Merlinなどの製品に対する費用のかからない代替手段を提供する、無料でオープンソースのブラウザサイドバープラグイン。

luyu0279
⭐ 526 TypeScript 👤 luyu0279 User 🕐 更新日時 2025-04-08 📅 作成日 2024-06-11
373
KitePig/FatRat-Collect

Pangshu Caiji:WordPress向け優秀オープンソース収集プラグイン

KitePig
⭐ 523 PHP 👤 KitePig User 🕐 更新日時 2026-06-03 📅 作成日 2018-12-04
374
n1tr00-10/tiktok-web-signature

TikTokのウェブ署名をリバースエンジニアリングし、APIリクエスト用の有効なTikTok署名を生成します。

n1tr00-10
⭐ 521 Python 👤 n1tr00-10 User 🕐 更新日時 2026-10-09 📅 作成日 2026-10-09
375
liarjsdev/liarjs-skills

ブラウザフィンガープリントテスト用の Agent Skills:Claude Code、Codex、Cursor、または Copilot から liarjs を実行し、ブラウザを自身と照合してスコアリングします。Canvas、WebGL、WebGPU、オーディオ、フォント、WebRTC に関する 40 項目の整合性チェックを行い、TLS/HTTP 層とも突き合わせます。Playwright と Puppeteer のハーネス QA、CI 回帰ゲート、ヘッドレス検出のトリアージに対応します。

liarjsdev
⭐ 518 👤 liarjsdev User 🕐 更新日時 2026-08-06 📅 作成日 2026-08-04
376
subinps/Instagram-Bot

InstagramからほぼすべてのものをダウンロードするためのTelegramボット

subinps
⭐ 513 Python 👤 subinps User 🕐 更新日時 2024-04-30 📅 作成日 2021-05-31
377
oxylabs/quick-start-guide

OxylabsのWeb Scraper API無料トライアルを最大限に活用するためのPythonクイックスタートガイド。

oxylabs
⭐ 512 👤 oxylabs Organization 🕐 更新日時 2026-06-19 📅 作成日 2022-03-14
379
AlexMathew/scrapple

半自動ウェブコンテンツ抽出器作成のためのフレームワーク

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 更新日時 2026-01-16 📅 作成日 2014-12-13
380
oxylabs/web-scraper-api

リアルタイムかつ大規模なデータ抽出に対応するオールインワンのウェブスクレイピング API。プロキシ、CAPTCHA 管理、JavaScript のレンダリング、解析を 1 回のリクエストで処理し、HTML または構造化 JSON を返します。

oxylabs
⭐ 503 👤 oxylabs Organization 🕐 更新日時 2026-10-01 📅 作成日 2026-06-05
381
sansan0/bilibili-comment-analyzer

🎯 ビリビリ(bilibili)コメントデータ可視化分析ソフトウェア -- 投稿者は自分のテーマ選択を導き、ファン層を明確にするために使用できます。

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 更新日時 2025-06-27 📅 作成日 2025-06-03