#web-scraping リポジトリ
リポジトリ合計382件
Playwright Model Context Protocol Server - Claude Desktop、Cline、Cursor IDE などでブラウザとAPIを自動化するためのツール 🔌
AIコーディングエージェントのための頼りになるウェブ — MCPを介したローカルファーストの検索、取得、クロール、リサーチ。APIキー不要、クラウド不要、1クエリ0ドル。公開ベータ版。
1つのコマンドで任意のウェブサイトの完全なデザインシステムを抽出。DTCGトークン、セマンティック+プリミティブ+コンポジット、Claude Code/Cursor/Windsurf用のMCPサーバー、マルチプラットフォームエミッター(iOS SwiftUI、Android Compose、Flutter、WordPress)、Tailwind v4、Figma変数、shadcn/ui、CSSヘルス監査、WCAG修復、Chrome拡張。MIT、Playwright、Node 20+。
Undetected-Chromedriverの後継。Captcha / CloudFlare / Imperva / hCaptchaのような迷惑なアンチボットシステムによって通常妨げられるWebオートメーション、Webスクレイピング、ボット、およびその他の創造的なアイデアのための非常に高速なフレームワークを提供します。
書籍『Web Scraping with Python』のコードサンプル http://shop.oreilly.com/product/0636920034391.do
メッセージングプラットフォーム向けのエージェント型情報抽出ツール。NoriaはチャットでメッセージやURLを受け取り、ウェブデータを収集して、カスタムの評価基準(求人、奨学金など)に基づいて内容を評価します。その後、算出した適合スコアを含む構造化された要約を、割り当てられたメッセンジャーの番号に直接送信します。
オープンソースアプリとクリーンなアプリの理想のホーム。OrionStoreなら、YouTube Morphe、YT Music Morphe、そして欠かせないオープンソースツールにすぐアクセスできます。余計なものは一切ありません。サーバーもトラッキングもなく、お気に入りのアプリへつながる、美しくモダンなポータルです。
あらゆるウェブサイトをリバースエンジニアリングして、型付き API クライアントに変換します。Claude Code、Codex、Cursor、OpenCode に対応。
Superstar Learning Cloud / Super Star Er Ya / Pan Ya Superstar 完全自動無人監視タスクポイント完了
マルチプラットフォームのコンテンツ監視・収集・転載。1つのWebパネルでDouyin/小紅書/快手/WeChatチャンネル/TikTok/Bilibili/Instagram/海外版小紅書(rednote)を一元管理
オープンソースのWebスクレイピングAPI。あらゆるウェブサイトをクリーンなMarkdownや構造化されたJSONに変換します。アンチ検知ブラウザ、プロキシ自動選択、セルフホスト対応。コマンド一つで実行:make up
AIを活用したスクレイパー、クローラー、ブラウザ自動化を使用して、あらゆるウェブサイトから構造化データを収集します。自然言語プロンプトによるスクレイピングとクロール。LLMエージェントに最新データを装備させます。インテリジェントなウェブデータ収集のためのAI Studio python SDK。
MCP と Chrome DevTools Protocol を介した AI エージェント向けステルスブラウザ自動化:ナビゲーション、ネットワークフック、DOM 抽出、ピクセル単位で正確な UI クローン作成。
無料のアンチフィンガープリントブラウザ、フィンガープリントブラウザ、プライバシーブラウザ、アンチ認識ブラウザ、アンチ識別ブラウザ、アンチ関連付けブラウザ、無料のWeb3エアドロップ専用フィンガープリントブラウザ https://virtualbrowser.cc/?src=github
ハードドライブや人気ウェブサイトからファイルとタグをインポートできる個人用 booru スタイルのメディアタグ付けツール。コンテンツはユーザー運営サーバーを通じて他のユーザーと共有できます。
Python を使用して Amazon から製品データ(タイトル、評価、価格、画像、説明を含む)を抽出するプロセス。
Ollama上で実行されているLLMを自動化されたリサーチャーに変えるPythonプログラム。単一のクエリで調査すべき焦点領域を決定し、ウェブ検索を実行し、様々な関連ウェブサイトからコンテンツをスクレイピングし、あなたのためにすべてを自分でリサーチします!さらに、成果の保存なども含まれますが、これらに限定されません!
DevTools プロトコル経由でヘッドレス Chrome または Chromium を制御するための高レベル API。Chrome DevTools チームがメンテナンスする Node ライブラリ Puppeteer の Rust 相当です。
PythonとOxylabs SERP APIを使用して、Googleトレンドデータをスクレイピングし、結果比較を行う方法を段階的に学びます。キーワード、その人気度、地域別の内訳、関連するクエリなどを抽出します。
Huya、Douyu、Douyin、BiliBili、TikTok、Twitch🔥人気🔥スマートライブビデオ編集・投稿AIロボット、自動化🤖、完全自動化⚙(スマートクリップ生成、タイトル、サムネイル、説明)、視覚化👓、プラットフォーム人気監視🌡、豊富なプラグイン自由拡張🕹、高速デプロイ⚡、ビデオアカウント自動投稿構築🌟、DIY対応🎮
パブリックWebアクセス向けのオールインワンソリューションを提供する強力なModel Context Protocol (MCP)サーバー。