#web-scraping リポジトリ
リポジトリ合計382件
AI向けのオープンソースWebインフラストラクチャ。ウェブをスクレイプ、クロール、そして自動化し、Markdownをクリーンアップ、ブラウザセッションを管理し、エージェントがすぐに使える状態にします。
GitHubリポジトリ全体を、LLM(ChatGPT、Claude、Geminiなど)で使用できる、整理された単一の.txtファイルに変換します。
knowledge-grabは、TauriとVue 3をベースに構築されたデスクトップアプリケーションで、ユーザーが国家中小学スマート教育プラットフォーム (basic.smartedu.cn) から各種教育リソースを簡単にダウンロードできるようにするものです。
3行のコードでブラウザ制御エージェントを構築できるフレームワーク/SDK。チャットに参加する https://discord.gg/umgnyQU2K8
無料プロキシリスト ✅🚀 HTTP, HTTPS, SOCKS4 & SOCKS5 | 5分ごとに更新 | 厳格なSSL、MITMなし、多国対応
AIエージェント向けスキル:SearXNGでウェブ検索、Camofoxでブラウジング、CloakBrowserで保護を回避。設計段階からの対ハルシネーション仕様。セルフホスト対応、無料、無制限。
Facepager は、API とウェブスクレイピングを基に、YouTube、Twitter、および他のウェブサイトから公開されているデータを取得するために作られました。
人間とAIエージェント向けの、URL・ファイルをMarkdownに変換するセルフホスト型サービス。ウェブページ、ドキュメント、画像、音声、YouTubeに対応。PWA + REST + MCP + Claude Codeスキルを備え、Redditにも対応。共有リンクは更新可能です。
ブラウザフィンガープリントテスト用の Agent Skills:Claude Code、Codex、Cursor、または Copilot から liarjs を実行し、ブラウザを自身と照合してスコアリングします。Canvas、WebGL、WebGPU、オーディオ、フォント、WebRTC に関する 40 項目の整合性チェックを行い、TLS/HTTP 層とも突き合わせます。Playwright と Puppeteer のハーネス QA、CI 回帰ゲート、ヘッドレス検出のトリアージに対応します。
リアルタイムかつ大規模なデータ抽出に対応するオールインワンのウェブスクレイピング API。プロキシ、CAPTCHA 管理、JavaScript のレンダリング、解析を 1 回のリクエストで処理し、HTML または構造化 JSON を返します。
🎯 ビリビリ(bilibili)コメントデータ可視化分析ソフトウェア -- 投稿者は自分のテーマ選択を導き、ファン層を明確にするために使用できます。