#web-scraping リポジトリ
リポジトリ合計382件
Uscrapper Vanta: この強力なオープンソースツールで、より深くウェブを探索しましょう。サーフェスウェブとディープウェブの両方のソースから、貴重な洞察を簡単かつ効率的に抽出します。Vantaの高度な機能で、データマイニングと分析を強化しましょう。高速、信頼性、使いやすさを備えたUscrapper Vantaは、研究者とアナリストにとって究極の選択肢です。
視覚的なワークフロービルダーを備えた AI 駆動のウェブスクレイピングエディター。自然言語を使用してウェブスクレイパーを構築、テスト、デプロイします。ScrapeGraphAI および LangGraph を搭載。
Moyu Island🎣 バックエンド クロール➕ Netty ➕ SpringBoot ➕Redis➕ MySQL オープンソース🌟ワンストップMoyuウェブサイト
100% 無料で完全にオープンソースの Firecrawl edge 代替品、エージェント向けにリンク抽出が優れており、自分で Cloudflare または Vercel にデプロイ可能。
Firecrawl CLI とエージェント向けスキル:ターミナルや任意のコーディングエージェントからウェブを検索・スクレイピングし、操作できます。さらに、解析、クロール、サイトマップの作成に加え、Agent と Monitor も利用できます。Firecrawl は AI エージェント向けのコンテキスト API です。
このプログラムは、Chrome DevTools Protocol を使用して、Google Photos に保存された写真をダウンロードする Chrome セッションを駆動します。
EveryInfra MCPサーバー&エージェントプラグイン:TikTok、Instagram、Amazon、YouTube、小紅書、Douyin向けのスクレイピングAPI。106のプラットフォームにわたる612のデータAPIを、1,000回の呼び出しあたり0.56ドルから利用可能。Claude Code、Cursor、Codexに対応。
🔥 リアルタイムの考えを表示し、スプリットビューで分析を提供し、Claude と Firecrawl を使用して自動引用を行う視覚AI研究アシスタント
リモートクラウドセッションを介して複雑な自動化スクリプトを実行。住宅用プロキシの統合、自動CAPTCHA解決、および最も困難な動的ウェブサイト向けのネイティブJavaScriptレンダリング機能を備えています。
Google Hotels APIの統合により、価格、空室状況、評価、予約プロバイダーを含むホテルデータのスクレイピングを自動化します。
アンチボットシステム、CAPTCHA、フィンガープリンティング技術をリアルタイムで検出します。Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security などを識別し、信頼度スコアと高度なキャプチャツールを提供します。
キーワードに基づいて、検索エンジンのコンテンツ検索結果のURLコンテンツを収集するプログラムです。複数の検索エンジンから関連ウェブサイトの本物のアドレスとタイトルなどの情報を自動的に収集し、ファイルに保存でき、重複URLを自動的に除去します。また、複数のドメインをカスタムで無視することもできます。
AIプログラミング特典ガイド:Claude Code、Codex、Cursorの中継サービスや公益サイトをまとめ、無料利用枠、登録特典、チェックインキャンペーン、レビュー記録を掲載。ビジュアルダッシュボードとPythonデータ収集ツールも提供します。
あらゆる AI エージェントから、自分の Chrome を操作できます。ログイン状態もそのまま。MCP + Chrome 拡張機能で、Claude Code / Codex / Cursor / Gemini CLI に対応。
抖音福袋ガチャ、抖音福袋取得ツール、自分で仕事の合間にVC++で書いたもので、機能には他のいくつかの小さな機能も含まれています。抖音のウォーターマークなし動画ダウンローダー、抖音ライブ配信録画ダウンローダー、抖音一括フォロー解除ツール
Termux で Facebook をハッキング。このツールは TecnicalDipesh によってコーディングされました。任意の Facebook ID とパスワードをダンプできます。
PlaywrightベースのNode.jsツールで、検索エンジンのアンチスクレイピングメカニズムをバイパスしてGoogle検索を実行します。MCPサーバー統合を備えたSERP APIのローカルな代替手段です。