#web-scraping リポジトリ
リポジトリ合計382件
AI Map は、Oxylabs AI Studio による AI 搭載のウェブサイトマッピングツールであり、自然言語プロンプトを使用して、あらゆるウェブサイトから関連する URL をインテリジェントに発見し、抽出します。
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y](本物の不動産探しをとても簡単に)- Fredyは、ImmoScout24、Immowelt、eBay Kleinanzeigenなどのプラットフォームで、ヨーロッパの新しいアパート、住宅、フラットを継続的に検索し、Slack、Telegram、メール、Discord、またはntfyを通じて結果をすぐに届けてくれます。だから、人生でより大切なことに集中できます ;)
AIエージェントとSEO向けのセルフホスト型ウェブ検索。Google、Bing、Yandex、Baidu、DuckDuckGo、Ecosiaに対応し、実際のブラウザーで表示:ランキング付きの検索結果と、整形されたページのMarkdownを提供。API、CLI、MCP 🎉
AgentQLは、AIをWebに接続するためのツールスイートです。要素と対話し、データを迅速、正確、かつ大規模に抽出するためのクエリ言語とPlaywright統合を備えています。REST API、PythonおよびJavaScript SDK、ブラウザデバッガが含まれています。
地図で賃貸物件を検索:街中を探し回ってもうヘトヘト?方法を変えて、地図上で直接賃貸物件を探してみよう!【WeChat公式アカウント・ミニプログラム:人生删除指南】
Puppeteer および Playwright のパッチコレクション。自動検出と漏洩を回避します。Cloudflare および DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、オンデマンドで有効化/無効化できます。
有効なChatGPTスクレイピングAPI資格情報を含むプロンプトを送信して、ChatGPTスクレイパーから構造化された応答を収集します。ライブ検索を有効にし、HTMLコンテキストを注入し、わずか数パラメータでインテリジェントなスクレイパーChatGPTワークフローを自動化します。
WebAI2API: Camoufox ベースのウェブ AI を API に変換するツール。LMArena/Gemini などをサポート、多窓口同時実行とアカウント隔離。 | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.
Web Scraper APIを使用して、Google Financeから、銘柄名、価格設定、およびパーセンテージでの価格変動を含むデータを抽出します。
アンチボットシステムに検出されないPython向けPuppeteer。CAPTCHAも表示されません。同じAPI、検出回避機能を備えたステルス型ヘッドレスFirefox、検出されないフィンガープリント、ボット検出の回避、ウェブスクレイピング、ブラウザー自動化に対応。
Go HTTPクライアントで、ブラウザと同等のTLS/HTTP2フィンガープリントを実現。暗号レベル(JA3/JA4、Akamaiフィンガープリント、ヘッダー順序)でChrome、Firefox、Safariを完璧に模倣し、ボット検出を回避します。HTTP/1.1、HTTP/2、HTTP/3、セッション、クッキー、プロキシに対応。
Calibre 用の新しい Douban メタデータソースプラグイン。Douban は一般に書籍 API を提供しなくなったため、Web クローリングを使用してのみデータを取得できます。これは、Web クローリングに基づいた Calibre Douban プラグインです。
FirecrawlとマルチエージェントAIを使用して、電子メールを会社プロフィール、資金調達データ、技術スタックなどを含む豊富なデータセットに変換するAI駆動のデータエンリッチメントツール
Kspiderは、グラフィカルな方法でクローラープロセスを定義できるクローラープラットフォームであり、コードなしでクローラープロセスを実装できます。KspiderはWebクローリングに限定されず、WEB自動化テストにも使用でき、さらに多くの機能があなたを待っています。
Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。
ソースコードレベルの Chromium フィンガープリント・エンジン。検出サイトでは通常の Chrome として評価されます。ボット検出テストを通過する、ソースコードレベルの Chromium フィンガープリント・カーネルです。JS インジェクションではなく、バイナリにコンパイルされた C++ パッチです。
ウェブページから情報をクリップするウェブ拡張機能。情報の無効化を避けるためにローカルマシンに保存してください。退屈な登録なし、料金なし。