#scraping リポジトリ
リポジトリ合計109件
AgentQLは、AIをWebに接続するためのツールスイートです。要素と対話し、データを迅速、正確、かつ大規模に抽出するためのクエリ言語とPlaywright統合を備えています。REST API、PythonおよびJavaScript SDK、ブラウザデバッガが含まれています。
Puppeteer および Playwright のパッチコレクション。自動検出と漏洩を回避します。Cloudflare および DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、オンデマンドで有効化/無効化できます。
有効なChatGPTスクレイピングAPI資格情報を含むプロンプトを送信して、ChatGPTスクレイパーから構造化された応答を収集します。ライブ検索を有効にし、HTMLコンテキストを注入し、わずか数パラメータでインテリジェントなスクレイパーChatGPTワークフローを自動化します。
アンチボットシステムに検出されないPython向けPuppeteer。CAPTCHAも表示されません。同じAPI、検出回避機能を備えたステルス型ヘッドレスFirefox、検出されないフィンガープリント、ボット検出の回避、ウェブスクレイピング、ブラウザー自動化に対応。
:rocket: searx のオープンソースの代替品で、モダンな :sparkles:, 雷のように速い :zap:, プライバシーを尊重する :disguised_face:, 安全な :lock: メタ検索エンジンを提供します
オリジナルの onlyfans-scraper をベースに、一から再構想して全面的に刷新・再設計したフォークです。OnlyFans と Fansly に対応しています。
セルフホスト型スクレイピングエンジン — あらゆるJSチャレンジとキャプチャをバイパス:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverrおよびByparrの代替品で、*arrスタックのドロップイン置換として使用可能。
📰 Newspaper4k は、人気の Newspaper3k のフォークです。ニュースウェブサイトから記事、タイトル、メタデータを抽出します。
Selenium & Seleniumwire(Python)を使用したオープンソースの一括自動Gmail作成ボット。Django/Flask、ML、AI、GPT、自動化、スクレイピングについてはお気軽にご連絡ください。
🕵️♂️ LinkedIn プロフィールスクレイパー。JSON で構造化されたプロフィールデータを返します。
Kemono pawchive Downloaderは、Kemono、Coomer、Bunkr、Erome、Saint2.su、nhentai、Discordなど、幅広いサイトからコンテンツをアーカイブするための高速なPyQt5アプリです。クリエイターブラウザ、更新チェッカーを備え、マルチスレッドおよびマルチパートダウンロードをサポートしています。セッションは一時停止、再開、またはフィルターの復元が可能です。
Facebook、Twitter、Reddit、YouTube、Pinterest、TumblrのAPI向けソーシャルメディアスクレイピング/データ収集ライブラリ
Comic-dl は、さまざまなコミックおよびマンガサイトからマンガとコミックスをダウンロードするためのコマンドラインツールです。サポートされているサイト: readcomiconline.to, mangafox.me, comic naver など多数。
このPythonアプリケーションは、「Ominis OSINT - Web Hunter」と呼ばれるOSINT(オープンソースインテリジェンス)ツールです。ユーザーが入力したクエリに関連する検索結果についてGoogleに問い合わせることにより、オンラインで情報を収集します。このツールは、タイトル、URL、および結果におけるクエリの潜在的な言及などの関連情報を抽出します。
X(Twitter)の公開データを収集する非同期 Python クライアント。検索、プロフィール、スレッド、返信、メディアに対応。アカウントの自動ローテーション、適応型レート制限、JSON/CSV/SQLite へのエクスポート機能を搭載。
アンチボットシステム、CAPTCHA、フィンガープリンティング技術をリアルタイムで検出します。Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security などを識別し、信頼度スコアと高度なキャプチャツールを提供します。