#scraper リポジトリ
リポジトリ合計128件
完全に無料でオープンソースの人間そっくりのInstagramボット。UIAutomator2を搭載し、Instagramを実行できるほぼすべてのAndroidデバイス5.0+(実機またはエミュレーター)と互換性があります。
テレビドラマ/アニメ自動リネームツール、ワンクリック一括リネーム。QBittorrentダウンロード後に自動リネームしてEmbyの自動スクレイピングを容易にすることができます。Windows、Linux、MacOS、Docker、およびSynologyパッケージ環境での実行をサポートします。
Cinemagoerは、IMDb(当社とは一切関係ありません)の映画データベースから映画、人物、キャラクターに関するデータを取得および管理するために役立つPythonパッケージです。
オリジナルの onlyfans-scraper をベースに、一から再構想して全面的に刷新・再設計したフォークです。OnlyFans と Fansly に対応しています。
セルフホスト型スクレイピングエンジン — あらゆるJSチャレンジとキャプチャをバイパス:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverrおよびByparrの代替品で、*arrスタックのドロップイン置換として使用可能。
📰 Newspaper4k は、人気の Newspaper3k のフォークです。ニュースウェブサイトから記事、タイトル、メタデータを抽出します。
CleanでAIアシストされたDSLを使い、Rubyでウェブスクレイパーを書きます。KimuraiはAIを使ってデータがどこにあるかを判定し、選択子をキャッシュして純粋なRubyでスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしでLLMの知能を手に入れましょう。
ログインや API キーなしで、X/Twitter のポスト、返信、タイムライン、検索結果、リスト、X Articles を取得。AI エージェント向けの Python CLI とライブラリです。FxTwitter、Nitter、ブラウザーの各バックエンドに対応し、自動フォールバック、統一 JSON、オプションの SQLite アーカイブを備えています。ログインや API を使わずに Twitter の投稿を取得できます。
すぐに使えるローカル JAV/動画スクレイピング・管理・再生ソフトウェア。コマンドラインからのワンクリックインストールと Docker デプロイに対応しています。ディレクトリを追加するだけで、あなただけのプライベート JAV/動画メディアライブラリを構築でき、最高級のブラウジング体験を楽しめます。面倒くさがりの方に必須のツールです!| あなたのローカル JAV/動画マネージャー。
<facundoolano/google-play-scraper> に着想を得た Python 用 Google Play スクレイパー
Kotlinベースのテスト/スクレイピング/解析ライブラリで、サーバーサイドおよびクライアントサイドでレンダリングされたHTMLからデータを分析・抽出する機能を提供します。直感的なDSLを提供することで、使用のしやすさと高い可読性を特に重視しています。テストライブラリを目指していますが、便利な方法でウェブサイトのスクレイピングにも使用できます。
HTML/XML ページや JSON-API からデータをダウンロードして抽出するためのコマンドラインツールで、CSS、XPath 3.0、XQuery 3.0、JSONiq またはパターンマッチングを使用します。また、新しいまたは変換された XML/HTML/JSON ドキュメントを作成することもできます。
多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。
無料のリード獲得ツール。Instagram、Twitch、TikTok、LinkedInのプロフィールをスクレイピングします。プロフィール欄からメールアドレスを抽出し、SMTPで検証してCSVにエクスポートできます。
Telethonライブラリを使用してTelegramチャンネルからメッセージやメディアをスクレイピングできる強力なPythonスクリプトです。リアルタイムでの継続的なスクレイピング、メディアのダウンロード、データのエクスポート機能が含まれます。
Amazon、Aliexpress、ebayなどのストアやカスタムストアに対応したマルチユーザーのセルフホスト型価格トラッカー。ユーザーが設定した1つ以上の基準に価格が一致した場合に通知を受け取ります
Operative Framework は Rust 調査 OSINT フレームワークです。複数のターゲットとやり取りでき、複数のモジュールを実行し、ターゲットとリンクを作成し、レポートを PDF ファイルにエクスポートし、ターゲットや結果にノートを追加し、RESTFul API とやり取りし、自分のモジュールを書くことができます。
🕵️♂️ LinkedIn プロフィールスクレイパー。JSON で構造化されたプロフィールデータを返します。