#crawler リポジトリ
リポジトリ合計162件
使いやすいbilibiliマンガダウンローダー、グラフィカルインターフェース搭載、キーワード検索マンガとQRコードログイン対応、『ブラックテクノロジー』で未解放チャプターをダウンロード、マルチスレッドダウンロード、多様な保存フォーマット、ローカルマンガ管理、ワンクリックアップデートチェック!
📰 Newspaper4k は、人気の Newspaper3k のフォークです。ニュースウェブサイトから記事、タイトル、メタデータを抽出します。
OpenSearchをベースに構築された、オープンソースのセルフホスト型エンタープライズ&サイト検索サーバー。Web/ファイル/DB/クラウドソースのクロール、20以上の言語対応、REST API、AI/RAGおよびセマンティック検索を提供。Apache-2.0ライセンス。
Baidu検索結果をクロールするクローラーであるBaiduSpiderは、現在、Baiduウェブ検索、Baidu画像検索、Baidu知恵袋検索、Baidu動画検索、Baiduニュース検索、Baidu文庫検索、Baidu経験検索、Baidu百科検索をサポートしています。
Golang 短尺動画ウォーターマーク削除:Douyin、Pipixia、Huoshan、Weishi、Zuiyou、Kuaishou、Quanmin Xiaoshipin、Pipixia Gaoqiao、Xigua Video、Huya、Li Video、AcFun、Haokan Video...
CleanでAIアシストされたDSLを使い、Rubyでウェブスクレイパーを書きます。KimuraiはAIを使ってデータがどこにあるかを判定し、選択子をキャッシュして純粋なRubyでスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしでLLMの知能を手に入れましょう。
すでに使い慣れている Playwright API に対応したカーネルレベルのアンチ検知ブラウザ。Python + Node SDK、MCP 対応、ローカルプロファイル数無制限。Linux x64 + arm64、macOS Intel + Apple Silicon、Windows x64 に対応。
SiteOne Crawlerは、SEO、セキュリティ、アクセシビリティ、パフォーマンの最適化のためのクロスプラットフォームWebサイトクローラーおよびアナライザーであり、開発者、DevOps、QAエンジニア、コンサルタントに最適です。Windows、macOS、Linux(x64およびarm64)をサポートします。
クローラーの逆アセンブリ事例、完了:TLSフィンガープリント|Ruishu|Zhenkunxing|NetEase Yudun|WeChatミニプログラム逆アセンブリ・逆エンジニアリング(Baida Xingxi)|Tonghuashun|RPC復号|Jiasule|JueyanスライダCAPTCHA|Julang Sanshu|Boss Zhipin|Qichacha|China Minmetals|QQ Music|産業政策ビッグデータプラットフォーム|Qizhidiao|Xueqiu.com(acw_sc__v2)|1688|Qimai Data|whggzy|Qiming Keji|mohurd|Ejoin Data|Ouke Yunlian
Douyin(抖音)、TikTok、Xiaohongshu(小红书)、Kuaishou(快手)、Weibo(微博)、Instagram、YouTube(油管)、Twitter(X)用の、高性能非同期Captcha Solver(検証コード解決器)およびTemp Mail(一時メール)API(インターフェース)。
<facundoolano/google-play-scraper> に着想を得た Python 用 Google Play スクレイパー
ChatWebは、Webページをクロールし、PDF、DOCX、TXTを読み取り、主要なコンテンツを抽出してから、そのコンテンツに基づいて質問に回答するか、要点を要約できます。
Kotlinベースのテスト/スクレイピング/解析ライブラリで、サーバーサイドおよびクライアントサイドでレンダリングされたHTMLからデータを分析・抽出する機能を提供します。直感的なDSLを提供することで、使用のしやすさと高い可読性を特に重視しています。テストライブラリを目指していますが、便利な方法でウェブサイトのスクレイピングにも使用できます。
Krawl は、カスタマイズ可能で軽量なクラウドネイティブのウェブデセプションサーバおよびアンチクローラーで、現実的でランダム生成されたおとりデータと AI 生成の HTML テンプレートを使用して、低ハンギングの脆弱性を持つ偽のウェブアプリケーションを作成します。
多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。
The Big Brother は、ユーザー名の列挙(473以上のプラットフォーム)、4ベクトルの視覚情報分析、Sky Radarによる追跡、暗号資産ウォレット分析、SSL情報分析、デジタルフットプリントの再構築、EXIF抽出、高度なドーキング、ネットワーク偵察を備えた武器化OSINTプラットフォームです。
JavaScript Cookie逆アセンブリの強力なツール:JS Cookie変更監視可視化ツール&条件付きブレークポイントのJS Cookieフック
🕵️♂️ LinkedIn プロフィールスクレイパー。JSON で構造化されたプロフィールデータを返します。