#crawler リポジトリ
リポジトリ合計162件
NetDiscoveryは、Vert.xやRxJava 2などのフレームワークに基づいて実装された汎用クローラーフレームワーク/ミドルウェアです。
Xiaohongshu、Douyin、TikTok、Bilibili、Kuaishou、Weibo、Xianyu、Taobao、JD.com、Xを1つのコマンドで操作:人間とAIエージェント向けの統一コマンドとJSON出力
アンチボットシステム、CAPTCHA、フィンガープリンティング技術をリアルタイムで検出します。Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security などを識別し、信頼度スコアと高度なキャプチャツールを提供します。
Jie は、Web アプリケーション向けに細心の注意を払って作成された包括的なセキュリティ評価およびエクスプロイト ツールとして際立っています。その堅牢な機能スイートには、脆弱性スキャン、情報収集、エクスプロイトが含まれており、セキュリティ専門家とペネトレーション テスターの両方にとって不可欠なツールキットとなっています。挖洞辅助工具(漏洞扫描、信息收集)
FreeProxy: インターネットから無料プロキシを収集します。(世界中の大量の高品質な無料プロキシ、数十の無料プロキシ共有ソースのクロールをサポート、カスタムルールによるプロキシフィルタリングをサポート、ウェブスクレイピングとデータ分析に必須、毎日大量の無料プロキシを更新。)
AI向けのオープンソースWebインフラストラクチャ。ウェブをスクレイプ、クロール、そして自動化し、Markdownをクリーンアップ、ブラウザセッションを管理し、エージェントがすぐに使える状態にします。
Fresh Onionsは、zlal32teyptf4tvi.onionでホストされているオープンソースのTORスパイダー/隠しサービス向けonionクローラーです
✈️ セルフホスト型のマルチチャネル航空券価格モニタリング:フライト詳細を収集 → DingTalkでテキストと画像を配信 → 条件達成時に4段階の強力なアラートを送信。国内線・国際線(五大陸の目的地)で、収集・判定・通知の一連の仕組みを共通利用できます。データはローカルに保存され、設定はすべてWeb上で完結。オープンソースで無料です。