#crawler リポジトリ
リポジトリ合計162件
Twitter、Reddit、Instagram、BlueSky、TikTok、Threads、Facebook、OnlyFans、YouTube、Pinterest、PornHub、XHamster、XVIDEOS、ThisVidなど、あらゆるサイトからメディアをダウンロードできます。
Blue Sky Collector は、ルールをクリックして編集するだけでデータを収集できる、オープンソースで無料のクローラーシステムです。ローカル、仮想ホスト、またはクラウドサーバーで実行でき、ほぼすべてのタイプのWebページを収集できます。さまざまなCMSウェブサイト構築プログラムとシームレスに連携し、ログインせずにリアルタイムでデータを公開し、完全に自動化されているため、手動での介入は不要です!Webビッグデータ収集ソフトウェアにおける、完全にクロスプラットフォームなクラウドクローラーシステムです。
クローラーケース集。淘宝、京东、天猫、豆瓣、抖音、快手、微博、WeChat、Alibaba、Toutiao、pdd、Youku、iQIYI、Ctrip、12306、58、Sohu、各種指数、VIP、Wanfang、ZLibrary、Oalib、小説、入札サイト、調達サイト、Xiaohongshu、Dianping、Twitter、Maimai、Zhihuを含むが、これらに限定されない。
Diskover Community Edition - Elasticsearch 駆動のオープンソースファイルインデクサー、ファイル検索エンジン、およびデータ管理と分析
BOSS Zhipinスクレイパー / BOSS Zhipin求人データ収集ツール。Chrome CDPプロトコルに基づいて実際のログイン状態を再利用し、フォントのアンチスクレイピングを回避。プレーンテキストの給与JSON/CSVおよび給与・スキル分析を出力します。
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y](本物の不動産探しをとても簡単に)- Fredyは、ImmoScout24、Immowelt、eBay Kleinanzeigenなどのプラットフォームで、ヨーロッパの新しいアパート、住宅、フラットを継続的に検索し、Slack、Telegram、メール、Discord、またはntfyを通じて結果をすぐに届けてくれます。だから、人生でより大切なことに集中できます ;)
Douyinクローラー - アカウントのホームページ、いいね、コレクション、音楽のオリジナルサウンド、トピック、検索、コレクション、作品、フォロー、フォロワーなどの公開データを収集します。
Pythonクローラー、現在在庫:NetEase Cloud Music楽曲クローリング、Bilibili動画クローリング、Zhihu Q&Aクローリング、壁紙クローリング、xvideos動画クローリング、有声書籍クローリング、Weiboクローラー、Anjuke情報クローリング+データ可視化、Bilibili動画カバー抽出器、IPプロキシヌールプールカプセル化、Zhihu百万級ユーザークローラー+データ分析、GitHubユーザークローラー
Puppeteer および Playwright のパッチコレクション。自動検出と漏洩を回避します。Cloudflare および DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、オンデマンドで有効化/無効化できます。
小紅書データ収集、ウェブサイトの画像、ビデオリソースの一括ダウンロードツール、非常に魅力的なデータ収集ツール(一括ダウンロード、ビデオ抽出、画像)Telegram:https://t.me/+ZtLSwuIKTo44MDY1
Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。