#crawler リポジトリ
#crawlerのタグが付いた、GitHub上の162件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は1,111,814個で、プロジェクトあたりの平均は6,863個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。
リポジトリ合計162件
🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev
公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。
ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。
Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。
🚀 Douyin、TikTok、Bilibiliのデータ収集と、ウォーターマークなし動画のダウンロードに対応したセルフホスト型API。MCP経由でのAIエージェントからの呼び出しと、オフライン音声文字起こしに対応。Dockerでワンクリックデプロイ。| TikTok、Douyin、Bilibili対応のセルフホスト型スクレイパー兼ウォーターマークなし動画ダウンローダー。非同期REST API、AIエージェント向けMCPサーバー、CLI、Webコンソールに加え、ダウンロードした動画のオフライン音声文字起こしにも対応。自動修復するIDプール、PostgreSQLアーカイブを備え、`docker compose up`一発で起動。
非常に興味深いPythonクローラーの例で、初心者に優しく、主にTaobao、天猫、WeChat、WeChat Reading、Douban、QQなどのウェブサイトをクローリングします。(Some interesting examples of python crawlers that are friendly to beginners.)
AV映画管理システム、avmoo、javbus、javlibraryクローラー、オンラインAV映画ライブラリ、AVマグネットリンクデータベース、Japanese Adult Video Library、Adult Video Magnet Links - Japanese Adult Video Database
Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。
JMComic用Python API | JinManTiantangへのPython APIアクセスを提供し、Webおよびモバイルをサポート | JinManTiantang GitHub Actionsダウンローダー🚀
Webからテキストとメタデータを収集するためのPythonおよびコマンドラインツール:クローリング、スクラッピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとして出力
実践 🐍 多様なウェブサイト、eコマースデータクローラー 🕷。含む 🕸:淘宝商品、WeChatパブリックアカウント、大衆点評、企查查、求人ウェブサイト、閑魚、アリタスク、ブログガーデン、Weibo、Baidu Tieba、Douban映画、包図網、全景網、Douban音楽、某省薬監局、Sohuニュース、マシンラーニングテキスト収集、fofa資産収集、汽車之家、国家統計局、Baiduキーワード収録数、蜘蛛汎ディレクトリ、今日頭条、Douban映画レビュー、Ctrip、小米アプリストア、安居客、途家民宿 ❤️❤️❤️。WeChatクローラー展示プロジェクト:
利用可能な対策 🚿 によるボット保護システムの分析。ウェブスクレイピング時にアンチボットシステム 👻 を無効にし、ブラウザのフィンガープリンティングスクリプト 🕵️♂️ を回避する方法は?
本プロジェクトは、中国本土におけるウェブクローラー開発者が関与した訴訟や違反に関するニュース、資料、法規制をすべて整理するためのものです。中国本土で働くウェブクローラー業界の従事者が関連法規を理解し、データのコンプライアンスの赤線に触れないよう支援することを目的としています。
小説漫画のダウンローダ:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.
DotnetSpider、.NET 標準のウェブクローリングライブラリです。軽量で効率的かつ高速な高レベルウェブクローリング&スクレイピングフレームワークです。
マルチプラットフォームのコンテンツ監視・収集・転載。1つのWebパネルでDouyin/小紅書/快手/WeChatチャンネル/TikTok/Bilibili/Instagram/海外版小紅書(rednote)を一元管理
🚀🚀🚀feapderは使いやすく強力なクローラーフレームワークです | feapderは、簡単に使用でき、強力なPythonクローラーフレームワークです。AirSpider、Spider、TaskSpider、BatchSpiderの4種類のクローラーが組み込まれており、さまざまなシナリオのニーズに対応します。ブレークポイントからの続行、監視とアラート、ブラウザレンダリング、大量データの重複排除などの機能をサポートします。さらに、強力なクローラー管理システムであるfeaplatは、便利な展開とスケジュールを提供します。
Videodl: 純粋なPythonで書かれた軽量ビデオダウンローダーです。 (高画質で水印なしのダウンロードを優先し、Douyin、Kuaishou、Xiaohongshu、Bilibili、TikTok、YouTube、FIFA+、Youku、Tencent Video、iQIYI、1905 Movie Network、LeTV、Mango TV、Migu、PPTV、Sohu、Facebook、Twitter、Sina Weibo、Today’s Headlines、NetEase Open Classes、全民K歌、CCTV、Kugou MV、新フィルム、Zhihu、Baidu Tieba、TEDなどの大量のストリーミングプラットフォームに対応しています。)
よくある質問
GitHubで最も人気のある#crawlerリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#crawlerプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。
#crawlerリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#crawlerプロジェクトでは、Python, Go, TypeScript, JavaScriptが最も一般的なプログラミング言語です。
#crawlerリポジトリのランキングはどのように算出されていますか?
#crawlerのタグが付いた162件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は1,111,814個で、リポジトリあたりの平均は6,863個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。