#web-crawling リポジトリ
#web-crawlingのタグが付いた、GitHub上の38件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は211,837個で、プロジェクトあたりの平均は5,574個です。このトピックをリードしているのは、87,627個のスターを獲得しているunclecode/crawl4aiです。
リポジトリ合計38件
公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。
Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。
Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。
JavaScriptでレンダリングされたページをHTMLとしてレンダリングするためにHeadless Chromeを使用するNodeサーバー。prerenderミドルウェアと組み合わせて使用します。
WebCollectorはJavaベースのオープンソースWebクローラーフレームワークです。Webのクロールにいくつかの単純なインターフェースを提供しており、5分以内にマルチスレッドWebクローラーをセットアップできます。
SpringBootをサポートする、シンプル、アジャイル、分散型のJavaクローラフレームワーク。アジャイルで分散型のクローラフレームワーク。
🔥 Firecrawl powered by Firecrawl を搭載し、リアルタイム引用、ストリーミング応答、ライブデータを備えたオープンソースのPerplexity風AI検索エンジン
抖音(a_bogus最新版)、快手、哔哩哔哩、小红书、淘宝、京东、微博などのプラットフォームのクローラーオープンソースAPIインターフェースサーバー。Dockerによるワンクリック高速デプロイ。
オープンソースコミュニティの素晴らしい業績の上に構築された、コミュニティ主導のAI自動化フレームワークです。私たちの目標は、Web検索、クローリング、Pythonコードの実行などのタスクのために言語モデルと専門ツールを組み合わせ、これを可能にしたコミュニティに還元することです。
Claude 3.5 Sonnet APIとFirecrawlを使用して、あらゆる種類のウェブサイトコンテンツを分析し、構造化されたレポートを生成するように設計された自動AIシステム(Pythonフレームワーク)。現在はエンタープライズAIのケーススタディ向けに構成されていますが、アーキテクチャはさまざまなコンテンツ分析ニーズに適応可能です。
ヘッドレスChromeを使用してWebページを取得し、JavaScriptファイルを含むすべての取得済みリソースを保存します。多数のWebページで任意のJavaScriptを実行し、返された値を確認します
よくある質問
GitHubで最も人気のある#web-crawlingリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#web-crawlingプロジェクトは、87,627個のスターを獲得しているunclecode/crawl4aiです。公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。
#web-crawlingリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#web-crawlingプロジェクトでは、Python, TypeScript, JavaScript, Goが最も一般的なプログラミング言語です。
#web-crawlingリポジトリのランキングはどのように算出されていますか?
#web-crawlingのタグが付いた38件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は211,837個で、リポジトリあたりの平均は5,574個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。