#data-extraction リポジトリ
#data-extractionのタグが付いた、GitHub上の131件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は729,329個で、プロジェクトあたりの平均は5,567個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。
リポジトリ合計131件
🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev
公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。
ウェブ上のあらゆるサイトからデータを抽出し、操作するための SDK。Claude Code、Codex、Eve、Mastra などを使って始めましょう。
AIエージェント向けに構築されたブラウザ自動化CLI。アンチボットの壁を突破し、行き詰まったら複数のプラットフォームで人間に引き継ぎます。並列マルチタスク実行、独立したマルチセッション操作、分離されたマルチアカウントブラウジング。
Undetected-Chromedriverの後継。Captcha / CloudFlare / Imperva / hCaptchaのような迷惑なアンチボットシステムによって通常妨げられるWebオートメーション、Webスクレイピング、ボット、およびその他の創造的なアイデアのための非常に高速なフレームワークを提供します。
書籍『Web Scraping with Python』のコードサンプル http://shop.oreilly.com/product/0636920034391.do
メッセージングプラットフォーム向けのエージェント型情報抽出ツール。NoriaはチャットでメッセージやURLを受け取り、ウェブデータを収集して、カスタムの評価基準(求人、奨学金など)に基づいて内容を評価します。その後、算出した適合スコアを含む構造化された要約を、割り当てられたメッセンジャーの番号に直接送信します。
WebCollectorはJavaベースのオープンソースWebクローラーフレームワークです。Webのクロールにいくつかの単純なインターフェースを提供しており、5分以内にマルチスレッドWebクローラーをセットアップできます。
検知されない自己ホスト型ブラウザ自動化プラットフォーム。Camoufox(Firefox)により0%の検出率を実現。高速性、プライバシー、スケーラビリティを備えて構築されています。
このツールは、Windows 11 の Recall 機能からデータを抽出し表示し、PC のアクティビティ スナップショットに関する情報に簡単にアクセスできる方法を提供します。
「チタイ・ゴロド」カタログ用のインテリジェントパーサー。ISBNから割引の動向まで、指定されたあらゆるパラメーターに基づいた高速なデータ収集と構造化。
PDFファイルを、元のPDFのレイアウトを保ったままテキストファイルに変換します。たとえば、PDFファイル内の表から内容を抽出するのに便利です。Apache PDFBoxライブラリのPDFTextStripperクラスのサブクラスです。
よくある質問
GitHubで最も人気のある#data-extractionリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#data-extractionプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。
#data-extractionリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#data-extractionプロジェクトでは、Python, TypeScript, JavaScript, Rustが最も一般的なプログラミング言語です。
#data-extractionリポジトリのランキングはどのように算出されていますか?
#data-extractionのタグが付いた131件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は729,329個で、リポジトリあたりの平均は5,567個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。