#scraper リポジトリ
#scraperのタグが付いた、GitHub上の128件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は792,441個で、プロジェクトあたりの平均は6,190個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。
リポジトリ合計128件
公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。
ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。
Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。
🚀 Douyin、TikTok、Bilibiliのデータ収集と、ウォーターマークなし動画のダウンロードに対応したセルフホスト型API。MCP経由でのAIエージェントからの呼び出しと、オフライン音声文字起こしに対応。Dockerでワンクリックデプロイ。| TikTok、Douyin、Bilibili対応のセルフホスト型スクレイパー兼ウォーターマークなし動画ダウンローダー。非同期REST API、AIエージェント向けMCPサーバー、CLI、Webコンソールに加え、ダウンロードした動画のオフライン音声文字起こしにも対応。自動修復するIDプール、PostgreSQLアーカイブを備え、`docker compose up`一発で起動。
AV映画管理システム、avmoo、javbus、javlibraryクローラー、オンラインAV映画ライブラリ、AVマグネットリンクデータベース、Japanese Adult Video Library、Adult Video Magnet Links - Japanese Adult Video Database
Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。
💡 Node.js を使用して、任意のウェブサイトの完全なソースコード(すべてのアセットを含む)をダウンロードします。 [ Javascripts, Stylesheets, Images ]
利用可能な対策 🚿 によるボット保護システムの分析。ウェブスクレイピング時にアンチボットシステム 👻 を無効にし、ブラウザのフィンガープリンティングスクリプト 🕵️♂️ を回避する方法は?
オープンソースのWebスクレイピングAPI。あらゆるウェブサイトをクリーンなMarkdownや構造化されたJSONに変換します。アンチ検知ブラウザ、プロキシ自動選択、セルフホスト対応。コマンド一つで実行:make up
無料で新しいことを学びたいですか?心配いりません。ウェブスクレイピングと自動化の力により、このスクリプトは必要なUdemyクーポンを見つけ、有料Udemyコースにあなたを無料で登録させます!
PythonとOxylabs SERP APIを使用して、Googleトレンドデータをスクレイピングし、結果比較を行う方法を段階的に学びます。キーワード、その人気度、地域別の内訳、関連するクエリなどを抽出します。
Open Graph、JSON-LD、HTMLメタタグ、およびスマートフォールバックを使用して、あらゆるURLからメタデータをスクレイピングします。
Node.js向けTikTok LIVE API:TikTok LIVEからライブ配信イベント(コメント、ギフトなど)をリアルタイムで受信するための非公式ライブラリ。
完全に無料、プライベート、UIベースのテクノロジー ドキュメント MCP サーバー。コーダーとソフトウェア開発者を念頭に置いて設計されています。Cursor、Windsurf、Cline、Roo Code、Claude Desktop App に簡単に統合
無料のメール OSINT ツール。5,000 以上のプラットフォーム、アイデンティティクラスタリング、情報漏えい検出に対応。API キー不要。pip install mailaccess
BOSS Zhipinスクレイパー / BOSS Zhipin求人データ収集ツール。Chrome CDPプロトコルに基づいて実際のログイン状態を再利用し、フォントのアンチスクレイピングを回避。プレーンテキストの給与JSON/CSVおよび給与・スキル分析を出力します。
PythonとOxylabsのGoogle Jobs Scraper APIを使用して、複数の検索クエリと地理的位置についてGoogleの求人を同時にスクレイピングする独自のGoogle Jobsスクレイパーを構築する方法を学びましょう。 https://oxylabs.io/blog/how-to-scrape-google-jobs
よくある質問
GitHubで最も人気のある#scraperリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#scraperプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。
#scraperリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#scraperプロジェクトでは、Python, TypeScript, Go, JavaScriptが最も一般的なプログラミング言語です。
#scraperリポジトリのランキングはどのように算出されていますか?
#scraperのタグが付いた128件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は792,441個で、リポジトリあたりの平均は6,190個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。