#spider リポジトリ
#spiderのタグが付いた、GitHub上の92件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は325,814個で、プロジェクトあたりの平均は3,541個です。このトピックをリードしているのは、44,801個のスターを獲得しているNaiboWang/EasySpiderです。
リポジトリ合計92件
ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。
非常に興味深いPythonクローラーの例で、初心者に優しく、主にTaobao、天猫、WeChat、WeChat Reading、Douban、QQなどのウェブサイトをクローリングします。(Some interesting examples of python crawlers that are friendly to beginners.)
循環当番と複数人録画に対応したライブ録画ソフトウェアで、Douyin、TikTok、Youtube、Kuaishou、Huya、Douyu、Bilibili、Xiaohongshu、pandatv、sooplive、flextv、popkontv、twitcasting、winktv、Baidu、Weibo、Kugou、17Live、Twitch、Acfun、CHZZK、shopeeなど40以上のプラットフォームのライブ録画をサポートします。
AV映画管理システム、avmoo、javbus、javlibraryクローラー、オンラインAV映画ライブラリ、AVマグネットリンクデータベース、Japanese Adult Video Library、Adult Video Magnet Links - Japanese Adult Video Database
INFO-SPIDERは、数多くのデータソースを統合したクローラーツールボックス🧰であり、ユーザーが自分のデータを安全かつ迅速に取り戻せるようにすることを目的としています。ツールのコードはオープンソースであり、プロセスは透明です。サポートされているデータソースには、GitHub、QQメール、Neteaseメール、Aliメール、Sinaメール、Hotmail、Outlook、JD、Taobao、Alipay、China Mobile、China Unicom、China Telecom、Zhihu、Bilibili、Netease Cloud Music、QQフレンズ、QQグループ、WeChatモーメントアルバムの生成、ブラウザ閲覧履歴、12306、博客园、CSDNブログ、开源中国ブログ、简书が含まれます。
ワンクリックで複数のコンテンツプラットフォームに記事を同期し、Toutiao、WordPress、Zhihu、JianShu、Juejin、CSDN、Typechoなどの主要プラットフォームをサポートします。一度の公開で、複数のプラットフォームに同時に公開できます。個人の生産性を解放します。
novel-plus は、PC、WAP、アプリ、ミニプログラムなど複数のプラットフォームに対応した、機能豊富な小説 CMS です。小説のおすすめ、検索、ランキング、閲覧、本棚、レビュー、読書リスト、Web からの小説収集、会員センター、作家向けエリア、チャージ・購読、ニュース配信などの機能を備えています。
Bilibiliの一般的なAPI呼び出し。ビデオ、アニメ、ユーザー、チャンネル、オーディオなどの機能をサポートします。元のリポジトリアドレス:https://github.com/MoyuScript/bilibili-api
🚀🚀🚀feapderは使いやすく強力なクローラーフレームワークです | feapderは、簡単に使用でき、強力なPythonクローラーフレームワークです。AirSpider、Spider、TaskSpider、BatchSpiderの4種類のクローラーが組み込まれており、さまざまなシナリオのニーズに対応します。ブレークポイントからの続行、監視とアラート、ブラウザレンダリング、大量データの重複排除などの機能をサポートします。さらに、強力なクローラー管理システムであるfeaplatは、便利な展開とスケジュールを提供します。
Scrapyd クラスタ管理、Scrapy ログ分析および視覚化、自動パッケージング、タイマータスク、監視およびアラート、モバイル UI 用の Web アプリ。Docs ドキュメント :point_right:
ショート動画ウォーターマーク削除:Douyin、Pipixia、Huoshan、Weishi、Weibo、Oasis、Zuiyou、Qingshipin、Kuaishou、Quanmin Xiaoshipin、バルセロナ映画、Momo、Before Bifeng、Kaiyan、Vue Vlog Xiaokuxiu、Pipixia Funny、Quanmin K Ge、Xigua Video、Doupai、Huya、6 Room、Li Video、Xinpianchang、acfun、Meipai...
Go言語のサンプルチュートリアル、初心者から上級者まで、基本ライブラリの使用、デザインパターン、面接でのミスしやすいポイント、ユーティリティクラス、サードパーティとの連携などを含む
Blue Sky Collector は、ルールをクリックして編集するだけでデータを収集できる、オープンソースで無料のクローラーシステムです。ローカル、仮想ホスト、またはクラウドサーバーで実行でき、ほぼすべてのタイプのWebページを収集できます。さまざまなCMSウェブサイト構築プログラムとシームレスに連携し、ログインせずにリアルタイムでデータを公開し、完全に自動化されているため、手動での介入は不要です!Webビッグデータ収集ソフトウェアにおける、完全にクロスプラットフォームなクラウドクローラーシステムです。
QQスペースエクスポートアシスタント。QQスペースの投稿、日記、プライベート日記、アルバム、動画、掲示板、QQの友達、お気に入り、共有、最近の訪問者をファイルとしてバックアップし、移行や保存を容易にします。
BOSS Zhipinスクレイパー / BOSS Zhipin求人データ収集ツール。Chrome CDPプロトコルに基づいて実際のログイン状態を再利用し、フォントのアンチスクレイピングを回避。プレーンテキストの給与JSON/CSVおよび給与・スキル分析を出力します。
Douyinクローラー - アカウントのホームページ、いいね、コレクション、音楽のオリジナルサウンド、トピック、検索、コレクション、作品、フォロー、フォロワーなどの公開データを収集します。
Pythonクローラー、現在在庫:NetEase Cloud Music楽曲クローリング、Bilibili動画クローリング、Zhihu Q&Aクローリング、壁紙クローリング、xvideos動画クローリング、有声書籍クローリング、Weiboクローラー、Anjuke情報クローリング+データ可視化、Bilibili動画カバー抽出器、IPプロキシヌールプールカプセル化、Zhihu百万級ユーザークローラー+データ分析、GitHubユーザークローラー
よくある質問
GitHubで最も人気のある#spiderリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#spiderプロジェクトは、44,801個のスターを獲得しているNaiboWang/EasySpiderです。ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。
#spiderリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#spiderプロジェクトでは、Python, Go, PHP, TypeScriptが最も一般的なプログラミング言語です。
#spiderリポジトリのランキングはどのように算出されていますか?
#spiderのタグが付いた92件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は325,814個で、リポジトリあたりの平均は3,541個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。