#web-scraping リポジトリ
リポジトリ合計382件
AIMediaは、ホットトピックを自動的に取得し、AIで記事を作成して自動公開する統合ソフトウェアです。Toutiao、Xiaohongshu、WeChat公式アカウントなどをサポートします。
見えない Playwright:アンチボットシステムから検出されない Playwright。だから CAPTCHA もありません。同じ API、検出回避機能を備えたステルス型ヘッドレス Firefox、検出されないフィンガープリント、ボット検出の回避、Python によるウェブスクレイピングとブラウザー自動化。
リード獲得向けの無料オープンソース Google マップスクレイパー(Python、APIキー不要、Docker不要)。名称、電話番号、メールアドレス、ウェブサイト、評価、Instagram/Facebook/LinkedIn/TikTok/YouTube/XのリンクをCSVに出力します。メールアドレス付きの場所100件を44秒で取得。--gridでGoogleの120件上限を突破します。メールのMXレコード確認、広告ピクセル検出機能を搭載。Claude Code、Codex、Cursor向けのスキルです。
検知されない自己ホスト型ブラウザ自動化プラットフォーム。Camoufox(Firefox)により0%の検出率を実現。高速性、プライバシー、スケーラビリティを備えて構築されています。
天猫 TaoBao i茅台 iMatoTai JD 京東抢購、京東茅台抢購 Windows版、開箱即用環境設定不要。開発在即(Apache Licenseを採用したオープンソースプロトコル)
PythonとOxylabs SERP Scraper APIを使用してGoogle Scholarからタイトル、著者、引用を抽出するためのガイド。
PythonおよびOxylabs E-Commerce Scraper APIを使用してAmazonからベストセラー商品、検索結果、現在利用可能な取引を抽出するためのコード。
自動収集されたIPv4ホテルテレビライブストリーム、自動再生速度テスト、毎日の自動更新。CCTV全国衛星チャンネルおよび一部の地方チャンネルが含まれており、スムーズに再生されます。OpenWrtまたはSynologyのDockerでも実行できます。
SpringBootをサポートする、シンプル、アジャイル、分散型のJavaクローラフレームワーク。アジャイルで分散型のクローラフレームワーク。
「チタイ・ゴロド」カタログ用のインテリジェントパーサー。ISBNから割引の動向まで、指定されたあらゆるパラメーターに基づいた高速なデータ収集と構造化。
net/http.Client は、リクエストに使用する特定のクライアント TLS フィンガープリントを選択するオプションを備えた HTTP クライアントに似ています。
SURF - Chrome/Firefoxブラウザのなりすまし、QUICフィンガープリンティングによるHTTP/3、JA3/JA4 TLSエミュレーション、Webオートメーションおよびスクレイピングのためのアンチボットバイパスを備えた高度なGo HTTPクライアント。
Puppeteer 上で動作する Headless Chrome/Chromium のドライバ。スクリーンショットを撮影し、PDF を生成し、テキストと HTML を抽出できる、プロダクションレディな API です。
qstockは、「Python金融量化」公式アカウントによって開発され、個人の定量的投資研究分析パッケージになることを目指しています。現在、データ取得(data)、可視化(plot)、銘柄選定(stock)、定量的バックテスト(strategy backtest)モジュールが含まれています。qstockは、ユーザーに簡潔なデータインターフェースと整理された金融市場データを提供します。可視化モジュールは、ユーザーにWebベースのインタラクティブなグラフィックのための簡単なインターフェースを提供します。銘柄選定モジュールは、Tonghuashunの銘柄選定データと、RPS、MMトレンド、財務指標、資金フローモデルなどを含むカスタム銘柄選定を提供します。バックテストモジュールは、すべての人にベクトル化された(pandasベース)およびイベント駆動型の基本的なフレームワークとモデルを提供します。「Python金融量化」WeChat公式アカウントをフォローして、より多くのアプリケーション情報を入手してください。
PythonとOxylabsのGoogle Jobs Scraper APIを使用して、複数の検索クエリと地理的位置についてGoogleの求人を同時にスクレイピングする独自のGoogle Jobsスクレイパーを構築する方法を学びましょう。 https://oxylabs.io/blog/how-to-scrape-google-jobs
ウェブスクレイピングとマルチアカウント運用向けの、無料・オープンソースのアンチ検知ブラウザランチャー。ShardXチーム(旧ProxyShard)による開発。Chromium 158でエンジンレベルのフィンガープリント偽装(WebGL / WebGPU / Client Hints / フォント / TLS)を実現し、220種類以上のデバイスプロファイルを同梱。SOCKS5経由で安定したQUIC + WebRTCに対応。
Baidu Netdisk、Quark Netdisk、Aliyun Driveの映画・テレビリソース共有。最新のテレビドラマ、バラエティ番組、映画リソースを毎日更新。
このチュートリアルでは、PythonとOxylabs APIを使用して公開されているGoogleデータをスクレイピングする方法を紹介します。
Python向けのTwitter・Xスクレイパー:公式APIを使わずに、ツイート、プロフィール、フォロワー、フォロー中のアカウント、トレンドを取得できます。複数アカウントのプール、プロキシ対応、非同期処理に対応したTwitterスクレイピングライブラリ、またはApifyでホストされたバージョンをご利用いただけます。