#web-scraping リポジトリ
リポジトリ合計382件
セルフホスト型スクレイピングエンジン — あらゆるJSチャレンジとキャプチャをバイパス:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverrおよびByparrの代替品で、*arrスタックのドロップイン置換として使用可能。
このリポジトリには、「OSINTのためのPython。初心者向け21日間コース」の各日のサンプルコードファイルが含まれています。
CleanでAIアシストされたDSLを使い、Rubyでウェブスクレイパーを書きます。KimuraiはAIを使ってデータがどこにあるかを判定し、選択子をキャッシュして純粋なRubyでスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしでLLMの知能を手に入れましょう。
muapiがホストする660以上の生成メディアモデルに加え、コミュニティ投稿のサードパーティAPIツール(SEO、データ拡充、ソーシャル、スクレイピング)を収録。1項目につきYAMLファイル1つで、機能別に閲覧できます。
すでに使い慣れている Playwright API に対応したカーネルレベルのアンチ検知ブラウザ。Python + Node SDK、MCP 対応、ローカルプロファイル数無制限。Linux x64 + arm64、macOS Intel + Apple Silicon、Windows x64 に対応。
Weiboデータに基づくソーシャルメディア感情分析プロジェクト。Weiboクローラー、LDAトピック分析、感情分析を含みます。
SiteOne Crawlerは、SEO、セキュリティ、アクセシビリティ、パフォーマンの最適化のためのクロスプラットフォームWebサイトクローラーおよびアナライザーであり、開発者、DevOps、QAエンジニア、コンサルタントに最適です。Windows、macOS、Linux(x64およびarm64)をサポートします。
"WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models" のコード
Geektime コースダウンローダー、Geektime コラム/ビデオコース/毎日のレッスン/大企業の実践/ブートキャンプビデオのダウンロードをサポート
これは、CodexやClaude CodeなどのAIエージェントがブラウザー自動化タスクを実行できるよう、専用に開発された軽量なヘッドレスブラウザーです。さまざまなウェブ保護システムやログイン手順、リバースエンジニアリングのシナリオに対応できるよう設計されています。
購入した書籍のバックアップコピーを作成できるこのツールを使用して、Kindle電子書籍をより自動化された方法で一括ダウンロードできます。
ChatGPT Team (Business) プロモーションコード自動スキャンツール — 一括発見/検証/価格収集、17カ国34種類のコードに対応、最大71%オフ | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Dorks Eye Google Hacking Dork Scraping and Searching Script。Dorks Eye は、私が Python 3 で作成したスクリプトです。このツールを使用すると、Google Dorks を簡単に見つけることができます。Dork Eye は、インターネット上で潜在的に脆弱な Web ページやアプリケーション、または Google の検索ボットによって収集されたその他の素晴らしい情報を収集します。作成者: Jolanda de Koff