#scraper リポジトリ
リポジトリ合計128件
プログラミングの知識がない人でも、大規模に質の高いリードを獲得できる Python スクリプトです。このリポジトリには、リード獲得に使用されるさまざまな汎用的な手法が収録されます。
アンチボットシステム、CAPTCHA、フィンガープリンティング技術をリアルタイムで検出します。Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security などを識別し、信頼度スコアと高度なキャプチャツールを提供します。
書籍、映画、コミック、アニメ、マンガなどのさまざまなエンターテイメントメディアに関する情報を取得するためのハイレベルAPIを提供するNodejsライブラリ。
AI向けのオープンソースWebインフラストラクチャ。ウェブをスクレイプ、クロール、そして自動化し、Markdownをクリーンアップ、ブラウザセッションを管理し、エージェントがすぐに使える状態にします。
無料および有料のSubstack投稿をダウンロードし、Markdownファイルとして保存します。また、各著者のMarkdownファイルを閲覧・並べ替えできるHTMLインターフェースも生成します。
AI とシンプルさを念頭に置いて作成された Web スクレーパーです。CLI として実行され、並列化可能で、高品質な Markdown コンテンツを出力します。
Fresh Onionsは、zlal32teyptf4tvi.onionでホストされているオープンソースのTORスパイダー/隠しサービス向けonionクローラーです
訪問者にCloudflareチャレンジを課すウェブサイトからCloudflareクリアランス (cf_clearance) クッキーをスクレイピングするためのシンプルなプログラム