#web-scraping Repositories
Insgesamt 382 Repositories
Amazon Nova Act ist ein AWS-Dienst zum Erstellen und Bereitstellen hochzuverlässiger KI-Agenten, die UI-basierte Workflows im großen Maßstab automatisieren.
Eine Python 3 kompatible Version von goose http://goose3.readthedocs.io/en/latest/index.html
Ein CLI-Tool und eine API zum kostenlosen Abrufen von Daten von Twitter!
Greifen Sie programmgesteuert auf Ihre in MyFitnessPal gespeicherten Mahlzeiten-Tracking-Daten zu
Invisible Playwright MCP: Ein Playwright-MCP-Server, der von Anti-Bot-Systemen und CAPTCHAs nicht erkannt wird: Ein KI-Agent surft mit einem getarnten, Anti-Erkennungs-Firefox, Python, unerkannter Browserautomatisierung, Web-Scraping und Computersteuerung im Internet.
⭐️ Ein süßer und eigensinniger Himalaya-Album-Audio-Downloader ohne Einschränkungen O(∩_∩)O
Ein Tool zum Umschalten des Proxy-Pools durch Suche nach offenen SOCKS5-Proxys mit Fofa
Hongkong-Brand (Tai Po, 26.11.): Ein Großbrand fegte durch den Wang Fuk Court
Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Site, mehrere Domains, bestimmte Links oder unendlich spidern kann. Spidr ist für Schnelligkeit und Benutzerfreundlichkeit konzipiert.
Multiplattform-Aufnahmesoftware für Livestreams basierend auf Electron, unterstützt Douyin/Kuaishou in Form von mehreren Links
Ein programmierbarer, einbettbarer Webbrowser-Treiber, kompatibel mit der Selenium WebDriver-Spezifikation -- Headless, auf WebKit basierend, reines Java
Stealth-Chromium-Engine, das verhindert, dass Scraper und Browser-Agenten blockiert werden – mit nur einer Änderung in einer Codezeile.
Nicht erkannte NodeJS-Version der Playwright Test- und Automatisierungsbibliothek.
Leitfaden zur Auswahl von Fingerprint-Browsern (Browser zur Vermeidung von Verknüpfungen / Anti-Detect-Browser / Antidetect Browser) und Residential-Proxy-IPs sowie eine Übersicht über Open-Source-Ressourcen: Tarifpreise von 27 führenden Fingerprint-Browsern und 28 Proxy-IP-Anbietern, einschließlich Chromium-Fingerprint-Anpassung, Camoufox, Patchright, Anti-Detect-Automatisierung und Fingerprint-Erkennungstools.
Konsolidiert bestehende Xiangse Guguan-Quellen im Internet, Webcrawler aktualisiert die Buchquellen wöchentlich automatisch
Selenium, das Anti-Bot-Systeme nicht erkennen können – also keine CAPTCHAs: dieselbe API, unauffälliges Headless-Firefox mit Anti-Erkennung, nicht erkennbare Browser-Fingerprints, Umgehung der Bot-Erkennung sowie Web-Scraping und Browser-Automatisierung mit Python.
Die Weibo-Trendliste zeichnet beliebte Suchanfragen auf Weibo seit dem 24. November 2020 auf. Daten werden stündlich erfasst und täglich archiviert.
Verwenden Sie Cloudflare, um HTTP-Passthrough-Proxys für die eindeutige IP-Rotation zu erstellen, ähnlich wie fireprox
Stapeln Sie Blöcke visuell, um komplexe Browser-Workflows zu erstellen und sie über die API auszuführen
Extrahieren Sie Metadaten von XBMC- und Kodi-Filmen und benennen Sie Dateien für japanische Erotikvideos (JAV), amerikanische Erotik-DVDs und amerikanische Erotik-Webinhalte automatisch um.
Qinglong-Panel, mitmachen, Banu Hot Pot, FAW-Volkswagen, Haidilao, Watsons, Bawang Tea Master, Huazhu Club, Dongcheng Club, Wanda Hotels, Yihetang Automatischer Check-in. Überwachung des Lagerbestands und der Preisänderungen im DJI Store
Erfasst die TikTok-Trendliste, Star-Liste, Live-Stream-Liste, Musik-Liste und Marken-Liste, stündliche Aktualisierung, tägliche Archivierung.
Residential-, Rechenzentrums-, ISP- und Mobile-Proxys mit über 90 Millionen IPs in mehr als 200 Ländern – plus Scraper- und SERP-APIs. Codebeispiele in Python, Node.js, PHP, Go, Java, C#, Ruby und curl.
Ein Tool zur Analyse und Verarbeitung von Netzwerk-Videostreams für CCTV.com
LittleCrawler (小爬虫) unterstützt das Auslesen öffentlicher Daten auf den Plattformen Xiaohongshu (xhs), Zhihu und XianYu.
Leitfaden zur Verwendung von Google Sheets für grundlegendes Web Scraping
Schnelle, zustandslose CLI für die Websuche und das Scraping. Für KI-Agenten entwickelt.
Wandeln Sie jede Web-App in eine API um. Chrome-Erweiterung erfasst Browser-Verkehr, generiert Schemata automatisch und lässt KI APIs direkt wiedergeben. Keine offizielle API erforderlich.
Erstellen und stellen Sie in Sekundenschnelle KI-gestützte APIs bereit