#web-scraping Repositories
Insgesamt 382 Repositories
Taobao, Tmall Halbpreis-Schnäppchen, Fernseher ergattern, Maotai ergattern, den Schwarzmarkthändlern den Garaus machen
AIMedia ist eine integrierte Software, die automatisch Trends erfasst, KI-generierte Artikel erstellt und diese automatisch veröffentlicht. Unterstützt Toutiao, Xiaohongshu, WeChat Official Accounts und mehr.
Unsichtbares Playwright: Playwright, das Anti-Bot-Systeme nicht erkennen können – also keine Captchas: dieselbe API, unauffälliges Headless-Firefox mit Anti-Erkennung, nicht erkennbare Fingerprints, umgeht die Bot-Erkennung, Python-Web-Scraping und Browser-Automatisierung.
Kostenloser Open-Source-Scraper für Google Maps zur Leadgenerierung (Python, kein API-Schlüssel, kein Docker). Exportiert Name, Telefonnummer, E-Mail-Adresse, Website, Bewertung und Instagram-/Facebook-/LinkedIn-/TikTok-/YouTube-/X-Links als CSV. 100 Orte mit E-Mail-Adressen in 44 s; --grid überwindet Googles Begrenzung auf 120. MX-Prüfung von E-Mail-Adressen, Erkennung von Werbe-Pixeln. Skill für Claude Code, Codex und Cursor.
Schnelle, lokal priorisierte Web-Inhalts-Extraktion für LLMs. Scrapen, Crawlen, Extraktion strukturierter Daten — alles in Rust. CLI, REST API und MCP-Server.
Ein HTML-DOM-Parser. Er ermöglicht es Ihnen, HTML zu manipulieren. Finden Sie Tags auf einer HTML-Seite mit Selektoren, genau wie bei jQuery.
Die unsichtbare, selbst gehostete Browser-Automatisierungsplattform. Angetrieben von Camoufox (Firefox) für 0 % Erkennungsraten. Entwickelt für Geschwindigkeit, Privatsphäre und Skalierbarkeit.
Remote Procedure Call (RPC) Browser-Methoden aufrufen, ohne Code manuell zu erstellen und Umgebungen einzurichten
Tmall TaoBao iMaotai iMatoTai JD Jingdong Blitzkauf, Jingdong Maotai Blitzkauf Windows-Version, out-of-the-box einsatzbereit ohne Umgebungskonfiguration. Entwicklung steht bevor (Open-Source-Protokoll mit Apache License)
Open-Source-Alternative zu Gemini Deep Research. Generieren Sie Berichte mit KI basierend auf Suchergebnissen.
Ein Leitfaden zum Extrahieren von Titeln, Autoren und Zitaten aus Google Scholar mit Python und der Oxylabs SERP Scraper API.
Ein Code zum Extrahieren von Bestseller-Artikeln, Suchergebnissen und aktuell verfügbaren Angeboten von Amazon mithilfe von Python und der Oxylabs E-Commerce Scraper API.
Automatisch gesammelte IPv4-Live-Streams für Hotelfernsehen, automatische Testwiedergabegeschwindigkeit, tägliche automatische Aktualisierung. Enthält CCTV-Sender, nationale Satellitenkanäle und einige lokale Kanäle, flüssige Wiedergabe. Kann auch in OpenWrt oder Synology Docker ausgeführt werden.
Ein schnelles Werkzeug, um jede Website in LLM-bereite Markdown-Daten umzuwandeln. Entwickelt von https://supermemory.ai
Ein einfaches, agiles, verteiltes Java-Crawler-Framework, das Spring Boot unterstützt; Ein agiles, verteiltes Crawler-Framework.
Intelligenter Parser für den „Chitai-Gorod“-Katalog. Hochgeschwindigkeitserfassung und -strukturierung von Daten basierend auf beliebigen festgelegten Parametern: von der ISBN bis zur Rabattdynamik.
net/http.Client wie HTTP Client mit Optionen zur Auswahl spezifischer Client-TLS-Fingerabdrücke für Anfragen.
Datenerfassung von Bullet-Journal-Nachrichten für die Webversion von Douyin-Livestreams (aktuellste Version 2025)
DIESES REPOSITORY IST NUR EIN SPIEGEL! Das Hauptentwicklungs-Repository ist https://codeberg.org/Freedium-cfd/web
SURF - Erweiterter Go HTTP-Client mit Chrome/Firefox-Browser-Imitation, HTTP/3 mit QUIC-Fingerprinting, JA3/JA4 TLS-Emulation und Anti-Bot-Umgehung für Webautomatisierung und Scraping.
Der Headless Chrome/Chromium-Treiber auf Basis von Puppeteer. Mach Screenshots, erstelle PDFs, extrahiere Text und HTML mit einer produktionsbereiten API.
qstock wurde vom "Python Financial Quant"-Public Account entwickelt und zielt darauf ab, ein persönliches quantitatives Investment-Research-Analysepaket zu werden. Es umfasst derzeit die Module zur Datenbeschaffung (data), Visualisierung (plot), Aktchienauswahl (stock) und zum quantitativen Backtesting (strategy backtest). qstock bietet Benutzern einen einfachen Datenschnittstelle und standardisierte Finanzmarktdaten. Das Visualisierungsmodul bietet Benutzern eine einfache Schnittstelle für webbasierte interaktive Grafiken; das Aktienauswahlmodul bietet Aktienauswahlmethoden von Tonghuashun und benutzerdefinierte Aktienauswahl, einschließlich RPS, MM-Trend, Finanzkennzahlen, Cashflow-Modell usw.; das Backtesting-Modul bietet allen eine vektorisierte (basierend auf pandas) und ereignisgesteuerte grundlegende Struktur und ein Modell. Folgen Sie dem "Python Financial Quant"-WeChat-Public Account, um weitere Anwendungsinformationen zu erhalten.
Folgen Sie Blogs, Wikis, YouTube-Kanälen sowie Accounts auf Twitter, Instagram usw. von einer einzigen Seite aus.
Erfahren Sie, wie Sie Ihren eigenen Google Jobs Scraper erstellen, der mit Python und der Google Jobs Scraper API von Oxylabs gleichzeitig Google Jobs für mehrere Suchanfragen und geografische Standorte abruft. https://oxylabs.io/blog/how-to-scrape-google-jobs
Kostenloser Open-Source-Launcher für einen Anti-Detect-Browser zum Web-Scraping und zur Verwaltung mehrerer Konten. Vom ShardX-Team (ehemals ProxyShard). Fingerprint-Spoofing auf Engine-Ebene in Chromium 158 (WebGL / WebGPU / Client Hints / Schriftarten / TLS), über 220 gebündelte Geräteprofile sowie stabiles QUIC + WebRTC über SOCKS5.
Eine gesamte Website abrufen und als Textdatei speichern (zur Verwendung mit KI-Modellen).
Teilen von Film- und Fernsehressourcen auf Baidu Netdisk, Quark Netdisk und Aliyun Drive. Tägliche Veröffentlichung der neuesten Fernsehserien, Varieté-Shows und Filmressourcen.
Erhalten Sie eine einmalige Direktverbindungsadresse für Chengtong Cloud Drive
In diesem Tutorial zeigen wir, wie man öffentliche Google-Daten mit Python und der Oxylabs API scrapt.
Python-Binding für Modest- und Lexbor-Engines. Schneller HTML5-Parser mit CSS-Selektoren für Python.
CLI-Werkzeug zum Speichern einer originalgetreuen Kopie einer vollständigen Webseite in einer einzigen HTML-Datei (basierend auf SingleFile)
Implementierung von Textauswahl, Zeichenauswahl, Auswahl und Tipp-Captcha-Erkennung, trainiert mit PyTorch
Twitter- und X-Scraper für Python: Tweets, Profile, Follower, gefolgte Konten und Trends ohne die offizielle API abrufen. Eine Twitter-Scraping-Bibliothek mit Pooling mehrerer Konten, Proxy-Unterstützung und asynchronen Funktionen oder eine auf Apify gehostete Version.