#scraping Repositories
Insgesamt 109 Repositories
AgentQL ist eine Suite von Tools, um Ihre KI mit dem Web zu verbinden. Mit einer Abfragesprache und Playwright-Integrationen für die schnelle, präzise und skalierbare Interaktion mit Elementen und die Extraktion von Daten. Enthält REST API, Python- und JavaScript-SDKs sowie einen Browser-Debugger.
Sammlung von Patches für Puppeteer und Playwright, um Automatisierungserkennung und Lecks zu vermeiden. Hilft, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/unpatchen, kann nach Bedarf aktiviert/deaktiviert werden.
Sammeln Sie strukturierte Antworten von einem ChatGPT-Scraper, indem Sie eine Eingabeaufforderung mit gültigen ChatGPT-Scraping-API-Anmeldeinformationen senden. Aktivieren Sie die Live-Suche, injizieren Sie HTML-Kontext und automatisieren Sie intelligente Scraper-ChatGPT-Workflows mit nur wenigen Parametern.
📰 Brasilianische Amtsblätter für alle zugänglich | 📰 Brasilianische Regierungsgazetten, zugänglich für alle.
Puppeteer für Python, das Anti-Bot-Systeme nicht erkennen können – ganz ohne Captchas: dieselbe API, ein unsichtbarer, Anti-Detection-fähiger Headless-Firefox, ein nicht erkennbarer Fingerabdruck, Umgehung der Bot-Erkennung, Web-Scraping und Browser-Automatisierung.
🤖 Daten automatisch aus HTML-Websites scrapen, indem Sie einfach Beispiele bereitstellen
Parsel ermöglicht es Ihnen, Daten aus XML/HTML-Dokumenten mit XPath oder CSS-Selektoren zu extrahieren
modulares Dienstleistungsframework zum Verschieben und Transformieren von Netzwerkpaketen
HTTP(S)/SOCKS5 rotierende Residential-Proxys - Code-Beispiele & allgemeine Informationen.
:rocket: Eine Open-Source-Alternative zu searx, die eine modern aussehende :sparkles:, blitzschnelle :zap:, datenschutzfreundliche :disguised_face:, sichere :lock: Meta-Suchmaschine bietet
Ein vollständig überarbeiteter und neu gestalteter Fork mit Unterstützung für OnlyFans und Fansly, der auf Grundlage des ursprünglichen onlyfans-scraper von Grund auf neu konzipiert wurde.
Selbst gehostete Scraping-Engine — umgeht jede JS-Herausforderung und jedes Captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternative zu FlareSolverr und Byparr und direkter Ersatz für Ihren *arr-Stack.
📰 Newspaper4k, eine Abspaltung des beliebten Newspaper3k. Extrahieren von Artikeln, Titeln und Metadaten von Nachrichtenseiten.
Archive automatisch Links zu Videos, Bildern und Social-Media-Inhalten aus Google Sheets (und mehr).
⛏️ Die Extraktions-Engine hinter Maigret: Verwandle jede Profil-URL in einen strukturierten OSINT-Datensatz auf über 150 Websites
Open Source Bulk Auto Gmail Creator Bot mit Selenium & Seleniumwire (Python). Kontaktieren Sie mich gerne mit Django/Flask, ML, KI, GPT, Automatisierung, Scraping.
Crawly, ein Framework auf hohem Niveau für Web-Crawling und Scraping für Elixir.
Werkzeuge für verschiedene Online-Judges. Herunterladen von Beispielszenarien, Generieren zusätzlicher Testfälle, Testen Ihres Codes und Einreichen.
Ein CLI-Toolset zur automatischen Erstellung von Inhaltsverzeichnissen für PDF-Dateien.
📄 Python-Tool, um Notion.so-Seiten in leichtgewichtige, anpassbare statische Websites zu verwandeln
Stealth-Chromium-Engine, das verhindert, dass Scraper und Browser-Agenten blockiert werden – mit nur einer Änderung in einer Codezeile.
Lookyloo ist eine Weboberfläche, die Benutzern ermöglicht, eine Webseite zu erfassen und dann einen Baum von Domains anzuzeigen, die einander aufrufen.
Eine leistungsstarke Proxy-Rotations-Engine mit automatisiertem IP-Management und Echtzeit-Überwachung des Zustands
Schnelle, zustandslose CLI für die Websuche und das Scraping. Für KI-Agenten entwickelt.
🕵️♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten im JSON-Format zurückgibt.
😈📚 Eine kuratierte Bibliothek von Forschungsarbeiten und Präsentationen für Enthusiasten von Gegen-Erkennung und Web-Privatsphäre.
Kemono pawchive Downloader ist eine schnelle PyQt5-App zum Archivieren von Inhalten von einer Vielzahl von Websites, darunter Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai und Discord. Sie verfügt über einen Creator-Browser, eine Update-Prüfung und unterstützt Multi-Thread- sowie Multi-Part-Downloads. Sitzungen können pausiert, fortgesetzt oder Filter wiederhergestellt werden.
Bibliothek zum Scraping bzw. zur Datenerfassung in sozialen Medien für die APIs von Facebook, Twitter, Reddit, YouTube, Pinterest und Tumblr
Comic-dl ist ein Kommandozeilen-Tool zum Herunterladen von Manga und Comics aus verschiedenen Comic- und Manga-Seiten. Unterstützte Seiten: readcomiconline.to, mangafox.me, comic naver und viele mehr.
Eine API zum Auslesen von Metadaten von amerikanischen Gerichtswebseiten.
Diese Python-Anwendung ist ein OSINT (Open Source Intelligence)-Tool namens „Ominis OSINT - Web Hunter“. Es führt eine Online-Informationssammlung durch, indem es Google nach Suchergebnissen im Zusammenhang mit einer vom Benutzer eingegebenen Abfrage abfragt. Das Tool extrahiert relevante Informationen wie Titel, URLs und mögliche Erwähnungen der Abfrage in den Ergebnissen.
Asynchroner Python-Client zum Erfassen öffentlicher Daten von X (Twitter) – Suche, Profile, Threads, Antworten und Medien. Mit integrierter Kontorotation, adaptiver Ratenbegrenzung und Export nach JSON/CSV/SQLite.
:card_index: Extrahiere Social-Media-Profile und mehr mit regulären Ausdrücken
Echtzeiterkennung von Anti-Bot-Systemen, Captchas und Fingerprinting-Techniken. Erkennt Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security und mehr – mit Vertrauenswerten und erweiterten Erfassungstools.
Python 3-Skript zum Auslesen/Scrapen/Extrahieren von Firmendaten von Mitarbeitern aus der LinkedIn-API
Universal Reddit Scraper - Funktioniert für jedes Subreddit und jeden Benutzer
Die einfachste Demo der Chrome-Automatisierung mit Python und Selenium in AWS Lambda
Ein Tool, mit dem Sie Medien von jedem Onlyfans-Konto und mehr scrapen können