#web-scraping Repositories
Insgesamt 382 Repositories
Playwright Model Context Protocol Server – Werkzeug zur Automatisierung von Browsern und APIs in Claude Desktop, Cline, Cursor IDE und mehr 🔌
Das ideale Web für Ihren KI-Codierungsagenten — lokale Suche, Abruf, Crawling und Recherche über MCP. Keine API-Schlüssel, keine Cloud, 0 $/Abfrage. Öffentliche Beta.
Nicht erkannte Version der Playwright-Test- und Automatisierungsbibliothek.
Extrahieren Sie das vollständige Designsystem jeder Website mit einem Befehl. DTCG-Token, semantisch+primitiv+komposit, MCP-Server für Claude Code/Cursor/Windsurf, Multiplattform-Emitter (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, Figma-Variablen, shadcn/ui, CSS-Gesundheitsprüfung, WCAG-Behebung, Chrome-Erweiterung. MIT, Playwright, Node 20+.
Nachfolger von Undetected-Chromedriver. Bietet ein rasantes Framework für Webautomatisierung, Web-Scraping, Bots und alle anderen kreativen Ideen, die normalerweise durch lästige Anti-Bot-Systeme wie Captcha / CloudFlare / Imperva / hCaptcha behindert werden.
Einstieg in Web-Scraping, Fortgeschrittener Web-Scraping, Fortgeschrittener Web-Scraping
Der vereinfachte HTTP-Anforderungskclient 'request' mit Promise-Unterstützung. Angetrieben von Bluebird.
Code-Beispiele aus dem Buch Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Ein agentischer Extraktor für Messaging-Plattformen. Noria empfängt Nachrichten und URLs per Chat, erfasst Webdaten, um Inhalte anhand benutzerdefinierter Bewertungsschemata (z. B. für Jobs und Stipendien) zu bewerten, und sendet eine strukturierte Zusammenfassung mit einem berechneten Übereinstimmungswert direkt an die zugewiesene Messenger-Nummer.
Musik suchen und herunterladen Von NetEase Cloud Music, QQ Music, KuGou Music, Baidu Music, Xiami Music, MiGu Music usw. suchen und Songs herunterladen
(inoffiziell) Googletrans: Kostenlose und unbegrenzte Google Translate-API für Python. Übersetzt vollständig kostenlos.
Das Zuhause für Open-Source-Apps und bereinigte Apps. OrionStore bietet sofortigen Zugriff auf YouTube Morphe, YT Music Morphe und unverzichtbare Open-Source-Tools – ganz ohne unnötigen Ballast. Keine Server, kein Tracking, sondern einfach ein schönes, modernes Portal zu deinen Lieblings-Apps.
Entwickle für jede Website per Reverse Engineering einen typisierten API-Client. Funktioniert mit Claude Code, Codex, Cursor und OpenCode.
Bleiben Sie mit KI über angesagte Themen in sozialen Medien und im Web auf dem Laufenden
Superstar Learning Cloud / Super Star Er Ya / Pan Ya Super Star Vollautomatisches unbeaufsichtigtes Abschließen von Aufgabenpunkten
Nimm eine Liste von Domains, durchsuche URLs und scanne nach Endpunkten, Geheimnissen, API-Schlüsseln, Dateierweiterungen, Tokens und mehr.
Plattformübergreifende Inhaltsüberwachung · Sammlung · Weiterveröffentlichung. Ein Web-Dashboard zur Verwaltung von Douyin / Xiaohongshu / Kuaishou / WeChat-Kanälen / TikTok / Bilibili / Instagram / Xiaohongshu international (rednote)
Open-Source Web-Scraping-API. Verwandeln Sie jede Website in sauberes Markdown oder strukturiertes JSON. Anti-Detect-Browser, automatische Proxy-Auswahl, selbst gehostet. Ein Befehl: make up
TikTok Reverse Engineering, TikTok Crawler, alle TikTok APIs, private Nachrichten, Live-Stream-Überwachung
Kostenlose Testversion der Amazon Scraper API zum Extrahieren von Daten aus Suchergebnissen, Produkten, Angeboten, Bewertungen, Fragen und Antworten, Bestsellern und Verkäufern.
Strukturierte Datenerfassung von jeder Website mithilfe eines KI-gesteuerten Scrapers, Crawlers und der Browserautomatisierung. Scraping und Crawling mit Aufforderungen in natürlicher Sprache. Statten Sie Ihre LLM-Agenten mit aktuellen Daten aus. AI Studio Python SDK für die intelligente Webdatenerfassung.
Unauffällige Browser-Automatisierung für KI-Agenten über MCP und das Chrome-DevTools-Protokoll: Navigation, Netzwerk-Hooks, DOM-Extraktion und pixelgenaues Klonen von Benutzeroberflächen.
PHP Curl Class erleichtert das Senden von HTTP-Anfragen und die Integration mit Web-APIs.
Kostenloser Anti-Fingerprinting-Browser, Fingerprint-Browser, Privacy-Browser, Anti-Erkennungs-Browser, Anti-Identifikations-Browser, Anti-Assoziations-Browser, kostenloser Web3-Airdrop-spezifischer Fingerprint-Browser https://virtualbrowser.cc/?src=github
Ein persönlicher Booru-Stil-Medientagger, der Dateien und Tags von Ihrer Festplatte und beliebten Websites importieren kann. Inhalte können über benutzerbetriebene Server mit anderen Benutzern geteilt werden.
Der Prozess der Extraktion von Produktdaten von Amazon mithilfe von Python, einschließlich Titeln, Bewertungen, Preisen, Bildern und Beschreibungen.
📲 Ein Agent zum Beschaffen, Kuratieren und Planen von Social-Media-Posts mit menschlicher Beteiligung.
Ein Python-Programm, das eine LLM, die auf Ollama läuft, in einen automatisierten Forscher verwandelt, der mit einer einzigen Abfrage Fokusbereiche zur Untersuchung bestimmt, Websuchen durchführt, Inhalte von verschiedenen relevanten Websites kratzt und Forschungen ganz allein für Sie durchführt! Und mehr, nicht beschränkt auf, aber einschließlich des Speicherns der Ergebnisse für Sie!
Python-Bibliothek und CLI für das Scraping von X/Twitter mit Multi-Account-Rotation und integrierter Ratenbegrenzungsverwaltung.
Ein High-Level-API zur Steuerung von headless Chrome oder Chromium über das DevTools-Protokoll. Es ist das Rust-Äquivalent von Puppeteer, einer von dem Chrome-DevTools-Team gepflegten Node-Bibliothek.
Erfahren Sie Schritt für Schritt, wie Sie Google Trends-Daten scrapen und einen Ergebnisvergleich mithilfe von Python und der Oxylabs SERP API durchführen. Extrahieren Sie Schlüsselwörter, deren Beliebtheit, Aufschlüsselung nach Region, verwandte Suchanfragen und mehr.
Huya, Douyu, Douyin, BiliBili, TikTok, Twitch🔥Beliebt🔥Intelligenter KI-Roboter für die Bearbeitung und Veröffentlichung von Live-Videos, Automatisierung🤖, voll intelligent⚙(automatische Erstellung von Clips, Titeln, Thumbnails, Beschreibungen), Visualisierung👓, Überwachung beliebter Plattformen🌡, umfangreiche Plugins, frei erweiterbar🕹, schnelle Bereitstellung⚡, automatisierte Veröffentlichung für Videokonten🌟, unterstützt DIY🎮
Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.