#web-scraping Repositories
Insgesamt 382 Repositories
Nur ein Fork der Simple HTML DOM-Bibliothek. (http://simplehtmldom.sourceforge.net/)
Open-Source-Webinfrastruktur für KI. Scrapen, crawlen und automatisieren Sie das Web, bereinigen Sie Markdown, Browser‑Sitzungen, bereit für Ihre Agenten.
Wandeln Sie ein gesamtes GitHub-Repository in eine einzige, organisierte .txt-Datei um, die Sie mit LLMs (ChatGPT, Claude, Gemini usw.) verwenden können.
🔥 Erstellen Sie sofort KI-Chatbots für jede Website mit RAG-gestützter Suche, Streaming-Antworten und OpenAI-kompatiblen API-Endpunkten
knowledge-grab ist eine Desktop-Anwendung, die auf Tauri und Vue 3 basiert und es Benutzern erleichtert, verschiedene Bildungsressourcen von der Nationalen Plattform für intelligente Bildung für Grund- und Sekundarschulen (basic.smartedu.cn) herunterzuladen.
Das Framework/SDK, mit dem Sie Browser-steuernde Agenten in 3 Codezeilen erstellen können. Treten Sie dem Chat unter https://discord.gg/umgnyQU2K8 bei
Kostenlose Proxy-Liste ✅🚀 HTTP, HTTPS, SOCKS4 & SOCKS5 | Alle 5 Minuten aktualisiert | Strenges SSL, kein MITM, Mehrland
Ein Skill für KI-Agenten: Durchsuchen Sie das Web mit SearXNG, surfen Sie mit Camofox, umgehen Sie Schutzmechanismen mit CloakBrowser. Konzeptionsbedingt halluzinationsfrei. Selbst gehostet, kostenlos, unbegrenzt.
Facepager wurde entwickelt, um öffentlich verfügbare Daten von YouTube, Twitter und anderen Websites auf Basis von APIs und Web-Scraping abzurufen.
Selbst gehosteter Dienst zur Umwandlung von URLs und Dateien in Markdown – für Menschen und KI-Agenten. Unterstützt Webseiten, Dokumente, Bilder, Audio und YouTube. PWA + REST + MCP + Claude-Code-Skill, Reddit-kompatibel und mit aktualisierbaren Freigabelinks.
Suchmaschinen-Weiterleitungsskript, das ein bequemes Weiterleiten zwischen mehreren Suchmaschinen ermöglicht
ein kostenloses und quelloffenes Browser-Sidebar-Plugin, das eine kostenlose Alternative zu Produkten wie Sider, Monica und Merlin bietet.
Durch Reverse Engineering der TikTok-Websignaturen lassen sich gültige TikTok-Signaturen für API-Anfragen erzeugen.
Agent Skills für Browser-Fingerprinting-Tests: Führen Sie liarjs über Claude Code, Codex, Cursor oder Copilot aus, um einen Browser mit sich selbst abzugleichen – 40 Konsistenzprüfungen für Canvas, WebGL, WebGPU, Audio, Schriftarten und WebRTC, gegengeprüft mit der TLS/HTTP-Schicht. QA für Playwright- und Puppeteer-Testharnesses, CI-Regressionssperren und Triage bei der Erkennung von Headless-Browsern.
Schnellstartanleitungen für Python, um das Beste aus dem kostenlosen Testangebot der Oxylabs Web Scraper API herauszuholen.
All-in-one-Web-Scraping-API für die Datenerfassung in Echtzeit und großem Umfang – Proxys, CAPTCHA-Verwaltung, JavaScript-Rendering und Parsing in einer einzigen Anfrage mit HTML oder strukturiertem JSON als Ergebnis.
🎯 Bilibili-Kommentardaten-Visualisierungsanalyse-Software – Ersteller können sie nutzen, um ihre Themenauswahl zu leiten und ihre Fangemeinde zu verstehen.