#crawler Repositories
Insgesamt 162 Repositories
Ein benutzerfreundlicher Bilibili Comic Downloader mit grafischer Benutzeroberfläche, unterstützt die Suche nach Comics nach Schlüsselwörtern und Login per QR-Code, mit 'Black Technology' zum Herunterladen nicht freigeschalteter Kapitel, Multi-Thread-Download, diversen Speicherformaten, lokaler Comicverwaltung und Ein-Klick-Update-Prüfung!
📝 Informationen (z. B. Follower, Tags usw.) eines Instagram-Profils schnell crawlen.
Führen Sie einen browserbasierten Webcrawler mit hoher Wiedergabetreue in einem einzigen Docker-Container aus
📰 Newspaper4k, eine Abspaltung des beliebten Newspaper3k. Extrahieren von Artikeln, Titeln und Metadaten von Nachrichtenseiten.
Laden Sie mühelos alle Fotos/Videos aus Tumblr-Blogs herunter. Laden Sie Bilder und Videos aus angegebenen Tumblr-Blogs herunter
Open-Source, selbstgehosteter Enterprise- & Website-Suchserver auf Basis von OpenSearch. Durchsucht Web-, Datei-, Datenbank- und Cloud-Quellen, unterstützt über 20 Sprachen, REST-API sowie KI/RAG- und semantische Suche. Apache-2.0-Lizenz.
BaiduSpider, ein Crawler zum Abrufen von Baidu-Suchergebnissen, unterstützt derzeit Baidu-Websuche, Baidu-Bildersuche, Baidu-Wissenssuche, Baidu-Videosuche, Baidu-Nachrichtensuche, Baidu-Wenkensuche, Baidu-Erfahrungssuche und Baidu-Enzyklopädie-Suche.
Crawly, ein Framework auf hohem Niveau für Web-Crawling und Scraping für Elixir.
Golang Wasserzeichenentfernung für Kurzvideos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Schreiben Sie Web‑Scraper in Ruby mit einer sauberen, KI‑gestützten DSL. Kimurai nutzt KI, um herauszufinden, wo die Daten liegen, speichert dann die Selektoren im Cache und scrapt ausschließlich mit reinem Ruby. Profitieren Sie von der Intelligenz eines LLM ohne die Latenz pro Anfrage oder Token‑Kosten.
Kernelbasierter Anti-Erkennungsbrowser mit der Playwright-API, die Sie bereits verwenden. Python- und Node-SDKs, MCP-fähig, unbegrenzt viele lokale Profile. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.
SiteOne Crawler ist ein plattformübergreifender Website-Crawler und -Analysator für SEO, Sicherheit, Zugänglichkeit und Leistungsoptimierung – ideal für Entwickler, DevOps, QA-Ingenieure und Berater. Unterstützt Windows, macOS und Linux (x64 und arm64).
Ein skalierbarer, ausgereifter und vielseitiger Web-Crawler basierend auf Apache Storm
Roman-Download|Roman-Crawling|起点|笔趣阁|Markdown exportieren|txt exportieren|epub konvertieren|Werbefilterung|Automatische Korrektur
Reine Python-Protokollwerkzeuge und Forschungsnotizen für X.com, mit VibeLoft-Twitter-Kontodatensätzen
Reverse-Engineering-Fallstudien für Webcrawler, abgeschlossen: TLS-Fingerprint | Ruishu | Zhenkunxing | NetEase Yudun | WeChat Mini Program Decompilation & Reverse Engineering (Baida Xingxi) | Tonghuashun | RPC-Entschlüsselung | Jiasule | Jueyan Slider CAPTCHA | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Industrial Policy Big Data Platform | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
Hochleistungs-asynchroner Captcha-Löser (Verifizierungscode-Löser) für Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) mit Temp Mail (temporäre E-Mail)-API (Schnittstelle).
Google Play Scraper für Python, inspiriert von <facundoolano/google-play-scraper>
ChatWeb kann Webseiten durchsuchen, PDFs, DOCX, TXT lesen und den Hauptinhalt extrahieren, um dann Ihre Fragen basierend auf dem Inhalt zu beantworten oder die wichtigsten Punkte zusammenzufassen.
Eine auf Kotlin basierende Bibliothek für Testing, Scraping und Parsing, die die Fähigkeit bietet, Daten aus HTML (server- und client-seitig gerendert) zu analysieren und zu extrahieren. Sie legt besonderen Wert auf Benutzerfreundlichkeit und hohe Lesbarkeit durch Bereitstellung einer intuitiven DSL. Sie zielt darauf ab, eine Testing-Bibliothek zu sein, kann aber auch auf bequeme Weise verwendet werden, um Websites zu scrapen.
ArrowDL (Arrow Downloader) ist ein Download-Manager für Windows, macOS und Linux.
Krawl ist ein anpassbarer, leichter, cloud-nativer Web-Täuschungsserver und Anti-Crawler, der gefälschte Web-Anwendungen mit niedrig hängenden Schwachstellen mithilfe realistischer, zufällig generierter Köderdaten und KI-generierter HTML-Vorlagen erstellt.
Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Site, mehrere Domains, bestimmte Links oder unendlich spidern kann. Spidr ist für Schnelligkeit und Benutzerfreundlichkeit konzipiert.
Stealth-Chromium-Engine, das verhindert, dass Scraper und Browser-Agenten blockiert werden – mit nur einer Änderung in einer Codezeile.
The Big Brother ist eine zur Waffe umfunktionierte OSINT-Plattform mit Benutzernamen-Aufzählung (über 473 Plattformen), visueller Aufklärung mit vier Vektoren, Sky-Radar-Tracking, Analyse von Krypto-Wallets, SSL-Informationen, Rekonstruktion des digitalen Fußabdrucks, EXIF-Extraktion, erweitertem Dorking und Netzwerkaufklärung.
JavaScript Cookie Reverse Engineering Tool: Visualisierungstool zur Überwachung von JS-Cookie-Änderungen & JS-Cookie-Hook mit bedingten Haltepunkten
Code-Repository für "Fortgeschrittene Praktiken im Web Scraping-Reverse-Engineering"
🕵️♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten im JSON-Format zurückgibt.
Wscan ist ein Web-Sicherheits-Scanner, der sich auf Websicherheit konzentriert und sich der Aufgabe widmet, Websicherheit für alle zugänglich zu machen.
Moodle-DL lädt Kursinhalte schnell von Moodle herunter (z. B. Vorlesungs-PDFs)
Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"