#crawler Repositories
Insgesamt 162 Repositories
NetDiscovery ist ein universelles Crawler-Framework bzw. Middleware, das auf Frameworks wie Vert.x und RxJava 2 basiert.
Ein einziger Befehl zur Nutzung von Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com und X: einheitliche Befehle und JSON-Ausgabe für Menschen und KI-Agenten
Speichert Webseiten lokal auf Ihrer Festplatte mit Bildern, CSS, JS & Links wie sie sind.
Echtzeiterkennung von Anti-Bot-Systemen, Captchas und Fingerprinting-Techniken. Erkennt Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security und mehr – mit Vertrauenswerten und erweiterten Erfassungstools.
Jie zeichnet sich als ein umfassendes Tool für Sicherheitsbewertungen und Exploits aus, das sorgfältig für Webanwendungen entwickelt wurde. Seine robuste Funktionssuite umfasst Schwachstellenscans, Informationssammlung und Exploitation, was es zu einem unverzichtbaren Werkzeugkasten für Sicherheitsexperten und Penetrationstester macht. 挖洞辅助工具(漏洞扫描、信息收集)
FreeProxy: Sammeln kostenloser Proxys aus dem Internet. (Massenhaft hochwertige kostenlose Proxys weltweit, unterstützt das Crawlen von Dutzenden kostenloser Proxy-Sharing-Quellen, benutzerdefinierte Proxy-Filterregeln, unverzichtbar für Web-Scraping und Datenanalyse, täglich aktualisiert mit einer großen Anzahl kostenloser Proxys.)
Open-Source-Webinfrastruktur für KI. Scrapen, crawlen und automatisieren Sie das Web, bereinigen Sie Markdown, Browser‑Sitzungen, bereit für Ihre Agenten.
Ein zuverlässiges High-Level-Web-Crawling- und Scraping-Framework für Node.js.
Webseiten (normal oder Onion) über das TOR-Netzwerk crawlen und extrahieren
Fresh Onions ist ein quelloffener TOR-Spider / Crawler für Onion-Dienste, gehostet unter zlal32teyptf4tvi.onion
✈️ Selbst gehostete, kanalübergreifende Überwachung von Flugpreisen: Flugdaten erfassen → Text- und Bildmeldungen über DingTalk senden → bei Erreichen der Zielwerte starke Benachrichtigungen in vier Stufen auslösen. Für Inlands- und internationale Flüge (Ziele auf fünf Kontinenten) gilt derselbe Ablauf für Erfassung, Prüfung und Benachrichtigung. Die Daten bleiben auf deinem Gerät, alle Einstellungen erfolgen im Web – Open Source und kostenlos.