#spider Repositories
Insgesamt 92 Repositories
Beanbun ist ein in PHP geschriebenes Multi-Prozess-Webcrawling-Framework mit guter Offenheit und hoher Skalierbarkeit, basierend auf Workerman.
BaiduSpider, ein Crawler zum Abrufen von Baidu-Suchergebnissen, unterstützt derzeit Baidu-Websuche, Baidu-Bildersuche, Baidu-Wissenssuche, Baidu-Videosuche, Baidu-Nachrichtensuche, Baidu-Wenkensuche, Baidu-Erfahrungssuche und Baidu-Enzyklopädie-Suche.
Crawly, ein Framework auf hohem Niveau für Web-Crawling und Scraping für Elixir.
LLMs Große Modelle Notizen 50 Artikel Dieses Repository enthält Projekte und praktische Anwendungen in den Bereichen maschinelles Lernen, Deep Learning, Computer Vision, natürliche Sprachverarbeitung, große Modelle, Web-Scraping usw.
Golang Wasserzeichenentfernung für Kurzvideos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
:alien: OneBlog, ein schlankes, schönes, funktionsreiches und responsives Java-Blog
JS-Reverse-Engineering, Entschlüsselung von JS-Anti-Scraping-Verschlüsselungsparametern, bereits entschlüsselt Geetest-Schieberegler W (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (aktualisiert am 2020-06-30), Taobao-Passwort, Tianan Insurance Login, Bilibili Login, Fang.com Login, WPS Login, Weibo Login, Youdao Translate, Netease Login, WeChat Official Account Login, Air China Network Login, Jmubiao Login, Student Information Management System Login, Gengying Finance Login, Chongqing Science and Technology Resource Sharing Platform Login, Netease Cloud Music Download, One-Click Video Link Parsing, Cailianshe Login.
Roman-Download|Roman-Crawling|起点|笔趣阁|Markdown exportieren|txt exportieren|epub konvertieren|Werbefilterung|Automatische Korrektur
Reverse-Engineering-Fallstudien für Webcrawler, abgeschlossen: TLS-Fingerprint | Ruishu | Zhenkunxing | NetEase Yudun | WeChat Mini Program Decompilation & Reverse Engineering (Baida Xingxi) | Tonghuashun | RPC-Entschlüsselung | Jiasule | Jueyan Slider CAPTCHA | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Industrial Policy Big Data Platform | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
Eine Sammlung von Spiders und Scrapers zum Extrahieren von Standortinformationen aus Orten, die ihren Standort im Internet posten.
Krawl ist ein anpassbarer, leichter, cloud-nativer Web-Täuschungsserver und Anti-Crawler, der gefälschte Web-Anwendungen mit niedrig hängenden Schwachstellen mithilfe realistischer, zufällig generierter Köderdaten und KI-generierter HTML-Vorlagen erstellt.
:point_right: Ein Java-Aktien-Crawler basierend auf Spring Boot (nur A-Aktien unterstützt), wenn du :heart: , bitte :star: . V2-Upgrade-Version wird entwickelt!
Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Site, mehrere Domains, bestimmte Links oder unendlich spidern kann. Spidr ist für Schnelligkeit und Benutzerfreundlichkeit konzipiert.
Ein calibre Quell-/Metadaten-Plugin, das auf der ISBN-Suche der Nationalbibliothek von China basiert. https://doiiars.com/article/NLCISBNPlugin
Ein Penetration-Testing-Framework, Informationssammlungstool & Website-Schwachstellenscanner
Light Novel Packer (Leichtroman-Packer), der Inhalte von den Bili Light Novel Websites (bilinovel.com linovelib.com) sammelt und sie im EPUB-Format verpackt. Er unterstützt Cover, Illustrationen, Inhaltsverzeichnisse und das Zusammenführen separater Bände.
Signal 18 repman - Replikations-Manager für MySQL / MariaDB / Percona Server
🕵️♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten im JSON-Format zurückgibt.
Python-Short-Video-Watermark-Entfernungsscraper: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Nationales Kurzvideo, Pipi Lustig, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Taobao-Crawler-SDK, verwendet für die Taobao Open Platform oder das Einloggen und Crawlen von Taobao, Tmall, Alibaba
Open-Source-Unternehmensprojekt für Meinungsnachrichten-Crawler: unterstützt den Ein-Klick-Betrieb einer beliebigen Anzahl von Crawlern, geplante Crawler-Aufgaben, Batch-Löschung von Crawlern; Ein-Klick-Bereitstellung von Crawlern; Crawler-Überwachungsvisualisierung; Konfiguration der Cluster-Crawler-Zuteilungsstrategie; 👉 Die fertige Docker-Ein-Klick-Bereitstellungsdokumentation hat die Fallstricke bereits für Sie beseitigt.
Ansätze und Erfahrungen bei der Rückentwicklung von App-Parametern, Android-Reverse-Engineering
Umfrageprojekt, Empfehlung von Cloud-Servern, Hängeprojekt, kostenlose Proxys, Sammlung verschiedener Skripte. Willkommen oben rechts auf die Glocke klicken, um rechtzeitig Update-Informationen zu erhalten. (Nicht forken, diskret sein)
NetDiscovery ist ein universelles Crawler-Framework bzw. Middleware, das auf Frameworks wie Vert.x und RxJava 2 basiert.
Ein einziger Befehl zur Nutzung von Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com und X: einheitliche Befehle und JSON-Ausgabe für Menschen und KI-Agenten
Echtzeiterkennung von Anti-Bot-Systemen, Captchas und Fingerprinting-Techniken. Erkennt Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security und mehr – mit Vertrauenswerten und erweiterten Erfassungstools.
Python 3-Skript zum Auslesen/Scrapen/Extrahieren von Firmendaten von Mitarbeitern aus der LinkedIn-API
spider-admin-pro Ein visuelles Verwaltungstool für das Anzeigen von Scrapy- und Scrapyd-Crawler-Projekten sowie für die zeitgesteuerte Planung von Crawler-Aufgaben, die aufgerüstete Version von SpiderAdmin
FreeProxy: Sammeln kostenloser Proxys aus dem Internet. (Massenhaft hochwertige kostenlose Proxys weltweit, unterstützt das Crawlen von Dutzenden kostenloser Proxy-Sharing-Quellen, benutzerdefinierte Proxy-Filterregeln, unverzichtbar für Web-Scraping und Datenanalyse, täglich aktualisiert mit einer großen Anzahl kostenloser Proxys.)
Fresh Onions ist ein quelloffener TOR-Spider / Crawler für Onion-Dienste, gehostet unter zlal32teyptf4tvi.onion
🎯 Bilibili-Kommentardaten-Visualisierungsanalyse-Software – Ersteller können sie nutzen, um ihre Themenauswahl zu leiten und ihre Fangemeinde zu verstehen.