#spider Repositorios
92 repositorios en total
Beanbun es un framework de rastreo web multiproceso escrito en PHP, con buena apertura y alta escalabilidad, basado en Workerman.
Scripts escalables de scraping web en Python para más de 80 dominios populares
BaiduSpider, un rastreador que extrae resultados de búsqueda de Baidu, actualmente admite la búsqueda web de Baidu, la búsqueda de imágenes de Baidu, la búsqueda de Baidu Knows, la búsqueda de videos de Baidu, la búsqueda de noticias de Baidu, la búsqueda de Baidu Wenku, la búsqueda de experiencias de Baidu y la búsqueda de Baidu Baike.
Crawly, un framework de alto nivel para web crawling y scraping para Elixir.
LLM Modelos Grandes Notas 50 Artículos Este repositorio contiene proyectos prácticos en campos como aprendizaje automático, aprendizaje profundo, visión por computadora, procesamiento del lenguaje natural, modelos grandes, web scraping, etc.
Golang Eliminación de marca de agua para videos cortos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Lanzamientos, wiki y hoja de ruta de SpiderSuite (rastreador de seguridad web)
Ingeniería inversa de JS, descifrado de parámetros de cifrado anti-scraping de JS, ya descifrado el control deslizante Geetest W (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (actualizado el 2020-06-30), contraseña de Taobao, inicio de sesión de Tianan Insurance, inicio de sesión de Bilibili, inicio de sesión de Fang.com, inicio de sesión de WPS, inicio de sesión de Weibo, Youdao Translate, inicio de sesión de Netease, inicio de sesión de WeChat Official Account, inicio de sesión de Air China Network, inicio de sesión de Jmubiao, inicio de sesión de Student Information Management System, inicio de sesión de Gengying Finance, inicio de sesión de Chongqing Science and Technology Resource Sharing Platform, descarga de Netease Cloud Music, análisis de enlace de video con un clic, inicio de sesión de Cailianshe.
Descarga de novelas|Extracción de novelas|起点|笔趣阁|Exportar Markdown|Exportar txt|Convertir epub|Filtrado de anuncios|Corrección automática
Casos de ingeniería inversa de rastreadores, completados: Huella digital TLS | Ruishu | Zhenkunxing | NetEase Yudun | Ingeniería inversa/descompilación de miniprogramas de WeChat (Baida Xingxi) | Tonghuashun | Descifrado RPC | Jiasule | CAPTCHA deslizante de Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriales | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
Un framework de rastreador multi-hilo con muchos rastreadores de imágenes incorporados proporcionados.
Un conjunto de spiders y scrapers para extraer información de ubicación de lugares que publican su ubicación en internet.
Krawl es un servidor de engaño web personalizable, ligero y nativo de la nube, y un anti-rastreador que crea aplicaciones web falsas con vulnerabilidades de bajo colgante utilizando datos de señuelo realistas generados aleatoriamente y plantillas HTML generadas por IA.
:point_right: Un rastreador de acciones en Java basado en Spring Boot (solo soporta acciones A), si te gusta :heart: por favor :star: . ¡La versión de actualización V2 está en desarrollo!
Una biblioteca versátil de Ruby para rastreo web que puede rastrear un sitio, múltiples dominios, ciertos enlaces o infinitamente. Spidr está diseñado para ser rápido y fácil de usar.
Un plugin source/metadata de calibre basado en la búsqueda ISBN de la Biblioteca Nacional de China. https://doiiars.com/article/NLCISBNPlugin
Un Framework de Pruebas de Penetración, herramienta de recopilación de información y escáner de vulnerabilidades de sitios web
Empaquetador de Novelas Ligeras, que recopila contenido de los sitios web de Bili Light Novel (bilinovel.com linovelib.com) y lo empaqueta en formato EPUB, con soporte para portadas, ilustraciones, índice y la fusión de volúmenes separados.
Signal 18 repman - Gestor de Replicación para MySQL / MariaDB / Percona Server
🕵️♂️ Scraper de perfiles de LinkedIn que devuelve datos de perfil estructurados en JSON.
Rastreador de eliminación de marcas de agua para videos cortos en Python: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Video corto nacional, Pipi divertido, Xigua Video, Huya, Li Video, AcFun, Video Haokan...
SDK de rastreador de Taobao, utilizado para la plataforma abierta de Taobao o para el inicio de sesión y rastreo en Taobao, Tmall, Alibaba
Proyecto empresarial de código abierto de rastreo de noticias de opinión pública: admite la ejecución con un clic de cualquier número de rastreadores, tareas programadas de rastreadores, eliminación por lotes de rastreadores; implementación con un clic de rastreadores; visualización de monitoreo de rastreadores; configuración de estrategia de asignación de rastreadores en clúster; 👉 La documentación de implementación Docker lista ya ha resuelto los problemas por ti.
Enfoques y experiencia para la ingeniería inversa de parámetros de aplicaciones, ingeniería inversa de Android
Proyecto de encuesta, recomendación de servidor en la nube, proyecto de retención, proxy gratuito, colección de varios scripts. Bienvenido a la esquina superior derecha para hacer clic en la campana y recibir información actualizada a tiempo. (No bifurcar, perfil bajo)
NetDiscovery es un framework/middleware de rastreo de propósito general implementado basado en frameworks como Vert.x y RxJava 2.
Un solo comando para usar Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com y X: comandos unificados y salida JSON para personas y agentes de IA
Detección en tiempo real de sistemas antibots, captchas y técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security y más, con puntuación de confianza y herramientas avanzadas de captura.
Script de Python 3 para volcar/extraer/extraer empleados de empresas de la API de LinkedIn
spider-admin-pro Una herramienta de gestión visual para la visualización de proyectos de rastreadores Scrapy+Scrapyd y la programación temporizada de tareas de rastreadores, la versión mejorada de SpiderAdmin
FreeProxy: Recopilando proxies gratuitos de internet. (Gran cantidad de proxies gratuitos de alta calidad en todo el mundo, compatible con el rastreo de docenas de fuentes de intercambio de proxies gratuitos, filtrado de proxies con reglas personalizadas, esencial para el web scraping y el análisis de datos, actualizado diariamente con una gran cantidad de proxies gratuitos.)
Un framework confiable de alto nivel para web crawling y scraping para Node.js.
Fresh Onions es un rastreador web de TOR de código abierto / rastreador de servicios ocultos onion, alojado en zlal32teyptf4tvi.onion
🎯 Software de análisis de visualización de datos de comentarios de Bilibili: los creadores pueden usarlo para guiar su selección de temas y comprender a su base de seguidores.