#crawler Repositorios
162 repositorios en total
NetDiscovery es un framework/middleware de rastreo de propósito general implementado basado en frameworks como Vert.x y RxJava 2.
Un solo comando para usar Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com y X: comandos unificados y salida JSON para personas y agentes de IA
Guarda páginas web localmente en tu disco duro con imágenes, CSS, JS y enlaces tal como están.
Detección en tiempo real de sistemas antibots, captchas y técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security y más, con puntuación de confianza y herramientas avanzadas de captura.
Jie se destaca como una herramienta integral de evaluación de seguridad y explotación meticulosamente diseñada para aplicaciones web. Su robusto conjunto de funciones abarca escaneo de vulnerabilidades, recopilación de información y explotación, lo que la convierte en un kit de herramientas indispensable tanto para profesionales de la seguridad como para pentesters. 挖洞辅助工具(漏洞扫描、信息收集)
FreeProxy: Recopilando proxies gratuitos de internet. (Gran cantidad de proxies gratuitos de alta calidad en todo el mundo, compatible con el rastreo de docenas de fuentes de intercambio de proxies gratuitos, filtrado de proxies con reglas personalizadas, esencial para el web scraping y el análisis de datos, actualizado diariamente con una gran cantidad de proxies gratuitos.)
Infraestructura web de código abierto para IA. Raspado, rastreo y automatización de la web, limpieza de markdown, sesiones de navegador, listo para tus agentes.
Un framework confiable de alto nivel para web crawling y scraping para Node.js.
Fresh Onions es un rastreador web de TOR de código abierto / rastreador de servicios ocultos onion, alojado en zlal32teyptf4tvi.onion
✈️ Monitorización de tarifas aéreas autohospedada y multicanal: recopilación de detalles de vuelos → avisos con texto e imágenes por DingTalk → alertas intensivas en cuatro niveles cuando se cumplen los objetivos. Las rutas nacionales e internacionales (con destinos en los cinco continentes) comparten el mismo flujo de recopilación, evaluación y notificación. Los datos permanecen en tu equipo, toda la configuración se gestiona desde la web y es de código abierto y gratuita.