#web-scraping Repositorios
382 repositorios en total
Uscrapper Vanta: Sumérgete más profundamente en la web con esta potente herramienta de código abierto. Extrae información valiosa con facilidad y eficiencia, tanto de fuentes de la web de superficie como de la web profunda. Potencia tu minería y análisis de datos con las capacidades avanzadas de Vanta. Rápida, confiable y fácil de usar, Uscrapper Vanta es la opción definitiva para investigadores y analistas.
Amazon Scraper. Extrae productos de los resultados de búsqueda de Amazon o reseñas de un producto específico
Editor de web scraping impulsado por IA con constructor de flujo de trabajo visual. Cree, pruebe e implemente web scrapers usando lenguaje natural. Impulsado por ScrapeGraphAI y LangGraph.
Moyu Island 🎣 Backend Basado en Web Scraping ➕ Netty ➕ SpringBoot ➕Redis➕ MySQL Código Abierto 🌟 Sitio Web Moyu Todo en Uno
100% gratuito y alternativa open-source completa a Firecrawl edge con mejor extracción de enlaces para agentes - que puedes desplegar tú mismo en Cloudflare o Vercel.
Convierte cualquier sitio web en una CLI compacta adaptada a agentes de IA. Explora la web con cientos de tokens, no con decenas de miles.
CLI y habilidades de agentes de Firecrawl: busca, extrae contenido e interactúa con la web desde tu terminal o cualquier agente de programación; además, analiza, rastrea y mapea sitios, y utiliza Agent y Monitor. Firecrawl es la API de contexto para agentes de IA.
Análisis retrospectivo de discusiones de Hacker News de hace una década utilizando LLMs
Este programa utiliza el Protocolo Chrome DevTools para controlar una sesión de Chrome que descarga tus fotos almacenadas en Google Photos.
Servidor MCP y complemento para agentes de EveryInfra: API de scraping para TikTok, Instagram, Amazon, YouTube, Xiaohongshu y Douyin. 612 API de datos en 106 plataformas, desde 0,56 $ por cada 1.000 llamadas. Para Claude Code, Cursor y Codex.
🔥 Asistente de investigación visual con IA que muestra pensamiento en tiempo real, proporciona análisis de vista dividida y citas automáticas usando Claude y Firecrawl
Obtén tus datos de Advent of Code con una sola declaración de importación
Ejecute scripts de automatización complejos a través de sesiones en la nube remotas, con proxies residenciales integrados, resolución automática de CAPTCHA y renderizado nativo de JavaScript para los sitios web dinámicos más difíciles.
KNKPAnime: Un software para ver anime que soporta múltiples fuentes de episodios y comentarios.
sitecopy es una herramienta que facilita la copia de seguridad de sitios web personales y la recopilación de datos de red
Automatiza el scraping de datos de hoteles, incluidos precios, disponibilidad, calificaciones y proveedores de reservas, con una integración de la API de Google Hotels.
Descubre cuáles de tus contactos de LinkedIn aparecen en los archivos de Epstein.
Extraer noticias de Toutiao, NetEase, Tencent, etc., y construir un motor de búsqueda simple
Detección en tiempo real de sistemas antibots, captchas y técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security y más, con puntuación de confianza y herramientas avanzadas de captura.
Ciclo de vida completo de un proyecto de ciencia de datos
Un programa que recopila contenido de URLs en los resultados de búsqueda de motores de búsqueda basado en palabras clave. Puede recopilar automáticamente direcciones reales y títulos de sitios web relacionados de múltiples motores de búsqueda, guardarlos en archivos y eliminar automáticamente URLs duplicadas. Además, permite ignorar de forma personalizada múltiples dominios.
Convertir artículos de la columna de Zhihu a archivos Markdown y guardarlos localmente
Guía de ventajas para programar con IA: un directorio de servicios intermediarios y sitios comunitarios para Claude Code, Codex y Cursor. Reúne cuotas gratuitas, bonificaciones de registro, actividades de inicio de sesión diario y reseñas, e incluye un panel visual y herramientas de recopilación de datos en Python.
Permite que cualquier agente de IA controle tu propio Chrome, con todas tus sesiones iniciadas. MCP + extensión de Chrome, compatible con Claude Code / Codex / Cursor / Gemini CLI.
Máquina de cápsulas de bolsa de la suerte de Douyin, herramienta para agarrar bolsas de la suerte de Douyin, escrita por mí mismo en VC++ en mi tiempo libre, con algunas otras funciones pequeñas, descargador de videos de Douyin sin marca de agua, descargador de grabaciones de transmisiones en vivo de Douyin, herramienta para dejar de seguir masivamente a usuarios de Douyin
Cebada, Ojo de Gato, Isla Fenwan, Ticket Planet, Monitoreo de entradas de conciertos de regreso
Hacking de Facebook con Termux. Esta herramienta está codificada por TecnicalDipesh. Puedes volcar cualquier ID y contraseña de Facebook.
Una herramienta Node.js basada en Playwright que elude los mecanismos antiscraping de los motores de búsqueda para ejecutar búsquedas en Google. Alternativa local a las API de SERP con integración de servidor MCP.
Recuperar los datos del usuario a través de las redes sociales