#web-scraping Repositorios
382 repositorios en total
Motor de scraping autoalojado: evita cualquier desafío JS y captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa a FlareSolverr y Byparr, y reemplazo directo para su stack *arr.
Una biblioteca de JavaScript para generar agentes de usuario aleatorios con datos que se actualizan diariamente.
Una API autoalojada que toma una URL y devuelve un archivo con capturas de pantalla del navegador.
Proporcione scrapers para todos los principales bancos israelíes y compañías de tarjetas de crédito
Una herramienta para hacer scraping de LinkedIn sin restricciones de API para la reconnaissance de datos
Scripts escalables de scraping web en Python para más de 80 dominios populares
En este repositorio encontrarás archivos de código de ejemplo para cada día del curso "Python para OSINT. Un curso de 21 días para principiantes".
Cálculo puro Xiaohongshu xs, ingeniería inversa de cálculo puro para campos como Xiaohongshu x-s, x-s-common, xsc, etc.
Escribe web scrapers en Ruby usando un DSL limpio y asistido por IA. Kimurai emplea IA para determinar dónde se encuentran los datos, luego almacena en caché los selectores y realiza scraping con Ruby puro. Obtén la inteligencia de un LLM sin la latencia por solicitud ni los costos de tokens.
Tribu Estable. Respaldo y exportación profesional de registros de Weibo, ¡estable!
Más de 660 modelos de medios generativos alojados en muapi, además de herramientas de API de terceros enviadas por la comunidad (SEO, enriquecimiento, redes sociales, scraping): un archivo YAML por entrada, con navegación por capacidades.
Navegador antidetección a nivel de kernel con la API de Playwright que ya utiliza. SDK para Python y Node, compatible con MCP y perfiles locales ilimitados. Linux x64 + arm64, macOS Intel + Apple Silicon y Windows x64.
La hora de la última modificación de este puesto se puede ver de un vistazo: el verde indica dentro de 2 semanas, el naranja oscuro dentro de 1,5 meses y el rojo más de 1,5 meses
Un proyecto de análisis de sentimiento basado en datos de Weibo, que incluye un rastreador de Weibo, análisis temático LDA y análisis de sentimiento.
Un proxy sigiloso HTTP de próxima generación que disfraza perfectamente las solicitudes como el navegador Chrome en todas las capas de la pila.
SiteOne Crawler es un rastreador y analizador de sitios web multiplataforma para la optimización de SEO, seguridad, accesibilidad y rendimiento, ideal para desarrolladores, DevOps, ingenieros de control de calidad y consultores. Soporta Windows, macOS y Linux (x64 y arm64).
Una biblioteca de Rust para extraer datos útiles de documentos HTML, adecuada para web scraping.
Clasificación de resultados de búsqueda de Google Scholar basada en el número de citas
Código para "WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models"
Descargador de cursos de Geektime, compatible con la descarga de columnas de Geektime/cursos en video/lecciones diarias/prácticas de grandes empresas/videos de bootcamps
Este es un navegador sin interfaz, ligero y diseñado específicamente para que agentes de IA (como Codex o Claude Code) realicen tareas de automatización del navegador. Está pensado para sortear diversos sistemas de protección web, procesos de inicio de sesión y situaciones de ingeniería inversa.
Le permite descargar en masa todos sus libros electrónicos de Kindle de una manera más automatizada. Esta herramienta le permite crear copias de seguridad de los libros que ya ha comprado.
Herramienta de escaneo automático de códigos promocionales para ChatGPT Team (Business) — descubrimiento por lotes/validación/recopilación de precios, admite 34 códigos en 17 países, hasta un 71% de descuento | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Una extensión de Chrome para la detección de información sensible en la web y el reconocimiento de huellas digitales.
Dorks Eye Google Hacking Dork Scraping and Searching Script. Dorks Eye es un script que hice en python 3. Con esta herramienta, puedes encontrar fácilmente Google Dorks. Dork Eye recopila páginas web y aplicaciones potencialmente vulnerables en Internet u otra información útil que es captada por los bots de búsqueda de Google. Autor: Jolanda de Koff
Un script de Python que exporta todas tus listas de reproducción de Spotify.