#scraping Repositorios
109 repositorios en total
AgentQL es un conjunto de herramientas para conectar tu IA a la web. Con un lenguaje de consulta e integraciones de Playwright para interactuar con elementos y extraer datos de forma rápida, precisa y a escala. Incluye API REST, SDK de Python y JavaScript, depurador de navegador.
Colección de parches para puppeteer y playwright para evitar la detección de automatización y fugas. Ayuda a evitar las páginas CAPTCHA de Cloudflare y DataDome. Fácil de parchear/desparchear, se puede habilitar/deshabilitar bajo demanda.
Recopile respuestas estructuradas de un raspador de ChatGPT enviando un mensaje con credenciales válidas de la API de raspado de ChatGPT. Habilite la búsqueda en vivo, inyecte contexto HTML y automatice flujos de trabajo inteligentes de raspador de ChatGPT con solo unos pocos parámetros.
📰 Diarios oficiales brasileños accesibles para todos | 📰 Gacetas gubernamentales brasileñas, accesibles para todos.
Puppeteer para Python que los sistemas antibots no pueden detectar, así que no hay captchas: la misma API, Firefox headless sigiloso y anti-detección, una huella digital indetectable, evasión de la detección de bots, scraping web y automatización del navegador.
Parsel te permite extraer datos de documentos XML/HTML usando selectores XPath o CSS
Proxies residenciales rotativos HTTP(S)/SOCKS5 - ejemplos de código e información general.
:rocket: Una alternativa de código abierto a searx que proporciona un motor de meta-búsqueda con un aspecto moderno :sparkles:, ultrarrápido :zap:, respetuoso con la privacidad :disguised_face:, seguro :lock:
Una bifurcación completamente renovada y rediseñada, con compatibilidad con OnlyFans y Fansly, reimaginada desde cero a partir del onlyfans-scraper original.
Motor de scraping autoalojado: evita cualquier desafío JS y captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa a FlareSolverr y Byparr, y reemplazo directo para su stack *arr.
📰 Newspaper4k, un fork del querido Newspaper3k. Extracción de artículos, títulos y metadatos de sitios de noticias.
Archive automáticamente enlaces a videos, imágenes y contenido de redes sociales desde Google Sheets (y más).
⛏️ El motor de extracción detrás de Maigret: convierte cualquier URL de perfil en un registro OSINT estructurado en más de 150 sitios
Bot Creador Automático de Gmail en Masa de Código Abierto con Selenium y Seleniumwire (Python). No dude en contactarme con Django/Flask, ML, IA, GPT, Automatización, Scraping.
Scripts escalables de scraping web en Python para más de 80 dominios populares
Crawly, un framework de alto nivel para web crawling y scraping para Elixir.
Herramientas para varios jueces en línea. Descarga de casos de muestra, generación de casos de prueba adicionales, prueba de tu código y envío.
Un conjunto de herramientas CLI para generar automáticamente tablas de contenido para archivos PDF.
📄 Herramienta de Python para convertir páginas de Notion.so en sitios web estáticos ligeros y personalizables
Motor Chromium sigiloso que evita que los scrapers y los agentes de navegador sean bloqueados con un solo cambio de línea de código.
Código de tutorial simple pero útil para web scraping en Python.
Lookyloo es una interfaz web que permite a los usuarios capturar una página de sitio web y luego mostrar un árbol de dominios que se llaman entre sí.
Un motor de rotación de proxy de alto rendimiento con gestión automatizada de IP y monitoreo de salud en tiempo real
Resultados de búsqueda de Google a través de SERP API pip Python Package
CLI rápido y sin estado para buscar y extraer contenido de la web. Diseñado para agentes de IA.
🕵️♂️ Scraper de perfiles de LinkedIn que devuelve datos de perfil estructurados en JSON.
😈📚 Una biblioteca curada de artículos de investigación y presentaciones para entusiastas de la contra-detección y la privacidad en la web.
Kemono pawchive Downloader es una aplicación rápida basada en PyQt5 para archivar contenido de una amplia gama de sitios, incluidos Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai y Discord. Cuenta con un navegador de creadores, un verificador de actualizaciones y admite descargas multiparte y multiproceso. Las sesiones pueden pausarse, reanudarse o recuperar filtros.
Biblioteca de scraping/recopilación de datos de redes sociales para las API de Facebook, Twitter, Reddit, YouTube, Pinterest y Tumblr
Comic-dl es una herramienta de línea de comandos para descargar manga y cómics de varios sitios de cómics y manga. Sitios compatibles: readcomiconline.to, mangafox.me, comic naver y muchos más.
Una API para raspar metadatos de sitios web de tribunales estadounidenses.
Esta aplicación Python es una herramienta de OSINT (Inteligencia de Fuentes Abiertas) llamada "Ominis OSINT - Web Hunter". Realiza la recopilación de información en línea consultando a Google para obtener resultados de búsqueda relacionados con una consulta introducida por el usuario. La herramienta extrae información relevante como títulos, URL y posibles menciones de la consulta en los resultados.
Cliente asíncrono de Python para recopilar datos públicos de X (Twitter): búsquedas, perfiles, hilos, respuestas y contenido multimedia. Incluye rotación de cuentas, limitación adaptativa de solicitudes y exportación a JSON/CSV/SQLite.
:card_index: Extrae perfiles de redes sociales y más con expresiones regulares
Detección en tiempo real de sistemas antibots, captchas y técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security y más, con puntuación de confianza y herramientas avanzadas de captura.
Script de Python 3 para volcar/extraer/extraer empleados de empresas de la API de LinkedIn
Universal Reddit Scraper - Funciona en cualquier Subreddit o Usuario
La demostración más simple de automatización de Chrome con Python y Selenium en AWS Lambda
Una herramienta que te permite extraer contenido multimedia de cualquier cuenta de Onlyfans y más