#web-scraping Repositórios
382 repositórios no total
O AI Map é uma ferramenta de mapeamento de websites alimentada por IA, da Oxylabs AI Studio, que utiliza comandos de linguagem natural para descobrir e extrair URLs relevantes de qualquer website de forma inteligente.
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (encontre imóveis de verdade com toda a facilidade) - O Fredy continua a procurar novos apartamentos, casas e imóveis na Europa em plataformas como ImmoScout24, Immowelt e eBay Kleinanzeigen e envia-lhe instantaneamente os resultados através do Slack, Telegram, e-mail, Discord ou ntfy, para que possa concentrar-se nas coisas mais importantes da vida ;)
🖱️ Gerar movimentos de mouse semelhantes aos humanos com o Puppeteer ou em qualquer plano 2D
Pesquisa na web auto-hospedada para agentes de IA e SEO. Google, Bing, Yandex, Baidu, DuckDuckGo e Ecosia, renderizados em um navegador real: resultados classificados e Markdown limpo das páginas. API, CLI, MCP 🎉
Versão Python não detectada da biblioteca Playwright de testes e automação.
Uma extensão simples do Chrome (e Firefox) que converte Web Novels (e outras páginas da web) em um EPUB.
AgentQL é um conjunto de ferramentas para conectar sua IA à web. Apresentando uma linguagem de consulta e integrações Playwright para interagir com elementos e extrair dados de forma rápida, precisa e em escala. Inclui API REST, SDKs Python e JavaScript, depurador de navegador.
Procure imóveis para alugar no mapa: cansado de percorrer a cidade inteira em busca de um lugar para alugar? Experimente uma maneira diferente e procure imóveis diretamente no mapa! [Conta oficial e miniprograma do WeChat: 人生删除指南]
Coleção de patches para puppeteer e playwright para evitar a detecção de automação e vazamentos. Ajuda a evitar páginas CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover patches, pode ser ativado/desativado sob demanda.
Colete respostas estruturadas de um scraper ChatGPT enviando um prompt com credenciais válidas da API de scraping ChatGPT. Ative a pesquisa ao vivo, injete contexto HTML e automatize fluxos de trabalho inteligentes de scraper ChatGPT com apenas alguns parâmetros.
WebAI2API: Ferramenta de conversão de IA web para API baseada em Camoufox, suporta LMArena/Gemini e mais, concorrência multi-janela e isolamento de contas. | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.
Use a API Web Scraper para extrair dados do Google Finance, incluindo nomes de ações, preços e variações de preços em percentagem.
Puppeteer para Python que os sistemas antibots não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, uma impressão digital indetectável, evasão da detecção de bots, scraping da web e automação do navegador.
📖 Servidor MCP para buscar deepwiki.com e obter o conhecimento mais recente no Cursor e em outros Editores de Código
Cliente HTTP Go com fingerprinting TLS/HTTP2 idêntico ao navegador. Contornar detecção de bots imitando perfeitamente Chrome, Firefox e Safari ao nível criptográfico (JA3/JA4, impressão Akamai, ordem de cabeçalhos). Suporta HTTP/1.1, HTTP/2, HTTP/3, sessões, cookies e proxies.
Script Python3 para baixar livros do archive.org em formato PDF
Novo plugin de origem de metadados do Douban para o Calibre. O Douban não fornece mais APIs de livros ao público, portanto, só pode usar rastreamento na web para obter dados. Este é um plugin do Calibre para Douban baseado em rastreamento na web.
🔥 Plataforma de monitoramento web impulsionada por IA. Crie exploradores automatizados que buscam na web e enviam alertas por e‑mail quando encontram o que você procura.
WebLoop: WebKit programável e sem interface gráfica, com uma API em Go. Como o PhantomJS, mas para Go.
Flyscrape é uma ferramenta de web scraping de linha de comando projetada para aqueles sem habilidades avançadas de programação.
Web Crawler (Rastreador) do Dianping (todo o site é rastreável, resolve a criptografia de fonte dinâmica, não é OCR). Atualização contínua
🔥 Ferramenta de enriquecimento de dados com inteligência artificial que transforma e-mails em conjuntos de dados ricos com perfis de empresas, dados de financiamento, tecnologias utilizadas e muito mais, utilizando Firecrawl e IA multi-agente
Kspider é uma plataforma de crawling que permite definir fluxos de trabalho de rastreamento de forma gráfica, possibilitando a implementação de um processo de rastreamento sem a necessidade de código. O Kspider não se limita apenas a crawling, podendo também ser utilizado para testes de automação WEB, e há muitas outras funcionalidades esperando por você para explorar.
Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.
Um rastreador de preços automatizado que usa bright data, playwright, react e flask.
Mecanismo de impressão digital do Chromium em nível de código-fonte, classificado pelos sites de detecção como um Chrome comum. Mecanismo de impressão digital do Chromium em nível de código-fonte que passa nos testes de detecção de bots. Não é injeção de JS — são patches de C++ compilados no binário.
Proxies residenciais rotativos HTTP(S)/SOCKS5 - exemplos de código e informações gerais.
Uma extensão da web para recortar informações de uma página da web. Salve-as em sua máquina local para evitar a invalidação da informação. Sem registro chato, sem cobrança.