#scraping Repositórios
109 repositórios no total
AgentQL é um conjunto de ferramentas para conectar sua IA à web. Apresentando uma linguagem de consulta e integrações Playwright para interagir com elementos e extrair dados de forma rápida, precisa e em escala. Inclui API REST, SDKs Python e JavaScript, depurador de navegador.
Coleção de patches para puppeteer e playwright para evitar a detecção de automação e vazamentos. Ajuda a evitar páginas CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover patches, pode ser ativado/desativado sob demanda.
Colete respostas estruturadas de um scraper ChatGPT enviando um prompt com credenciais válidas da API de scraping ChatGPT. Ative a pesquisa ao vivo, injete contexto HTML e automatize fluxos de trabalho inteligentes de scraper ChatGPT com apenas alguns parâmetros.
📰 Diários oficiais brasileiros acessíveis a todos | 📰 Brazilian government gazettes, accessible to everyone.
Puppeteer para Python que os sistemas antibots não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, uma impressão digital indetectável, evasão da detecção de bots, scraping da web e automação do navegador.
Proxies residenciais rotativos HTTP(S)/SOCKS5 - exemplos de código e informações gerais.
:rocket: Uma alternativa de código aberto ao searx que fornece um motor de metapesquisa com aparência moderna :sparkles:, ultrarrápido :zap:, que respeita a privacidade :disguised_face: e seguro :lock:
Um fork completamente renovado e redesenhado, com suporte para OnlyFans e Fansly, repensado do zero com base no onlyfans-scraper original.
Mecanismo de scraping auto-hospedado — ignora qualquer desafio JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa ao FlareSolverr e Byparr e substituição direta para sua pilha *arr.
📰 Newspaper4k um fork do amado Newspaper3k. Extração de artigos, títulos e metadados de sites de notícias.
Arquive automaticamente links para vídeos, imagens e conteúdo de mídia social do Planilhas Google (e mais).
⛏️ O mecanismo de extração por trás do Maigret: transforme qualquer URL de perfil em um registro OSINT estruturado em mais de 150 sites
Robô Criador Automático e em Massa de Contas Gmail de Código Aberto, utilizando Selenium & Seleniumwire (Python). Sinta-se à vontade para entrar em contato comigo para projetos envolvendo Django/Flask, ML, AI, GPT, Automação e Scraping.
Scripts escaláveis de web scraping em Python para mais de 80 domínios populares
Crawly, um framework de rastreamento e raspagem web de alto nível para Elixir.
Ferramentas para vários juízes online. Baixando casos de exemplo, gerando casos de teste adicionais, testando seu código e enviando-o.
Um conjunto de ferramentas CLI para gerar automaticamente tabelas de conteúdo para arquivos PDF.
📄 Ferramenta Python para transformar páginas do Notion.so em websites estáticos, leves e personalizáveis
Motor Chromium furtivo que impede que scrapers e agentes de navegador sejam bloqueados com uma única alteração em uma linha de código.
Código de tutorial de web scraping em Python simples, mas útil.
Lookyloo é uma interface web que permite aos usuários capturar uma página de um site e, em seguida, exibir uma árvore de domínios que se chamam uns aos outros.
Um mecanismo de rotação de proxy de alto desempenho com gerenciamento automatizado de IP e monitoramento de saúde em tempo real
CLI rápida e sem estado para pesquisa e extração de conteúdo da web. Desenvolvida para agentes de IA.
Raspador de perfil do LinkedIn retornando dados de perfil estruturados em JSON.
😈📚 Uma biblioteca selecionada de artigos de pesquisa e apresentações para entusiastas de contra-detecção e privacidade na web.
Kemono pawchive Downloader é um aplicativo rápido baseado em PyQt5 para arquivar conteúdo de uma ampla gama de sites, incluindo Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai e Discord. Ele possui um navegador de criadores, verificador de atualizações e suporta downloads multi-thread e multi-partes. As sessões podem ser pausadas, retomadas ou recuperar filtros.
Biblioteca de scraping/coleta de dados de redes sociais para as APIs do Facebook, Twitter, Reddit, YouTube, Pinterest e Tumblr
Comic-dl é uma ferramenta de linha de comando para baixar mangás e quadrinhos de vários sites de quadrinhos e mangás. Sites suportados: readcomiconline.to, mangafox.me, comic naver e muitos outros.
Esta aplicação Python é uma ferramenta de OSINT (Inteligência de Código Aberto) chamada "Ominis OSINT - Web Hunter". Ela realiza a coleta de informações online consultando o Google em busca de resultados de pesquisa relacionados a uma consulta inserida pelo usuário. A ferramenta extrai informações relevantes, como títulos, URLs e possíveis menções da consulta nos resultados.
Cliente assíncrono em Python para coletar dados públicos do X (Twitter): pesquisas, perfis, threads, respostas e conteúdo multimídia. Inclui rotação de contas, limitação adaptativa de solicitações e exportação para JSON/CSV/SQLite.
:card_index: Extraia perfis de redes sociais e mais com expressões regulares
Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.
Script Python 3 para despejar/raspar/extrair funcionários da empresa da API do LinkedIn
Universal Reddit Scraper - Funciona em qualquer Subreddit ou Usuário
A demonstração mais simples de automação do Chrome com Python e Selenium no AWS Lambda
Uma ferramenta que permite extrair mídia de qualquer conta Onlyfans e mais