#scraper Repositórios
Descubra 128 repositórios ativos de código aberto no GitHub marcados com #scraper, acumulando um total de 792,441 estrelas (uma média de 6,190 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.
128 repositórios no total
Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.
Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.
👾 Biblioteca e ferramenta CLI rápida e simples para download de vídeos, escrita em Go
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.
🚀 API auto-hospedada para coletar dados do Douyin, TikTok e Bilibili e baixar vídeos sem marca-d'água. Compatível com chamadas de agentes de IA via MCP e transcrição de fala offline. Implantação Docker com um clique. | Extrator auto-hospedado para TikTok, Douyin e Bilibili e baixador de vídeos sem marca-d'água — API REST assíncrona, servidor MCP para agentes de IA, CLI e console web, além de transcrição de fala offline para os vídeos baixados. Pool de identidades autorreparável, arquivo PostgreSQL e inicialização com um único `docker compose up`.
Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.
newspaper3k é uma ferramenta de extração de notícias, texto completo e metadados de artigos em Python 3. Docs avançados:
Solucionador de CAPTCHA automatizado para o seu navegador. Funciona com Selenium, Puppeteer, Playwright e mais.
Sistema de Gerenciamento de Filmes AV, crawlers para avmoo, javbus, javlibrary, biblioteca online de vídeos AV, banco de dados de links magnéticos AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.
Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python
💡 Baixe o código-fonte completo de qualquer site (incluindo todos os ativos). [ Javascripts, Stylesheets, Imagens ] usando Node.js
Análise dos sistemas de Proteção de Bots com contramedidas disponíveis 🚿. Como derrotar o sistema anti-bot 👻 e contornar scripts de impressão digital de navegador 🕵️♂️ ao fazer web scraping?
Raspador da API do Twitter | Sem uma chave de API | API Interna do Twitter | Gratuito | Raspador do Twitter | Bot do Twitter
Ferramenta multifuncional para raspar e extrair dados de ativos online, feita para hackers
Uma maneira impulsionada pela comunidade de ler e conversar com bots de IA - com tecnologia chatGPT.
Ferramenta de extração de dados atualmente focada em conteúdo adulto (OnlyFans etc.) — atualizada regularmente
Obtenha uma lista de domínios, rastreie URLs e escaneie em busca de endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais
API de web scraping de código aberto. Transforme qualquer site em Markdown limpo ou JSON estruturado. Navegador anti-detecção, seleção automática de proxy, auto-hospedado. Um comando: make up
Um plugin raspador de metadados de filmes japoneses para Emby/Jellyfin que extrai informações de filmes de determinados sites.
Você quer APRENDER COISAS NOVAS de GRAÇA? Não se preocupe, com o poder de web-scraping e automação, este script encontrará os cupons Udemy necessários e inscreverá você em CURSOS PAGOS DA UDEMY, TOTALMENTE GRÁTIS!
Biblioteca Python e CLI para scraping de X/Twitter com rotação de múltiplas contas e tratamento integrado de limites de taxa.
Aprenda passo a passo como extrair dados do Google Trends e fazer uma comparação de resultados usando Python e a API SERP da Oxylabs. Extraia palavras-chave, sua popularidade, detalhamento por região, consultas relacionadas e muito mais.
Geziyor, framework de rastreamento e raspagem web ultrarrápido para Go. Suporta renderização JS.
Extraia metadados de qualquer URL usando Open Graph, JSON-LD, meta tags HTML e mecanismos de fallback inteligentes.
:spider: O framework progressivo de rastreamento PHP! Um elegante framework progressivo de coleta PHP.
API do TikTok LIVE para Node.js: uma biblioteca não oficial para receber eventos de transmissões ao vivo (comentários, presentes etc.) em tempo real do TikTok LIVE.
Servidor MCP de documentação de tecnologia baseado em UI, totalmente gratuito e privado. Projetado com codificadores e desenvolvedores de software em mente. Integre facilmente ao Cursor, Windsurf, Cline, Roo Code, Claude Desktop App
A biblioteca principal do NewPipe para extrair dados de sites de streaming
Ferramenta OSINT gratuita para e-mails, com mais de 5.000 plataformas, agrupamento de identidades e detecção de vazamentos. Não são necessárias chaves de API. pip install mailaccess
Scraper do BOSS Zhipin / Ferramenta de extração de dados de vagas do BOSS Zhipin, baseada no protocolo Chrome CDP para reutilizar sessões de login reais, contornar o anti-scraping de fontes e gerar JSON/CSV de salários em texto simples + análise de habilidades salariais.
Baixar site para o diretório local (incluindo todo o css, imagens, js, etc.)
Aprenda a criar seu próprio scraper do Google Jobs que raspa simultaneamente o Google Jobs para várias consultas de pesquisa e localizações geográficas com Python e a API Google Jobs Scraper da Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs
Coletor do Google Play para reunir detalhes públicos sobre aplicativos, jogos, filmes e programas de TV, livros e muito mais.
Perguntas Frequentes
Qual é o repositório de #scraper mais popular no GitHub?
O projeto de código aberto de #scraper mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Quais linguagens de programação são mais usadas nos repositórios de #scraper?
Entre os projetos de #scraper mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Go, JavaScript.
Como é calculada a classificação dos repositórios de #scraper?
Acompanhamos 128 repositórios ativos de código aberto marcados com #scraper (com mais de 500 estrelas), totalizando 792,441 estrelas e uma média de 6,190 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.