#crawling Repositórios
Descubra 39 repositórios ativos de código aberto no GitHub marcados com #crawling, acumulando um total de 335,438 estrelas (uma média de 8,600 por projeto). O líder deste tópico é D4Vinci/Scrapling, com 104,760 estrelas.
39 repositórios no total
🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev
Scrapy, um framework Python rápido e de alto nível para rastreamento e raspagem web.
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.
Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.
newspaper3k é uma ferramenta de extração de notícias, texto completo e metadados de artigos em Python 3. Docs avançados:
Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.
Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.
Rastreador web simples e rápido, projetado para a descoberta fácil e rápida de endpoints e ativos dentro de uma aplicação web
Obtenha uma lista de domínios, rastreie URLs e escaneie em busca de endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais
📅🇨🇳Dados de feriados legais da China: Captura automática diária de anúncios do Conselho de Estado
O Blue Sky Collector é um sistema de rastreamento de código aberto e gratuito, que permite coletar dados com apenas cliques e edições de regras. Ele pode ser executado localmente, em hospedagem virtual ou em servidores em nuvem, sendo capaz de coletar quase todos os tipos de páginas da web. Ele se integra perfeitamente a vários programas de construção de sites CMS, publica dados em tempo real sem login, e é totalmente automático, sem intervenção humana! É um sistema de rastreamento em nuvem totalmente multiplataforma em softwares de coleta de dados da web em grande escala.
Coleção de patches para puppeteer e playwright para evitar a detecção de automação e vazamentos. Ajuda a evitar páginas CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover patches, pode ser ativado/desativado sob demanda.
Execute um rastreador de arquivamento web de alta fidelidade baseado em navegador em um único contêiner Docker
Este é um código de exemplo de <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Ele serve como exemplo para pessoas que nunca aprenderam Python e oferece exemplos em diversas áreas relacionadas à automação de tarefas, desde Excel até design, macros e crawling.
Obtenção, pesquisa e rastreamento web para agentes de IA. Desenvolvido do zero em Rust. Sem chaves, sem contas. AGPL v3.
Scripts escaláveis de web scraping em Python para mais de 80 domínios populares
Crawly, um framework de rastreamento e raspagem web de alto nível para Elixir.
SiteOne Crawler é um rastreador e analisador de websites multiplataforma para otimização de SEO, segurança, acessibilidade e desempenho — ideal para desenvolvedores, DevOps, engenheiros de QA e consultores. Suporta Windows, macOS e Linux (x64 e arm64).
Middleware Scrapy para lidar com páginas javascript usando selenium
Código de tutorial de web scraping em Python simples, mas útil.
Raspador de perfil do LinkedIn retornando dados de perfil estruturados em JSON.
100% grátis e alternativa open-source completa ao Firecrawl edge com extração de links melhor para agentes - que você pode implantar no Cloudflare ou Vercel por conta própria.
Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"
Script Python 3 para despejar/raspar/extrair funcionários da empresa da API do LinkedIn
Perguntas Frequentes
Qual é o repositório de #crawling mais popular no GitHub?
O projeto de código aberto de #crawling mais bem classificado no GitHub é D4Vinci/Scrapling, com 104,760 estrelas. 🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev
Quais linguagens de programação são mais usadas nos repositórios de #crawling?
Entre os projetos de #crawling mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Go, JavaScript.
Como é calculada a classificação dos repositórios de #crawling?
Acompanhamos 39 repositórios ativos de código aberto marcados com #crawling (com mais de 500 estrelas), totalizando 335,438 estrelas e uma média de 8,600 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.