#webscraping Repositórios
Descubra 50 repositórios ativos de código aberto no GitHub marcados com #webscraping, acumulando um total de 581,593 estrelas (uma média de 11,631 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.
50 repositórios no total
Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev
Chromium furtivo que passa em todos os testes de detecção de bots. Substituto direto do Playwright com patches de impressão digital no nível do código-fonte. Mais de 50 testes aprovados.
Um agente autônomo que realiza pesquisas profundas em qualquer dado usando qualquer provedor de LLM
Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.
Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.
Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python
Versão não detectada da biblioteca de teste e automação Playwright.
Análise dos sistemas de Proteção de Bots com contramedidas disponíveis 🚿. Como derrotar o sistema anti-bot 👻 e contornar scripts de impressão digital de navegador 🕵️♂️ ao fazer web scraping?
Facilite sua busca de emprego automatizando seu processo de candidatura com este Aplicador Automático
Playwright invisível: um Playwright que os sistemas antibot não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, impressão digital indetectável, contorna a detecção de bots, web scraping e automação de navegador com Python.
Launcher de navegador anti-detecção, gratuito e de código aberto, para web scraping e gerenciamento de múltiplas contas. Desenvolvido pela equipe ShardX (anteriormente ProxyShard). Spoofing de impressão digital em nível de mecanismo no Chromium 158 (WebGL / WebGPU / Client Hints / fontes / TLS), mais de 220 perfis de dispositivos incluídos e QUIC + WebRTC estáveis por meio de SOCKS5.
O repositório do projeto aberto de web scraping visa compartilhar conhecimento e experiências sobre raspagem de dados (web scraping) com Python
Este código é usado para realizar web scraping e extração de dados do Google Maps. Ele é especialmente projetado para obter informações sobre empresas, incluindo nome, endereço, site, número de telefone, avaliações e mais.
Versão Python não detectada da biblioteca Playwright de testes e automação.
Um framework de web scraping/automação web extremamente rápido, assíncrono por natureza e indetectável, baseado em ultrafunkamsterdam/nodriver. Agora com suporte a Docker!
Ferramenta de enumeração do LinkedIn para extrair nomes válidos de funcionários de uma organização através da raspagem de mecanismos de busca
Puppeteer para Python que os sistemas antibots não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, uma impressão digital indetectável, evasão da detecção de bots, scraping da web e automação do navegador.
Mecanismo de impressão digital do Chromium em nível de código-fonte, classificado pelos sites de detecção como um Chrome comum. Mecanismo de impressão digital do Chromium em nível de código-fonte que passa nos testes de detecção de bots. Não é injeção de JS — são patches de C++ compilados no binário.
Scripts escaláveis de web scraping em Python para mais de 80 domínios populares
Invisible Playwright MCP: servidor Playwright MCP indetectável por sistemas antibot e CAPTCHAs: um agente de IA navega na web usando Firefox furtivo com proteção contra detecção, Python, automação de navegador indetectável, raspagem de dados e uso do computador.
Um conjunto modular e baseado em terminal de ferramentas para OSINT, reconhecimento e coleta de dados - desenvolvido em Python, roda em Linux e Windows.
Um bot em Python para aplicar automaticamente a todos os empregos de Candidatura Fácil (Easy Apply) do Linkedin, Glassdoor, etc., com base nas suas preferências. Auto login, preenchimento automático de perguntas adicionais, aplicação automática!
Ferramenta de linha de comando para baixar e extrair dados de páginas HTML/XML ou APIs JSON, usando CSS, XPath 3.0, XQuery 3.0, JSONiq ou correspondência de padrões. Também pode criar novos documentos XML/HTML/JSON ou documentos transformados.
Motor Chromium furtivo que impede que scrapers e agentes de navegador sejam bloqueados com uma única alteração em uma linha de código.
Versão NodeJS não detectada da biblioteca de testes e automação Playwright.
Selenium invisível para sistemas anti-bot, sem CAPTCHAs: a mesma API, Firefox headless furtivo com proteção contra detecção, impressão digital indetectável, evasão da detecção de bots, raspagem da web e automação de navegador com Python.
Uscrapper Vanta: Mergulhe mais fundo na web com esta poderosa ferramenta de código aberto. Extraia insights valiosos com facilidade e eficiência, de fontes da web superficial e profunda. Potencialize sua mineração e análise de dados com as capacidades avançadas de Vanta. Rápido, confiável e fácil de usar, Uscrapper Vanta é a escolha definitiva para pesquisadores e analistas.
Editor de web scraping com tecnologia de IA e construtor de fluxo de trabalho visual. Crie, teste e implemente web scrapers usando linguagem natural. Desenvolvido por ScrapeGraphAI e LangGraph.
Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.
Mergulhe no web scraping e construa um rastreador de preços para e-commerce com Next.js 13 em um único vídeo que ensina raspagem de dados, cron jobs, envio de e-mails, implantação e muito mais.
Perguntas Frequentes
Qual é o repositório de #webscraping mais popular no GitHub?
O projeto de código aberto de #webscraping mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Quais linguagens de programação são mais usadas nos repositórios de #webscraping?
Entre os projetos de #webscraping mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, Ruby.
Como é calculada a classificação dos repositórios de #webscraping?
Acompanhamos 50 repositórios ativos de código aberto marcados com #webscraping (com mais de 500 estrelas), totalizando 581,593 estrelas e uma média de 11,631 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.