#web-scraping Repositórios
382 repositórios no total
Liquidações pela metade do preço no Taobao e Tmall, para garantir TVs e Maotai, vamos acabar com os atravessadores!
AIMedia é um software integrado que captura automaticamente tendências, cria artigos por IA e realiza a publicação automática. Suporta plataformas como Toutiao, Xiaohongshu e Contas Oficiais (WeChat), entre outras.
Playwright invisível: um Playwright que os sistemas antibot não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, impressão digital indetectável, contorna a detecção de bots, web scraping e automação de navegador com Python.
Scraper gratuito e de código aberto do Google Maps para geração de leads (Python, sem chave de API nem Docker). Exporta para CSV nome, telefone, e-mail, site, avaliação e links do Instagram/Facebook/LinkedIn/TikTok/YouTube/X. 100 locais com e-mails em 44 s; --grid supera o limite de 120 do Google. Verificação dos registros MX dos e-mails e detecção de pixels de anúncios. Skill para Claude Code, Codex e Cursor.
Extração rápida de conteúdo web local-first para LLMs. Raspe, rastreie, extraia dados estruturados — tudo em Rust. CLI, REST API e servidor MCP.
Um parser de DOM HTML. Ele permite que você manipule HTML. Encontre tags em uma página HTML usando seletores, assim como no jQuery.
Exportar livros do WeChat Read para formatos como epub, pdf, mobi, etc.
Plataforma de automação de navegador auto-hospedado e invisível. Alimentada pelo Camoufox (Firefox) com taxa de detecção de 0%. Construída para velocidade, privacidade e escalabilidade.
Chamada remota de métodos do navegador (rpc), evitando a necessidade de extrair código para configurar o ambiente
Tmall TaoBao iMaotai iMatoTai JD Jingdong compra relâmpago, Jingdong Maotai compra relâmpago versão Windows, pronto para uso imediato sem configuração de ambiente. Desenvolvimento iminente (protocolo open source com Apache License)
Alternativa de código aberto ao Gemini Deep Research. Gere relatórios com IA baseados em resultados de pesquisa.
Um guia para extrair títulos, autores e citações do Google Scholar usando Python e a API SERP Scraper da Oxylabs.
Um código para extrair itens mais vendidos, resultados de pesquisa e ofertas atualmente disponíveis da Amazon usando Python e a API Oxylabs E-Commerce Scraper.
Fontes de transmissão ao vivo de TV de hotel IPv4 coletadas automaticamente, velocidade de reprodução testada automaticamente, atualizadas automaticamente todos os dias. Inclui canais CCTV (CCTV e canais de satélite) e alguns canais locais, com reprodução suave. Também pode ser executado no Docker em OpenWrt ou Synology.
Uma ferramenta rápida para converter qualquer site em dados markdown prontos para LLM. Desenvolvido por https://supermemory.ai
Um framework de crawler Java simples, ágil e distribuído com suporte a SpringBoot; Um framework de crawler ágil e distribuído.
Analisador inteligente para o catálogo "Chitai-Gorod". Coleta e estruturação de dados de alta velocidade baseada em quaisquer parâmetros especificados: do ISBN à dinâmica de descontos.
Cliente HTTP semelhante a net/http.Client, com opções para selecionar impressões digitais TLS específicas do cliente a serem usadas nas requisições.
Extração de Dados de Comentários/Barragem da Versão Web das Transmissões Ao Vivo do Douyin (Última Versão 2025)
ESTE REPOSITÓRIO É APENAS UM ESPELHO! O repositório principal de desenvolvimento é https://codeberg.org/Freedium-cfd/web
SURF - Cliente HTTP Go avançado com personificação de navegadores Chrome/Firefox, HTTP/3 com impressão digital QUIC, emulação TLS JA3/JA4 e desvio anti-bot para automação web e scraping.
O driver headless do Chrome/Chromium sobre o Puppeteer. Tire capturas de tela, gere PDFs, extraia texto e HTML com uma API pronta para produção.
O qstock, desenvolvido pela conta oficial do WeChat "Python Finance Quantitative", visa ser um pacote pessoal de análise de pesquisa e investimento quantitativo. Atualmente, inclui módulos para aquisição de dados (data), visualização (plot), seleção de ações (stock) e backtesting quantitativo (strategy backtest). O qstock fornecerá aos usuários interfaces de dados concisas e dados do mercado financeiro padronizados. O módulo de visualização oferece aos usuários uma interface simples para gráficos interativos baseados na web; o módulo de seleção de ações fornece dados de seleção de ações da Tonghuashun e seleção de ações personalizada, incluindo RPS, tendência MM, indicadores financeiros, modelos de fluxo de caixa, etc.; o módulo de backtesting oferece a todos frameworks e modelos básicos vetorizados (baseados em pandas) e orientados por eventos. Siga a conta oficial do WeChat "Python Finance Quantitative" para obter mais informações sobre o aplicativo.
Siga blogs, wikis, canais do YouTube, bem como contas no Twitter, Instagram, etc., a partir de uma única página.
Aprenda a criar seu próprio scraper do Google Jobs que raspa simultaneamente o Google Jobs para várias consultas de pesquisa e localizações geográficas com Python e a API Google Jobs Scraper da Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs
Launcher de navegador anti-detecção, gratuito e de código aberto, para web scraping e gerenciamento de múltiplas contas. Desenvolvido pela equipe ShardX (anteriormente ProxyShard). Spoofing de impressão digital em nível de mecanismo no Chromium 158 (WebGL / WebGPU / Client Hints / fontes / TLS), mais de 220 perfis de dispositivos incluídos e QUIC + WebRTC estáveis por meio de SOCKS5.
Baixe um site inteiro e salve-o como um arquivo de texto (para ser usado com modelos de IA).
Compartilhamento de recursos de filmes e séries no Baidu Netdisk, Quark Netdisk e Aliyun Drive. Publicação diária das últimas séries de TV, programas de variedades e recursos cinematográficos.
Neste tutorial, demonstramos como extrair dados públicos do Google com Python e a API Oxylabs.
Binding Python para os motores Modest e Lexbor. Parser HTML5 rápido com seletores CSS para Python.
Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (baseado em SingleFile)
Reconhecimento de CAPTCHA que abrange seleção de texto por clique, seleção de caracteres, escolha e toque, implementado e treinado com PyTorch.
Scraper do Twitter e do X para Python: extraia tweets, perfis, seguidores, contas seguidas e tendências sem a API oficial. Uma biblioteca de scraping do Twitter com pool de várias contas, suporte a proxies e processamento assíncrono, ou uma versão hospedada no Apify.