#web-scraping Repositórios
382 repositórios no total
Servidor de Protocolo de Contexto do Modelo Playwright - Ferramenta para automatizar Navegadores e APIs no Claude Desktop, Cline, Cursor IDE e Mais 🔌
A web ideal para seu agente de codificação de IA — pesquisa local, busca, rastreamento e pesquisa via MCP. Sem chaves de API, sem nuvem, $0/consulta. Beta pública.
Versão não detectada da biblioteca de teste e automação Playwright.
Extraia o sistema de design completo de qualquer site com um comando. Tokens DTCG, semântico+primitivo+composto, servidor MCP para Claude Code/Cursor/Windsurf, emissores multiplataforma (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, variáveis do Figma, shadcn/ui, auditoria de saúde CSS, remediação WCAG, extensão do Chrome. MIT, Playwright, Node 20+.
Sucessor do Undetected-Chromedriver. Fornecendo um framework extremamente rápido para automação web, web scraping, bots e quaisquer outras ideias criativas que são normalmente impedidas por sistemas irritantes anti-bot como Captcha / CloudFlare / Imperva / hCaptcha
Web Scraping Básico, Web Scraping Intermediário, Web Scraping Avançado
O cliente de requisição HTTP simplificado 'request' com suporte a Promises. Potencializado por Bluebird.
Amostras de código do livro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Um extrator agêntico para plataformas de mensagens. A Noria recebe mensagens e URLs por chat, coleta dados da web para avaliar o conteúdo com base em matrizes de pontuação personalizadas (por exemplo, vagas de emprego e bolsas de estudo) e envia um resumo estruturado, com uma pontuação de compatibilidade calculada, diretamente para o número de mensagens atribuído.
Pesquise e baixe músicas: pesquise e baixe músicas do NetEase Cloud Music, QQ Music, Kugou Music, Baidu Music, Xiami Music, Migu Music, etc.
(não oficial) Googletrans: API de tradução gratuita e ilimitada do Google para Python. Traduz totalmente sem custo.
O lugar ideal para aplicações de código aberto e depuradas. A OrionStore oferece acesso instantâneo ao YouTube Morphe, ao YT Music Morphe e a ferramentas essenciais de código aberto, sem confusão. Sem servidores nem rastreamento: apenas uma porta de entrada bonita e moderna para as aplicações de que gosta.
Faça engenharia reversa de qualquer site para transformá-lo em um cliente de API tipado. Compatível com Claude Code, Codex, Cursor e OpenCode.
Superstar Learning/Superstar ErYa/PanYa Superstar Complete Task Points Automatically Unattended
Obtenha uma lista de domínios, rastreie URLs e escaneie em busca de endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais
Monitoramento · coleta · republicação de conteúdo em várias plataformas. Um único painel web para gerenciar Douyin / Xiaohongshu / Kuaishou / Canais do WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internacional (rednote)
API de web scraping de código aberto. Transforme qualquer site em Markdown limpo ou JSON estruturado. Navegador anti-detecção, seleção automática de proxy, auto-hospedado. Um comando: make up
Engenharia reversa do TikTok, rastreador do TikTok, todas as APIs do TikTok, mensagens privadas, monitoramento de salas de transmissão ao vivo
API de Scraping gratuita da Amazon para extrair dados de pesquisa, produto, listagem de ofertas, avaliações, perguntas e respostas, mais vendidos e vendedores.
Coleta de dados estruturados de qualquer site usando scraper, crawler e automação de navegador com IA. Web scraping e crawling com prompts em linguagem natural. Equipe seus agentes LLM com dados atualizados. SDK Python do AI Studio para coleta inteligente de dados da web.
Automação furtiva de navegador para agentes de IA via MCP e o protocolo Chrome DevTools: navegação, hooks de rede, extração do DOM e clonagem de interfaces de usuário com precisão de pixel.
A Classe Curl do PHP facilita o envio de requisições HTTP e a integração com APIs web
Navegador anti-fingerprint gratuito, navegador de impressão digital, navegador de privacidade, navegador anti-identificação, navegador anti-reconhecimento, navegador anti-associação, navegador de impressão digital gratuito especializado em airdrops web3 https://virtualbrowser.cc/?src=github
Um etiquetador de mídia pessoal no estilo booru que permite importar arquivos e tags do seu disco rígido e de sites populares. O conteúdo pode ser compartilhado com outros usuários através de servidores gerenciados pelos próprios usuários.
O processo de extração de dados de produtos da Amazon usando Python, incluindo títulos, avaliações, preços, imagens e descrições.
📲 Um agente para obter, selecionar e agendar publicações de redes sociais com intervenção humana (human-in-the-loop).
Um programa Python que transforma um LLM, em execução no Ollama, num pesquisador automatizado, o qual com uma única consulta determinará as áreas de foco a serem investigadas, fará pesquisas na web e extrairá conteúdo de vários websites relevantes, e conduzirá a pesquisa para você, tudo por conta própria! E mais, incluindo, mas não se limitando a, salvar as descobertas para você!
Biblioteca Python e CLI para scraping de X/Twitter com rotação de múltiplas contas e tratamento integrado de limites de taxa.
Uma API de alto nível para controlar o Chrome ou Chromium sem cabeça sobre o Protocolo DevTools. É o equivalente em Rust do Puppeteer, uma biblioteca Node mantida pela equipe do Chrome DevTools.
Aprenda passo a passo como extrair dados do Google Trends e fazer uma comparação de resultados usando Python e a API SERP da Oxylabs. Extraia palavras-chave, sua popularidade, detalhamento por região, consultas relacionadas e muito mais.
Para 虎牙, 斗鱼, 抖音, BiliBili, TikTok, Twitch: 🔥Robô AI inteligente e popular para edição e publicação de vídeos de transmissões ao vivo🔥, automatizado 🤖, totalmente inteligente ⚙ (gera inteligentemente cortes, títulos, capas, descrições), visualização 👓, monitoramento de tendências da plataforma 🌡, plug-ins ricos e expansíveis 🕹, implantação rápida ⚡, criação e publicação automática de contas de vídeo 🌟, suporta DIY 🎮
Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.