#web-scraping Repositórios
382 repositórios no total
Apenas um fork da biblioteca HTML DOM simples. (http://simplehtmldom.sourceforge.net/)
Infraestrutura web de código aberto para IA. Raspe, rastreie e automatize a web, limpe markdown, sessões de navegador, pronto para seus agentes.
Transforme um repositório inteiro do GitHub em um único arquivo .txt organizado para usar com LLMs (ChatGPT, Claude, Gemini, etc.)
🔥 Crie instantaneamente chatbots de IA para qualquer site com pesquisa acionada por RAG, respostas em streaming e endpoints de API compatíveis com OpenAI
knowledge-grab é um aplicativo de desktop construído em Tauri e Vue 3, projetado para facilitar aos usuários o download de vários recursos educacionais da Plataforma Nacional de Educação Inteligente para Escolas Primárias e Secundárias (basic.smartedu.cn).
a estrutura/sdk que permite criar agentes de controle de navegador em 3 linhas de código. junte-se ao chat em https://discord.gg/umgnyQU2K8
Lista de Proxies Gratuitos ✅🚀 HTTP, HTTPS, SOCKS4 e SOCKS5 | Atualizada a cada 5 minutos | SSL estrito, zero MITM, multi-país
Uma habilidade para agentes de IA: pesquise na web com SearXNG, navegue com Camofox, contorne proteções com CloakBrowser. Anti-alucinação por design. Auto-hospedado, gratuito e ilimitado.
O Facepager foi criado para buscar dados publicamente disponíveis do YouTube, Twitter e outros sites, com base em APIs e web scraping.
Serviço auto-hospedado para converter URLs e arquivos em Markdown, destinado a pessoas e agentes de IA: páginas da web, documentos, imagens, áudio e YouTube. PWA + REST + MCP + skill para Claude Code, compatível com o Reddit e com links compartilhados atualizáveis.
Script de redirecionamento de mecanismo de busca, que facilita a alternância entre vários mecanismos
um plugin de barra lateral de navegador gratuito e de código aberto que oferece uma alternativa sem custo a produtos como Sider, Monica e Merlin.
A engenharia reversa das assinaturas web do TikTok gera assinaturas válidas do TikTok para solicitações à API.
Agent Skills para testes de impressão digital do navegador: execute o liarjs a partir do Claude Code, Codex, Cursor ou Copilot para avaliar um navegador comparando-o consigo mesmo — 40 verificações de consistência em Canvas, WebGL, WebGPU, áudio, fontes e WebRTC, cruzadas com a camada TLS/HTTP. QA dos harnesses Playwright e Puppeteer, barreiras de regressão no CI e triagem da detecção de navegadores headless.
Guias de início rápido de Python para aproveitar ao máximo o teste gratuito da API Web Scraper da Oxylabs.
API completa de web scraping para extração de dados em tempo real e em grande escala: proxies, gerenciamento de CAPTCHA, renderização de JavaScript e análise em uma única solicitação, com retorno em HTML ou JSON estruturado.
🎯 Software de análise de visualização de dados de comentários do Bilibili -- os criadores podem usá-lo para orientar a seleção de temas e entender sua base de fãs.