#spider Repositórios
92 repositórios no total
Beanbun é um framework de rastreamento web multiprocesso escrito em PHP, com boa abertura e alta escalabilidade, baseado no Workerman.
Scripts escaláveis de web scraping em Python para mais de 80 domínios populares
BaiduSpider, um crawler que extrai resultados de pesquisa do Baidu, atualmente suporta a Pesquisa Web do Baidu, a Pesquisa de Imagens do Baidu, a Pesquisa Baidu Zhidao, a Pesquisa de Vídeos do Baidu, a Pesquisa de Notícias do Baidu, a Pesquisa Baidu Wenku, a Pesquisa Baidu Jingyan e a Pesquisa Baidu Baike.
Crawly, um framework de rastreamento e raspagem web de alto nível para Elixir.
LLMs (Grandes Modelos): 50 Notas. Este repositório inclui projetos práticos nas áreas de aprendizado de máquina, aprendizado profundo, visão computacional, processamento de linguagem natural, Grandes Modelos e web scraping, entre outros campos.
Remoção de marca d'água de vídeos curtos com Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipi Gaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...
Quebra de engenharia reversa de JS, quebra de parâmetros de criptografia anti-rastreamento de JS, Geetest Slider quebrado (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgements Online (atualizado em 2020-06-30), senha do Taobao, login da Tianan Insurance, login do Bilibili, login do SouFun, login do WPS, login do Weibo, Youdao Translate, login do NetEase, login da conta oficial do WeChat, login da Airuankong, login do Jinmobiao, login do sistema de gerenciamento de informações estudantis, login do Gongying Finance, login da Plataforma de Compartilhamento de Recursos Científicos e Tecnológicos de Chongqing, download do NetEase Cloud Music, análise de links de vídeo com um clique, login da Cailianshe.
Download de romances | Rastreamento de romances | Qidian | BiQuGe | Exportar Markdown | Exportar txt | Converter epub | Filtragem de anúncios | Correção automática
Casos de engenharia reversa de web scraping, concluídos: Impressão digital TLS | Ruishu | Zhenkunxing | NetEase Yidun | Engenharia reversa de descompilação de Mini Programas WeChat (Baidaxingxi) | Tonghuashun | Descriptografia RPC | Jiasule | Captcha de deslize Geetest | Juliang Suanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriais | Qizhidao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Technology | mohurd | EntGroup Data | OKLink
Um framework de crawler multi-thread com muitos crawlers de imagem integrados fornecidos.
Um conjunto de aranhas e raspadores para extrair informações de localização de lugares que publicam sua localização na internet.
Krawl é um servidor de engano web personalizável, leve e nativo da nuvem, e um anti-rastreador que cria aplicativos web falsos com vulnerabilidades de baixa pendência usando dados de isca realistas gerados aleatoriamente e modelos HTML gerados por IA.
:point_right: Um rastreador de ações Java baseado em Spring Boot (suporta apenas ações A-share). Se você gostar:heart:, por favor, dê uma estrela:star:. A versão de atualização V2 está em desenvolvimento!
Uma biblioteca versátil de web spidering em Ruby que pode rastrear um site, múltiplos domínios, links específicos ou infinitamente. Spidr foi projetada para ser rápida e fácil de usar.
Plugin de origem/metadados do calibre baseado na pesquisa ISBN da Biblioteca Nacional da China. https://doiiars.com/article/NLCISBNPlugin
Um Framework de Teste de Penetração, ferramenta de coleta de informações e scanner de vulnerabilidades de websites
Empacotador de Light Novel, que coleta conteúdo dos sites Bili Light Novel (bilinovel.com linovelib.com) e o empacota no formato EPUB, suportando capas, ilustrações, índice e a fusão de volumes separados.
Signal 18 repman - Gerenciador de Replicação para MySQL / MariaDB / Percona Server
Raspador de perfil do LinkedIn retornando dados de perfil estruturados em JSON.
Rastreamento de remoção de marca d'água de vídeos curtos em Python: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Vídeo curto nacional, Pipi divertido, Xigua Video, Huya, Li Video, AcFun, Vídeo Haokan...
SDK de raspagem (scraping) do Taobao, para login e raspagem das plataformas abertas do Taobao, Taobao, Tmall e Alibaba
Projeto de código aberto empresarial de rastreamento de notícias de opinião pública: suporta execução com um clique de qualquer número de rastreadores, tarefas agendadas de rastreadores, exclusão em lote de rastreadores; implantação com um clique de rastreadores; visualização de monitoramento de rastreadores; configuração de estratégia de alocação de rastreadores em cluster; 👉 A documentação de implantação Docker pronta já resolveu os problemas para você.
A abordagem e a experiência na engenharia reversa de parâmetros de aplicativos, engenharia reversa Android
Projeto de questionário, recomendação de servidor em nuvem, projeto de ocupação, proxy gratuito, coleção de vários scripts. Bem-vindo ao canto superior direito para clicar no sino e receber informações de atualização oportunas. (Não faça fork, seja discreto)
NetDiscovery é um framework/middleware de rastreamento de propósito geral implementado com base em frameworks como Vert.x e RxJava 2.
Um único comando para usar Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com e X: comandos unificados e saída JSON para pessoas e agentes de IA
Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.
Script Python 3 para despejar/raspar/extrair funcionários da empresa da API do LinkedIn
spider-admin-pro uma ferramenta de gerenciamento visual que integra visualização de projetos de rastreadores Scrapy+Scrapyd e agendamento de tarefas de rastreadores, uma versão atualizada do SpiderAdmin
FreeProxy: Coletando proxies gratuitos da internet. (Grande quantidade de proxies gratuitos de alta qualidade em todo o mundo, suporte para rastreamento de dezenas de fontes de compartilhamento de proxies gratuitos, filtragem de proxies com regras personalizadas, essencial para web scraping e análise de dados, atualizado diariamente com uma grande quantidade de proxies gratuitos.)
Fresh Onions é um spider TOR de código aberto / rastreador de serviços ocultos onion, hospedado em zlal32teyptf4tvi.onion
🎯 Software de análise de visualização de dados de comentários do Bilibili -- os criadores podem usá-lo para orientar a seleção de temas e entender sua base de fãs.