#nlp Repositórios
494 repositórios no total
Tutoriais e recursos selecionados para Modelos de Linguagem Grande, Pintura de IA e muito mais.
LightLLM é um framework de inferência e serviço de LLM (Large Language Model) baseado em Python, notável por seu design leve, escalabilidade fácil e desempenho de alta velocidade.
Este projeto reproduz o livro Dive Into Deep Learning (https://d2l.ai/), adaptando o código do MXNet para o PyTorch.
MNBVC (Massive Never-ending BT Vast Chinese corpus) é um corpus chinês de escala ultra-massiva. Ele rivaliza com os 40T de dados usados para o treinamento do ChatGPT. O conjunto de dados MNBVC inclui não apenas a cultura dominante, mas também dados de várias culturas de nicho e até mesmo o 'texto marciano' (huoxing wen). O conjunto de dados MNBVC abrange todas as formas de dados de texto puro em chinês, incluindo notícias, redações, romances, livros, revistas, artigos, roteiros, postagens, wikis, poesia clássica, letras de música, descrições de produtos, piadas, anedotas embaraçosas e registros de bate-papo.
AdalFlow: A biblioteca para construir e otimizar automaticamente aplicações LLM.
Compilação e estudo de materiais sobre ChatGPT, em atualização contínua...
《Build a Large Language Model (From Scratch)》 é um e-book que explora profundamente os princípios e a implementação de grandes modelos de linguagem, ideal para estudantes que desejam aprofundar seus conhecimentos sobre a arquitetura de grandes modelos como GPT, processos de treinamento e desenvolvimento de aplicações. Para que mais leitores chineses possam ter acesso a este material didático de grande valor, decidi traduzi-lo para o chinês e compartilhá-lo como código aberto via GitHub.
Tomada de decisões de IA super-rápida e processamento inteligente de dados multimodais.
Entrevistas organizadas pelos membros do Datawhale, cobrindo Machine Learning, CV, NLP, sistemas de recomendação, desenvolvimento, etc. Bem-vindos a dar star!
Pacote de ferramentas de pré-processamento e análise de PLN (Processamento de Linguagem Natural) em chinês, preciso, eficiente e fácil de usar. A Chinese NLP Preprocessing & Parsing Package www.jionlp.com
Soluções de PNL em Chinês (Grandes Modelos, Dados, Modelo, Treinamento, Inferência)
Tutoriais e recursos selecionados para Grandes Modelos de Linguagem, Text2SQL, Text2DSL, Text2API, Text2Vis e muito mais.
[EMNLP 2021] SimCSE: Aprendizagem Contrastiva Simples de Embeddings de Frases https://arxiv.org/abs/2104.08821
Início Rápido na Teoria e Aplicações Práticas de IA: Fundamentos, Transformer, NLP, ML, DL e Competições. Contém uma grande quantidade de anotações e conjuntos de dados, visando garantir que todos possam entender e replicar.
Cursos introdutórios, avançados e especializados em Deep Learning; casos acadêmicos e práticos da indústria; enciclopédia de conhecimento em Deep Learning e banco de questões para entrevistas. Tudo sobre o curso, os casos e o conhecimento de Deep Learning e IA.
Servidor de inferência de código aberto e cluster de produção para todos os modelos que seu agente precisa.
🛠 IDE tudo-em-um baseada na web, especializada em aprendizado de máquina e ciência de dados.
Humanizador de IA de código aberto: reescreve textos gerados por IA para que soem naturais e humanos. Reescrita com LLM e tradução com vários mecanismos, com rastreamento passo a passo. Python CLI, n8n e Docker.
TextAttack 🐙 é um framework Python para ataques adversariais, aumento de dados e treinamento de modelos em PLN https://textattack.readthedocs.io/en/master/
[TMLR] Uma lista selecionada de pesquisas sobre modelagem de linguagem para código (e outras atividades de engenharia de software), mais conjuntos de dados relacionados.
100 Exemplos de Aprendizagem Profunda, Aprendizagem Profunda DL, Classificação de Imagens, Reconhecimento de Objetos, Deteção de Objetos, Processamento de Linguagem Natural NLP, Classificação de Texto, TensorFlow, PyTorch
:book: Uma biblioteca Golang para processamento de texto, incluindo tokenização, etiquetagem de partes do discurso e extração de entidades nomeadas.
Pipelines de NLP nativas do Rust prontas para uso e modelos baseados em transformadores (BERT, DistilBERT, GPT2,...)
Modelos base Chinese-LLaMA 1&2, Chinese-Falcon; Modelo de diálogo em chinês ChatFlow; Modelo Chinese-OpenLLaMA; Conjuntos de dados de pré-treinamento/ajuste fino de instruções de PNL
Queremos criar um repositório para ilustrar o uso de transformers em chinês
Artigos de pesquisa sobre Aprendizado Profundo (Deep Learning) e aprendizado por reforço profundo (deep reinforcement learning), e alguns códigos
Abrange dados de pré-treinamento, tokenizadores, Transformers, MoE, treinamento distribuído, leis de escalabilidade, inferência e alinhamento. 6 tarefas de programação progressivas para aprender LLMs de ponta a ponta.
Uma abordagem funcional e revigorante para o aprendizado profundo, compatível com suas bibliotecas favoritas
aeneas é uma biblioteca Python/C e um conjunto de ferramentas para sincronizar automaticamente áudio e texto (também conhecido como alinhamento forçado)
Uma biblioteca para depurar/inspecionar classificadores de aprendizado de máquina e explicar suas previsões
Processamento de linguagem natural multilíngue e segmentação de texto eficientes e rápidos em Go; compatível com inglês, chinês, japonês e outros idiomas.
Uma Biblioteca Unificada para Aprendizado de Transferência Paramétrico-Eficiente e Modular
Ferramentas de mineração e pré-processamento de texto (limpeza de texto, descoberta de novas palavras, análise de sentimento, ligação de reconhecimento de entidade, extração de palavras-chave, extração de conhecimento, análise sintática, etc.), métodos não supervisionados ou fracamente supervisionados