#nlp Dépôts
494 dépôts au total
Tutoriels et ressources sélectionnés pour les grands modèles linguistiques, la peinture IA et plus encore.
LightLLM est un framework basé sur Python pour l'inférence et le service des LLM (grands modèles linguistiques), remarquable pour sa conception légère, sa facilité de mise à l'échelle et ses performances à haute vitesse.
Ce projet reproduit le livre Dive Into Deep Learning (https://d2l.ai/), en adaptant le code de MXNet vers PyTorch.
MNBVC (Massive Never-ending BT Vast Chinese corpus) corpus chinois d'une ampleur massive et sans fin. Comparable aux 40T de données utilisés pour l'entraînement de chatGPT. L'ensemble de données MNBVC inclut non seulement la culture dominante, mais aussi des données issues de cultures de niche variées, voire du 'marsien'. L'ensemble de données MNBVC comprend des nouvelles, des dissertations, des romans, des livres, des magazines, des articles scientifiques, des scripts, des posts, des wikis, des poèmes anciens, des paroles de chansons, des descriptions de produits, des blagues, des anecdotes embarrassantes, des historiques de discussion, et toute autre forme de données textuelles chinoises pures.
AdalFlow : La bibliothèque pour construire et optimiser automatiquement les applications LLM.
"Build a Large Language Model (From Scratch)" est un livre électronique qui explore en profondeur les principes et la mise en œuvre des grands modèles linguistiques, s'adressant aux apprenants qui souhaitent comprendre en détail l'architecture, le processus d'entraînement et le développement d'applications de grands modèles tels que GPT. Afin de permettre à davantage de lecteurs chinois d'accéder à ce manuel d'une valeur exceptionnelle, j'ai décidé de le traduire en chinois et de le partager en open source via GitHub.
Prise de décision IA ultra-rapide et traitement intelligent de données multimodales.
Expériences d'entretiens compilées par les membres de Datawhale, le contenu inclut l'apprentissage automatique, CV, NLP, recommandations, développement, etc. Bienvenue à tous pour star
Un kit d'outils chinois de prétraitement et d'analyse NLP, précis, efficace et facile à utiliser Un kit d'outils chinois de prétraitement et d'analyse NLP www.jionlp.com
Solutions NLP chinoises (grands modèles, données, modèles, entraînement, inférence)
Tutoriels et ressources sélectionnés pour les grands modèles de langage, Text2SQL, Text2DSL, Text2API, Text2Vis et plus encore.
[EMNLP 2021] SimCSE : Apprentissage contrastif simple d'embeddings de phrases https://arxiv.org/abs/2104.08821
Introduction rapide à la théorie et à la pratique appliquée de l'IA : bases, Transformer, NLP, ML, DL, compétitions. Comprend de nombreux commentaires et ensembles de données, dans le but de permettre à chacun de comprendre et de reproduire.
Cours d'initiation à l'apprentissage profond, cours avancés, cours spéciaux, cas académiques, cas de pratique industrielle, encyclopédie des connaissances en apprentissage profond et banque de questions d'entretien Le cours, le cas et les connaissances de Deep Learning et IA
Serveur d'inférence open source et cluster de production pour tous les modèles dont votre agent a besoin.
🛠 IDE tout-en-un basé sur le web spécialisé en machine learning et data science.
Humaniseur d’IA open source : reformule les textes générés par l’IA pour leur donner un style naturel et humain. Réécriture par LLM et traduction via plusieurs moteurs, avec suivi étape par étape. Python CLI, n8n et Docker.
TextAttack 🐙 est un framework Python pour les attaques adverses, l'augmentation de données et l'entraînement de modèles en NLP https://textattack.readthedocs.io/en/master/
[TMLR] Une liste organisée de recherches sur la modélisation du langage pour le code (et d'autres activités d'ingénierie logicielle), ainsi que des ensembles de données associés.
Compétence d’agent pour reformuler le japonais généré par l’IA en japonais naturel
textlint est l'analyseur syntaxique branchable pour le texte en langage naturel.
100 exemples de deep learning, deep learning DL, classification d'images, reconnaissance d'objets, détection d'objets, traitement du langage naturel NLP, classification de texte, TensorFlow, PyTorch
:book: Une bibliothèque Golang pour le traitement de texte, incluant la tokenisation, l'étiquetage des parties du discours et l'extraction d'entités nommées.
Pipelines NLP natifs Rust prêts à l'emploi et modèles basés sur des transformers (BERT, DistilBERT, GPT2, ...)
Modèles de base Chinese-LLaMA 1&2, Chinese-Falcon ; Modèle de dialogue chinois ChatFlow ; Modèle Chinese-OpenLLaMA ; Jeux de données de pré-entraînement/ajustement fin des instructions NLP
nous voulons créer un dépôt pour illustrer l'utilisation des transformeurs en chinois
Articles de recherche sur l'apprentissage profond et l'apprentissage par renforcement profond et quelques codes
Couvre les données de préentraînement, les tokeniseurs, les Transformers, le MoE, l’entraînement distribué, les lois de mise à l’échelle, l’inférence et l’alignement. 6 exercices de programmation progressifs pour apprendre les LLM de bout en bout.
🔮 Une approche fonctionnelle rafraîchissante de l'apprentissage profond, compatible avec vos bibliothèques préférées
aeneas est une bibliothèque Python/C et un ensemble d'outils pour synchroniser automagiquement l'audio et le texte (également connu sous le nom d'alignement forcé)
Apprentissage efficace en peu d'exemples (few-shot) avec Sentence Transformers
Une bibliothèque pour déboguer/inspecter les classificateurs d'apprentissage automatique et expliquer leurs prédictions
Traitement du langage naturel multilingue et segmentation de texte efficaces et rapides en Go ; prise en charge de l’anglais, du chinois, du japonais et d’autres langues.
Une bibliothèque unifiée pour l'apprentissage par transfert efficace en termes de paramètres et modulaire
Outils de fouille de textes et de prétraitement (nettoyage de texte, découverte de nouveaux mots, analyse de sentiments, reconnaissance et liaison d'entités, extraction de mots-clés, extraction de connaissances, analyse syntaxique, etc.), méthodes non supervisées ou faiblement supervisées