#nlp Repositorios
494 repositorios en total
Tutoriales y recursos seleccionados para Modelos de Lenguaje Grandes, Pintura con IA y más.
LightLLM es un framework basado en Python para la inferencia y el servicio de LLM (Modelos de Lenguaje Grandes), notable por su diseño ligero, fácil escalabilidad y rendimiento de alta velocidad.
Este proyecto reproduce el libro Dive Into Deep Learning (https://d2l.ai/), adaptando el código de MXNet a PyTorch.
MNBVC (Massive Never-ending BT Vast Chinese corpus) corpus masivo de chino en constante expansión. A la par de los 40T de datos para el entrenamiento de chatGPT. El conjunto de datos MNBVC no solo incluye la cultura principal, sino también datos de diversas culturas de nicho e incluso del idioma marciano. El conjunto de datos MNBVC incluye noticias, ensayos, novelas, libros, revistas, artículos científicos, guiones, publicaciones, wikis, poesía antigua, letras de canciones, descripciones de productos, chistes, anécdotas vergonzosas, registros de chat y cualquier otra forma de datos de texto puro en chino.
AdalFlow: La biblioteca para crear y optimizar automáticamente aplicaciones LLM.
Resumen y estudio de materiales de ChatGPT, actualización continua......
"Build a Large Language Model (From Scratch)" es un libro electrónico que explora en profundidad los principios y la implementación de los modelos de lenguaje grandes, adecuado para estudiantes que desean comprender la arquitectura, el proceso de entrenamiento y el desarrollo de aplicaciones de modelos grandes como GPT. Para permitir que más lectores chinos accedan a este valioso material didáctico, he decidido traducirlo al chino y compartirlo de forma abierta a través de GitHub.
Toma de decisiones de IA ultrarrápida y procesamiento inteligente de datos multimodales.
Experiencias de entrevistas compiladas por miembros de Datawhale, el contenido incluye aprendizaje automático, CV, NLP, recomendaciones, desarrollo, etc. Bienvenidos todos a dar star
Un paquete chino de preprocesamiento y análisis NLP, preciso, eficiente y fácil de usar Un paquete chino de preprocesamiento y análisis NLP www.jionlp.com
Soluciones de PNL chinas (grandes modelos, datos, modelos, entrenamiento, inferencia)
Tutoriales y recursos curados para Large Language Models, Text2SQL, Text2DSL, Text2API, Text2Vis y más.
[EMNLP 2021] SimCSE: Aprendizaje contrastivo simple de incrustaciones de oraciones https://arxiv.org/abs/2104.08821
Introducción rápida a la teoría y la práctica aplicada de la IA: conceptos básicos, Transformer, NLP, ML, DL, competiciones. Incluye abundantes comentarios y conjuntos de datos, con el objetivo de que todos puedan entender y reproducir.
Cursos introductorios de aprendizaje profundo, cursos avanzados, cursos especiales, casos académicos, casos de práctica industrial, enciclopedia de conocimiento de aprendizaje profundo y banco de preguntas de entrevista El curso, caso y conocimiento de Deep Learning y AI
Servidor de inferencia de código abierto y clúster de producción para todos los modelos que necesita su agente.
🛠 IDE todo en uno basado en web especializado en machine learning y data science.
Humanizador de IA de código abierto: reescribe textos generados por IA para que suenen naturales y humanos. Reformulación con LLM y traducción con varios motores, con trazas paso a paso. Python CLI, n8n y Docker.
TextAttack 🐙 es un framework de Python para ataques adversarios, aumento de datos y entrenamiento de modelos en NLP https://textattack.readthedocs.io/en/master/
[TMLR] Una lista curada de investigaciones de modelado de lenguaje para código (y otras actividades de ingeniería de software), además de conjuntos de datos relacionados.
Habilidad de agente para perfeccionar el japonés generado por IA y convertirlo en un japonés natural
100 ejemplos de aprendizaje profundo, aprendizaje profundo DL, clasificación de imágenes, reconocimiento de objetos, detección de objetos, procesamiento del lenguaje natural NLP, clasificación de texto, TensorFlow, PyTorch
:book: Una biblioteca de Golang para procesamiento de texto, que incluye tokenización, etiquetado de partes del discurso y extracción de entidades nombradas.
Pipelines de NLP nativos de Rust listos para usar y modelos basados en transformadores (BERT, DistilBERT, GPT2, ...)
Modelos base Chinese-LLaMA 1&2, Chinese-Falcon; Modelo de diálogo chino ChatFlow; Modelo Chinese-OpenLLaMA; Conjuntos de datos de pre-entrenamiento/ajuste fino de instrucciones NLP
queremos crear un repo para ilustrar el uso de transformers en chino
Artículos de investigación sobre Deep Learning y aprendizaje por refuerzo profundo y algunos códigos
Cubre datos de preentrenamiento, tokenizadores, Transformers, MoE, entrenamiento distribuido, leyes de escalado, inferencia y alineación. 6 tareas de programación progresivas para aprender LLM de principio a fin.
🔮 Un enfoque funcional refrescante del aprendizaje profundo, compatible con tus bibliotecas favoritas
aeneas es una biblioteca de Python/C y un conjunto de herramientas para sincronizar automágicamente audio y texto (también conocido como alineación forzada)
Aprendizaje eficiente con pocos ejemplos (few-shot) con Sentence Transformers
Una biblioteca para depurar/inspeccionar clasificadores de aprendizaje automático y explicar sus predicciones
Procesamiento del lenguaje natural multilingüe y segmentación de texto eficientes y rápidos en Go; compatible con inglés, chino, japonés y otros idiomas.
Una biblioteca unificada para el aprendizaje por transferencia eficiente en parámetros y modular
Herramientas de minería de texto y preprocesamiento (limpieza de texto, descubrimiento de nuevas palabras, análisis de sentimientos, reconocimiento de entidades y enlace, extracción de palabras clave, extracción de conocimiento, análisis sintáctico, etc.), métodos no supervisados o débilmente supervisados