#bert Repositorios
109 repositorios en total
[ICLR'23 Spotlight🔥] El primer pre-entrenamiento exitoso al estilo BERT/MAE en cualquier red neuronal convolucional; Implementación en Pytorch de "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"
Modelos entrenados y código para predecir comentarios tóxicos en los 3 desafíos de comentarios tóxicos de Jigsaw. Creado con ⚡ PyTorch Lightning y 🤗 Transformers.
Artículos relevantes en el campo del procesamiento del lenguaje natural (con notas de lectura), reproducción de modelos y procesamiento de datos (el código incluye dos versiones: TensorFlow y PyTorch)
Transformers4Rec es una biblioteca flexible y eficiente para recomendaciones secuenciales y basadas en sesiones que funciona con PyTorch.
Un paquete de Python para ejecutar modelado de temas contextualizado. Los CTM combinan embeddings contextualizados (por ejemplo, BERT) con modelos de temas para obtener temas coherentes. Publicado en EACL y ACL 2021 (Bianchi et al.).
Entrenamiento e inferencia distribuidos para la percepción multimodal: embeddings compartidos para texto, imágenes, vídeo, audio, código y grafos, de 64 a 1024 dimensiones 🖼️
TTS de mejores prácticas basado en BERT y VITS con algunas características de Natural Speech de Microsoft; ¡Soporta salida de streaming ONNX!
Framework de compresión de redes neuronales para una inferencia OpenVINO™ mejorada
💁 Impresionante tesoro de modelos Transformer para el procesamiento del lenguaje natural contiene artículos, videos, blogs, repos oficiales junto con cuadernos de Colab. 🛫☑️
Tutorial completo de algoritmos desde NLP hasta LLM, dirección de lectura en línea: https://datawhalechina.github.io/base-llm/
Una lista curada de recursos de NLP enfocada en redes Transformer, mecanismo de atención, GPT, BERT, ChatGPT, LLMs y aprendizaje por transferencia.
Marco de preentrenamiento de Tencent en PyTorch y Zoológico de modelos preentrenados
Corpus de Pre‑Entrenamiento a gran escala para chino 100G (corpus de pre‑entrenamiento chino)
Construyendo un sistema de diálogo chino basado en la versión más reciente de rasa(Construyendo un sistema de diálogo basado en la versión más reciente de rasa)
TextGen: Implementación de modelos de generación de texto, incluyen LLaMA, BLOOM, GPT2, BART, T5, SongNet y así sucesivamente. Modelos de generación de texto, implementan el entrenamiento y la predicción de modelos como LLaMA, ChatGLM, BLOOM, GPT2, Seq2Seq, BART, T5, UDA, etc., listos para usar.
Modelos Transformer de BERT a GPT-4, entornos de Hugging Face a OpenAI. Ejemplos de ajuste fino, entrenamiento e ingeniería de prompts. Una sección adicional con ChatGPT, GPT-3.5-turbo, GPT-4 y DALL-E, que incluye el inicio rápido de GPT-4, voz a texto, texto a voz, generación de texto a imagen con DALL-E, Google Cloud AI, HuggingGPT y más.
Implementación oficial de los artículos "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) y "Text Simplification by Tagging" (BEA-21)"
Una biblioteca de PyTorch de modelos Transformer seleccionados y sus componentes componibles
Repositorio de Github con tutoriales para ajustar transformadores para diferentes tareas de PNL
PhoBERT: modelos de lenguaje preentrenados para vietnamita (EMNLP-2020 Findings)
Clasificación de texto multietiqueta, clasificación multietiqueta, clasificación de texto, multietiqueta, clasificador, clasificación de texto, BERT, seq2seq, attention, clasificación multietiqueta
PatrickStar permite modelos preentrenados más grandes, rápidos y ecológicos para NLP y democratiza la IA para todos.
El repositorio principal para la investigación y el desarrollo de última generación en respuesta a preguntas multilingües.
LLM-PowerHouse: Desata el potencial de los LLM a través de tutoriales seleccionados, mejores prácticas y código listo para usar para entrenamiento e inferencia personalizados.
Revisitar modelos preentrenados para el procesamiento del lenguaje natural chino (MacBERT)
Implementación en PyTorch de JointBERT: "BERT for Joint Intent Classification and Slot Filling"
Awesome-LLM-Eval: una lista curada de herramientas, conjuntos de datos/benchmarks, demostraciones, tablas de clasificación, artículos, documentos y modelos, principalmente para la Evaluación en LLMs. Una lista curada de herramientas, benchmarks/datos, demostraciones, tablas de clasificación y grandes modelos, que se enfoca principalmente en la evaluación de grandes modelos base, con el objetivo de explorar los límites tecnológicos de la IA generativa.
El primer y extenso benchmark de procesamiento de lenguaje natural para el idioma indonesio. ¡Proporcionamos múltiples tareas posteriores, modelos IndoBERT preentrenados y un código de inicio! (AACL-IJCNLP 2020)
Verificación de fundamentación a nivel de intervalo para salidas de IA basadas en RAG, código y herramientas.
BERTweet: Un modelo de lenguaje pre-entrenado para Tweets en inglés (EMNLP-2020)
Una implementación del modelo BERT y sus tareas posteriores relacionadas basadas en el marco PyTorch. @跟我学机器学习
Transformers para el Procesamiento del Lenguaje Natural, publicado por Packt
Un repositorio de NLP de aprendizaje profundo que resume el preprocesamiento de texto, modelos de temas y tareas posteriores de modelos de vanguardia como BERT, GPT y LLM utilizando TensorFlow.
Un sistema de clasificación flexible y adaptable para la clasificación dinámica de texto
Traducción al chino de Procesamiento del Lenguaje Natural con Transformers, el tutorial más autorizado sobre Transformers