#bert 저장소
저장소 총 109개
[ICLR'23 Spotlight🔥] 모든 합성곱 신경망에서 최초의 성공적인 BERT/MAE 스타일 사전 훈련; "Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling"의 Pytorch 구현
세 가지 Jigsaw Toxic Comment 챌린지 모두에서 유해 댓글을 예측하는 학습된 모델과 코드입니다. ⚡ PyTorch Lightning과 🤗 Transformers를 사용해 구축했습니다.
자연어 처리 분야 관련 논문 (읽기 노트 첨부), 모델 재현 및 데이터 처리 (코드는 TensorFlow 및 PyTorch 두 가지 버전 포함)
Transformers4Rec는 PyTorch와 함께 작동하는 순차 및 세션 기반 추천을 위한 유연하고 효율적인 라이브러리입니다.
문맥화된 토픽 모델링을 실행하기 위한 파이썬 패키지입니다. CTM은 문맥화된 임베딩(예: BERT)과 토픽 모델을 결합하여 일관된 토픽을 얻습니다. EACL 및 ACL 2021(Bianchi et al.)에 발표되었습니다.
💁 자연어 처리를 위한 Transformer 모델의 경이로운 보물에는 논문, 비디오, 블로그, 공식 리포 및 Colab 노트북이 포함됩니다. 🛫☑️
NLP에서 LLM까지의 알고리즘 풀스택 튜토리얼, 온라인 읽기 주소: https://datawhalechina.github.io/base-llm/
트랜스포머 네트워크, 어텐션 메커니즘, GPT, BERT, ChatGPT, LLM 및 전이 학습에 초점을 맞춘 NLP 자원의 큐레이션된 목록.
TextGen: LLaMA, BLOOM, GPT2, BART, T5, SongNet 등을 포함한 텍스트 생성 모델 구현. 텍스트 생성 모델은 LLaMA, ChatGLM, BLOOM, GPT2, Seq2Seq, BART, T5, UDA 등 모델의 훈련 및 예측을 구현하며 즉시 사용 가능합니다.
BERT부터 GPT-4까지의 트랜스포머 모델, Hugging Face부터 OpenAI까지의 환경. 미세 조정, 훈련 및 프롬프트 엔지니어링 예제. ChatGPT, GPT-3.5-turbo, GPT-4 및 DALL-E를 포함한 보너스 섹션에는 GPT-4 점프 스타트, 음성 텍스트 변환, 텍스트 음성 변환, DALL-E를 사용한 텍스트 이미지 생성, Google Cloud AI, HuggingGPT 등이 포함됩니다.
"GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) 및 "Text Simplification by Tagging" (BEA-21) 논문의 공식 구현
다중 레이블 텍스트 분류, 다중 레이블 분류, 텍스트 분류, multi-label, classifier, text classification, BERT, seq2seq, attention, multi-label-classification
PatrickStar는 NLP를 위한 더 크고, 빠르며, 친환경적인 사전 훈련된 모델을 가능하게 하고 모든 사람을 위한 AI를 민주화합니다.
LLM-PowerHouse: 맞춤형 교육 및 추론을 위한 엄선된 튜토리얼, 모범 사례 및 바로 사용할 수 있는 코드를 통해 LLM의 잠재력을 발휘하십시오.
JointBERT의 PyTorch 구현: "BERT for Joint Intent Classification and Slot Filling"
Awesome-LLM-Eval: LLM 평가를 위한 도구, 데이터셋/벤치마크, 데모, 리더보드, 논문, 문서 및 모델을 선별한 목록입니다. 생성형 AI의 기술적 경계를 탐구하기 위해 기본 대규모 모델 평가에 주로 초점을 맞춘 도구, 벤치마크/데이터, 데모, 순위표 및 대규모 모델의 선별된 목록입니다.
인도네시아어 최초의 방대한 자연어 처리 벤치마크입니다. 여러 하위 작업, 사전 훈련된 IndoBERT 모델 및 시작 코드를 제공합니다! (AACL-IJCNLP 2020)
TensorFlow를 사용하여 텍스트 전처리부터, Topic Models, BERT, GPT, LLM과 같은 최신 모델의 다운스트림 태스크들을 정리한 Deep Learning NLP 저장소입니다.
Natural Language Processing with Transformers 중국어 번역본, 가장 권위 있는 Transformers 튜토리얼