ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding
본 연구는 ERNIE: Enhanced Language Representation with Informative Entities의 후속 연구이다.
Posts by Category
논문리뷰
ERNIE: Enhanced Language Representation with Informative Entities
BERT와 같은 PLM(Pretrained Language Model)들은 text에서 language information을 잘 파악할 수 있다.
Pooled Contextualized Embeddings for Named Entity Recognition
Word embedding은 단어들의 latent semantic을 표현하는 방법이며, NLP에 있어 중요한 기술이다.
Contextual String Embeddings for Sequence Labeling
Sequence labeling은 NER(Named Entity Recognition), POS(Part Of Speech) tagging 처럼 여러 token들로 이루어진 sequnece를 분류하는 task를 말한다.
Non-Autoregressive Neural Machine Translation
최근의 neural network를 사용하는 machine translation 모델들은 기존의 통계적인 모델에 비해 좋은 성능을 내지만, decoder의 autoregressive한 특성 때문에 속도가 느린 단점이 있다.
Character-Level Language Modeling with Deeper Self-Attention
Character level의 langauge model은 다음과 같은 어려움이 있다.
Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
사람과 open domain topic에 대해서 자연스럽게 대화할 수 있는 챗봇에 대한 연구는 계속 진행되고 있다.
Hierarchical Recurrent Attention Network for Response Generation
챗봇 시스템은 크게 특정한 task에만 한정된 task oriented 챗봇과 특정 task에 제한되지 않고 자연스럽고 사람처럼 대화하는 non task oriented 챗봇, 두 종류가 있다.
Deep contextualized word representations(ELMo)
Pretrained word representation 방법은 language understanding 분야에서 중요한 요소이다.
Zero-shot Learning of Classifiers from Natural Language Quantification
Siri, Alexa, Google Home 같은 사용자들과 상호작용하는 시스템들이 발전하고 있다.
Language Models are Unsupervised Multitask Learners(GPT-2)
Question answering. machine translation, reading comprehension and summarization 등의 NLP task들은 보통 해당 task에 맞는 특정 dataset에서 supervised 방식으로 학습된다.
Improving Language Understanding by Generative Pre-Training(GPT)
Raw text를 효과적으로 학습하는 것은 NLP에 있어 supervised learning에 대한 의존을 줄일 수 있는 중요한 문제이다.
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
기존의 연구들은 고정된 길이의 문맥만 처리할 수 있다는 한계를 갖고 있었다.
XLNet: Generalized Autoregressive Pretraining for Language Understanding
XLNet은 GPT 같은 AutoRegressive(AR) 모델과 BERT 같은 AutoEncoder(AE) 모델의 장점을 합친 generalized AR pretraining 모델이다.
BERT with History Answer Embedding for Conversational Question Answering
전통적인 AI들은 크게 3가지 유형으로 분류된다.
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT(Bidirectional Encoder Representations from Transformer)
Attention Is All You Need
Attention
지식창고
Decoding methods
이번 포스팅에서는 languge generation의 여러 decoding method들에 대해 알아보고자 한다.
DST(Dialogue State Tracking)
이번 포스팅에서는 DST(Dialogue State Tracking)에 대해 알아보고자 한다.
쿠버네티스(Kubernetes)
지난번 도커 포스팅에서는 도커에 대해 알아봤다.
단어 분리(Subword Segmentation)
BPE(Byte Pair Encoding)
도커(Docker)
이번 포스팅에서는 도커(Docker)에 대해서 알아보고자 한다.
Word2Vec
이번 포스팅에서 다룰 내용은 Word embedding 기술중 하나인 Word2Vec이다.
t-SNE
지난번 포스팅에 이어 차원축소와 시각화에 많이 사용되는 t-SNE에 대해 알아보고자 한다.
SVD(Singular Value Decomposition)
지난번 포스팅에 이어 차원축소에 많이 사용되는 SVD에 대해 알아보고자 한다.
PCA(Principal Component Analysis)
이번 포스팅에서는 차원축소에 많이 사용되는 PCA에 대해 알아보고자 한다.
크로스 엔트로피(Cross Entropy)
이번 포스팅에서는 딥 러닝 모델의 손실 함수에 사용되는 크로스 엔트로피에 관해 살펴보고자 한다.
ROC curve와 AUC, F1-score
지난 포스팅에 이어 이번에는 ROC (Receiver Operating Characteristics) curve와 AUC (Area Under Curve)그리고 F1-score에 대해 소개하고자 한다.
머신 러닝 분류 모델 평가
머신 러닝 모델을 만들었다면 그 모델을 사용하기 전에 성능을 평가해야 한다.