Improving Language Understanding by Generative Pre-Training(GPT)
Raw text를 효과적으로 학습하는 것은 NLP에 있어 supervised learning에 대한 의존을 줄일 수 있는 중요한 문제이다.
Recent posts
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
기존의 연구들은 고정된 길이의 문맥만 처리할 수 있다는 한계를 갖고 있었다.
XLNet: Generalized Autoregressive Pretraining for Language Understanding
XLNet은 GPT 같은 AutoRegressive(AR) 모델과 BERT 같은 AutoEncoder(AE) 모델의 장점을 합친 generalized AR pretraining 모델이다.
쿠버네티스(Kubernetes)
지난번 도커 포스팅에서는 도커에 대해 알아봤다.
단어 분리(Subword Segmentation)
BPE(Byte Pair Encoding)