Posts by Tag

• NLP 23
• Deep Learning 20
• Attention 12
• Language Model 12
• Transformer 9
• Machine Learning 7
• Dimension Reduction 3
• Multi Turn 3
• Chatbot 3
• BERT 2
• BPE 2
• Transformer-XL 2
• GPT 2
• Response Generation 2
• Machine Translation 2
• Sequence Labeling 2
• NER 2
• KB 2
• Cross Entropy 1
• PCA 1
• SVD 1
• t-SNE 1
• Sentiment Analysis 1
• Word2Vec 1
• Word Embedding 1
• Docker 1
• Question Answering 1
• History 1
• Subword Segmentation 1
• WPM 1
• Kubernetes 1
• XLNet 1
• Zero-shot 1
• ELMo 1
• Worker Model 1
• Crowdsourcing 1
• EM 1
• BP 1
• Continual Learning 1
• Dialogue State Tracking 1
• Belief Tracking 1
• Decoding 1

NLP

Decoding methods

이번 포스팅에서는 languge generation의 여러 decoding method들에 대해 알아보고자 한다.

DST(Dialogue State Tracking)

이번 포스팅에서는 DST(Dialogue State Tracking)에 대해 알아보고자 한다.

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

본 연구는 ERNIE: Enhanced Language Representation with Informative Entities의 후속 연구이다.

ERNIE: Enhanced Language Representation with Informative Entities

BERT와 같은 PLM(Pretrained Language Model)들은 text에서 language information을 잘 파악할 수 있다.

Pooled Contextualized Embeddings for Named Entity Recognition

Word embedding은 단어들의 latent semantic을 표현하는 방법이며, NLP에 있어 중요한 기술이다.

Contextual String Embeddings for Sequence Labeling

Sequence labeling은 NER(Named Entity Recognition), POS(Part Of Speech) tagging 처럼 여러 token들로 이루어진 sequnece를 분류하는 task를 말한다.

기계 번역

1. 개발 도구

Non-Autoregressive Neural Machine Translation

최근의 neural network를 사용하는 machine translation 모델들은 기존의 통계적인 모델에 비해 좋은 성능을 내지만, decoder의 autoregressive한 특성 때문에 속도가 느린 단점이 있다.

Character-Level Language Modeling with Deeper Self-Attention

Character level의 langauge model은 다음과 같은 어려움이 있다.

Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

사람과 open domain topic에 대해서 자연스럽게 대화할 수 있는 챗봇에 대한 연구는 계속 진행되고 있다.

Hierarchical Recurrent Attention Network for Response Generation

챗봇 시스템은 크게 특정한 task에만 한정된 task oriented 챗봇과 특정 task에 제한되지 않고 자연스럽고 사람처럼 대화하는 non task oriented 챗봇, 두 종류가 있다.

Deep contextualized word representations(ELMo)

Pretrained word representation 방법은 language understanding 분야에서 중요한 요소이다.

Zero-shot Learning of Classifiers from Natural Language Quantification

Siri, Alexa, Google Home 같은 사용자들과 상호작용하는 시스템들이 발전하고 있다.

Language Models are Unsupervised Multitask Learners(GPT-2)

Question answering. machine translation, reading comprehension and summarization 등의 NLP task들은 보통 해당 task에 맞는 특정 dataset에서 supervised 방식으로 학습된다.

Improving Language Understanding by Generative Pre-Training(GPT)

Raw text를 효과적으로 학습하는 것은 NLP에 있어 supervised learning에 대한 의존을 줄일 수 있는 중요한 문제이다.

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

기존의 연구들은 고정된 길이의 문맥만 처리할 수 있다는 한계를 갖고 있었다.

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet은 GPT 같은 AutoRegressive(AR) 모델과 BERT 같은 AutoEncoder(AE) 모델의 장점을 합친 generalized AR pretraining 모델이다.

단어 분리(Subword Segmentation)

BPE(Byte Pair Encoding)

BERT with History Answer Embedding for Conversational Question Answering

전통적인 AI들은 크게 3가지 유형으로 분류된다.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT(Bidirectional Encoder Representations from Transformer)

Attention Is All You Need

Attention

Word2Vec

이번 포스팅에서 다룰 내용은 Word embedding 기술중 하나인 Word2Vec이다.

한국어 감정 분석

1. 개발 도구

Back to top ↑

Deep Learning

DST(Dialogue State Tracking)

이번 포스팅에서는 DST(Dialogue State Tracking)에 대해 알아보고자 한다.

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

본 연구는 ERNIE: Enhanced Language Representation with Informative Entities의 후속 연구이다.

ERNIE: Enhanced Language Representation with Informative Entities

BERT와 같은 PLM(Pretrained Language Model)들은 text에서 language information을 잘 파악할 수 있다.

Pooled Contextualized Embeddings for Named Entity Recognition

Word embedding은 단어들의 latent semantic을 표현하는 방법이며, NLP에 있어 중요한 기술이다.

Contextual String Embeddings for Sequence Labeling

Sequence labeling은 NER(Named Entity Recognition), POS(Part Of Speech) tagging 처럼 여러 token들로 이루어진 sequnece를 분류하는 task를 말한다.

기계 번역

1. 개발 도구

Non-Autoregressive Neural Machine Translation

최근의 neural network를 사용하는 machine translation 모델들은 기존의 통계적인 모델에 비해 좋은 성능을 내지만, decoder의 autoregressive한 특성 때문에 속도가 느린 단점이 있다.

Character-Level Language Modeling with Deeper Self-Attention

Character level의 langauge model은 다음과 같은 어려움이 있다.

Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

사람과 open domain topic에 대해서 자연스럽게 대화할 수 있는 챗봇에 대한 연구는 계속 진행되고 있다.

Hierarchical Recurrent Attention Network for Response Generation

챗봇 시스템은 크게 특정한 task에만 한정된 task oriented 챗봇과 특정 task에 제한되지 않고 자연스럽고 사람처럼 대화하는 non task oriented 챗봇, 두 종류가 있다.

Deep contextualized word representations(ELMo)

Pretrained word representation 방법은 language understanding 분야에서 중요한 요소이다.

Zero-shot Learning of Classifiers from Natural Language Quantification

Siri, Alexa, Google Home 같은 사용자들과 상호작용하는 시스템들이 발전하고 있다.

Language Models are Unsupervised Multitask Learners(GPT-2)

Question answering. machine translation, reading comprehension and summarization 등의 NLP task들은 보통 해당 task에 맞는 특정 dataset에서 supervised 방식으로 학습된다.

Improving Language Understanding by Generative Pre-Training(GPT)

Raw text를 효과적으로 학습하는 것은 NLP에 있어 supervised learning에 대한 의존을 줄일 수 있는 중요한 문제이다.

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

기존의 연구들은 고정된 길이의 문맥만 처리할 수 있다는 한계를 갖고 있었다.

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet은 GPT 같은 AutoRegressive(AR) 모델과 BERT 같은 AutoEncoder(AE) 모델의 장점을 합친 generalized AR pretraining 모델이다.

BERT with History Answer Embedding for Conversational Question Answering

전통적인 AI들은 크게 3가지 유형으로 분류된다.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT(Bidirectional Encoder Representations from Transformer)

Attention Is All You Need

Attention

한국어 감정 분석

1. 개발 도구

Back to top ↑

Attention

기계 번역

1. 개발 도구

Non-Autoregressive Neural Machine Translation

최근의 neural network를 사용하는 machine translation 모델들은 기존의 통계적인 모델에 비해 좋은 성능을 내지만, decoder의 autoregressive한 특성 때문에 속도가 느린 단점이 있다.

Character-Level Language Modeling with Deeper Self-Attention

Character level의 langauge model은 다음과 같은 어려움이 있다.

Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

사람과 open domain topic에 대해서 자연스럽게 대화할 수 있는 챗봇에 대한 연구는 계속 진행되고 있다.

Hierarchical Recurrent Attention Network for Response Generation

챗봇 시스템은 크게 특정한 task에만 한정된 task oriented 챗봇과 특정 task에 제한되지 않고 자연스럽고 사람처럼 대화하는 non task oriented 챗봇, 두 종류가 있다.

Language Models are Unsupervised Multitask Learners(GPT-2)

Question answering. machine translation, reading comprehension and summarization 등의 NLP task들은 보통 해당 task에 맞는 특정 dataset에서 supervised 방식으로 학습된다.

Improving Language Understanding by Generative Pre-Training(GPT)

Raw text를 효과적으로 학습하는 것은 NLP에 있어 supervised learning에 대한 의존을 줄일 수 있는 중요한 문제이다.

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

기존의 연구들은 고정된 길이의 문맥만 처리할 수 있다는 한계를 갖고 있었다.

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet은 GPT 같은 AutoRegressive(AR) 모델과 BERT 같은 AutoEncoder(AE) 모델의 장점을 합친 generalized AR pretraining 모델이다.

BERT with History Answer Embedding for Conversational Question Answering

전통적인 AI들은 크게 3가지 유형으로 분류된다.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT(Bidirectional Encoder Representations from Transformer)

Attention Is All You Need

Attention

Back to top ↑

Language Model

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

본 연구는 ERNIE: Enhanced Language Representation with Informative Entities의 후속 연구이다.

ERNIE: Enhanced Language Representation with Informative Entities

BERT와 같은 PLM(Pretrained Language Model)들은 text에서 language information을 잘 파악할 수 있다.

Pooled Contextualized Embeddings for Named Entity Recognition

Word embedding은 단어들의 latent semantic을 표현하는 방법이며, NLP에 있어 중요한 기술이다.

Contextual String Embeddings for Sequence Labeling

Sequence labeling은 NER(Named Entity Recognition), POS(Part Of Speech) tagging 처럼 여러 token들로 이루어진 sequnece를 분류하는 task를 말한다.

Non-Autoregressive Neural Machine Translation

최근의 neural network를 사용하는 machine translation 모델들은 기존의 통계적인 모델에 비해 좋은 성능을 내지만, decoder의 autoregressive한 특성 때문에 속도가 느린 단점이 있다.

Character-Level Language Modeling with Deeper Self-Attention

Character level의 langauge model은 다음과 같은 어려움이 있다.

Deep contextualized word representations(ELMo)

Pretrained word representation 방법은 language understanding 분야에서 중요한 요소이다.

Language Models are Unsupervised Multitask Learners(GPT-2)

Question answering. machine translation, reading comprehension and summarization 등의 NLP task들은 보통 해당 task에 맞는 특정 dataset에서 supervised 방식으로 학습된다.

Improving Language Understanding by Generative Pre-Training(GPT)

Raw text를 효과적으로 학습하는 것은 NLP에 있어 supervised learning에 대한 의존을 줄일 수 있는 중요한 문제이다.

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

기존의 연구들은 고정된 길이의 문맥만 처리할 수 있다는 한계를 갖고 있었다.

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet은 GPT 같은 AutoRegressive(AR) 모델과 BERT 같은 AutoEncoder(AE) 모델의 장점을 합친 generalized AR pretraining 모델이다.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT(Bidirectional Encoder Representations from Transformer)

Back to top ↑

Transformer

기계 번역

1. 개발 도구

Non-Autoregressive Neural Machine Translation

최근의 neural network를 사용하는 machine translation 모델들은 기존의 통계적인 모델에 비해 좋은 성능을 내지만, decoder의 autoregressive한 특성 때문에 속도가 느린 단점이 있다.

Character-Level Language Modeling with Deeper Self-Attention

Character level의 langauge model은 다음과 같은 어려움이 있다.

Language Models are Unsupervised Multitask Learners(GPT-2)

Question answering. machine translation, reading comprehension and summarization 등의 NLP task들은 보통 해당 task에 맞는 특정 dataset에서 supervised 방식으로 학습된다.

Improving Language Understanding by Generative Pre-Training(GPT)

Raw text를 효과적으로 학습하는 것은 NLP에 있어 supervised learning에 대한 의존을 줄일 수 있는 중요한 문제이다.

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

기존의 연구들은 고정된 길이의 문맥만 처리할 수 있다는 한계를 갖고 있었다.

BERT with History Answer Embedding for Conversational Question Answering

전통적인 AI들은 크게 3가지 유형으로 분류된다.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT(Bidirectional Encoder Representations from Transformer)

Attention Is All You Need

Attention

Back to top ↑

Machine Learning

Worker Model for Crowdsourcing

1. 개발 도구

t-SNE

지난번 포스팅에 이어 차원축소와 시각화에 많이 사용되는 t-SNE에 대해 알아보고자 한다.

SVD(Singular Value Decomposition)

지난번 포스팅에 이어 차원축소에 많이 사용되는 SVD에 대해 알아보고자 한다.

PCA(Principal Component Analysis)

이번 포스팅에서는 차원축소에 많이 사용되는 PCA에 대해 알아보고자 한다.

크로스 엔트로피(Cross Entropy)

이번 포스팅에서는 딥 러닝 모델의 손실 함수에 사용되는 크로스 엔트로피에 관해 살펴보고자 한다.

ROC curve와 AUC, F1-score

지난 포스팅에 이어 이번에는 ROC (Receiver Operating Characteristics) curve와 AUC (Area Under Curve)그리고 F1-score에 대해 소개하고자 한다.

머신 러닝 분류 모델 평가

머신 러닝 모델을 만들었다면 그 모델을 사용하기 전에 성능을 평가해야 한다.

Back to top ↑

Dimension Reduction

t-SNE

지난번 포스팅에 이어 차원축소와 시각화에 많이 사용되는 t-SNE에 대해 알아보고자 한다.

SVD(Singular Value Decomposition)

지난번 포스팅에 이어 차원축소에 많이 사용되는 SVD에 대해 알아보고자 한다.

PCA(Principal Component Analysis)

이번 포스팅에서는 차원축소에 많이 사용되는 PCA에 대해 알아보고자 한다.

Back to top ↑

Multi Turn

Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

사람과 open domain topic에 대해서 자연스럽게 대화할 수 있는 챗봇에 대한 연구는 계속 진행되고 있다.

Hierarchical Recurrent Attention Network for Response Generation

챗봇 시스템은 크게 특정한 task에만 한정된 task oriented 챗봇과 특정 task에 제한되지 않고 자연스럽고 사람처럼 대화하는 non task oriented 챗봇, 두 종류가 있다.

BERT with History Answer Embedding for Conversational Question Answering

전통적인 AI들은 크게 3가지 유형으로 분류된다.

Back to top ↑

Chatbot

DST(Dialogue State Tracking)

이번 포스팅에서는 DST(Dialogue State Tracking)에 대해 알아보고자 한다.

Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

사람과 open domain topic에 대해서 자연스럽게 대화할 수 있는 챗봇에 대한 연구는 계속 진행되고 있다.

Hierarchical Recurrent Attention Network for Response Generation

챗봇 시스템은 크게 특정한 task에만 한정된 task oriented 챗봇과 특정 task에 제한되지 않고 자연스럽고 사람처럼 대화하는 non task oriented 챗봇, 두 종류가 있다.

Back to top ↑

BERT

BERT with History Answer Embedding for Conversational Question Answering

전통적인 AI들은 크게 3가지 유형으로 분류된다.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT(Bidirectional Encoder Representations from Transformer)

Back to top ↑

BPE

기계 번역

1. 개발 도구

단어 분리(Subword Segmentation)

BPE(Byte Pair Encoding)

Back to top ↑

Transformer-XL

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

기존의 연구들은 고정된 길이의 문맥만 처리할 수 있다는 한계를 갖고 있었다.

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet은 GPT 같은 AutoRegressive(AR) 모델과 BERT 같은 AutoEncoder(AE) 모델의 장점을 합친 generalized AR pretraining 모델이다.

Back to top ↑

GPT

Language Models are Unsupervised Multitask Learners(GPT-2)

Question answering. machine translation, reading comprehension and summarization 등의 NLP task들은 보통 해당 task에 맞는 특정 dataset에서 supervised 방식으로 학습된다.

Improving Language Understanding by Generative Pre-Training(GPT)

Raw text를 효과적으로 학습하는 것은 NLP에 있어 supervised learning에 대한 의존을 줄일 수 있는 중요한 문제이다.

Back to top ↑

Response Generation

Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

사람과 open domain topic에 대해서 자연스럽게 대화할 수 있는 챗봇에 대한 연구는 계속 진행되고 있다.

Hierarchical Recurrent Attention Network for Response Generation

챗봇 시스템은 크게 특정한 task에만 한정된 task oriented 챗봇과 특정 task에 제한되지 않고 자연스럽고 사람처럼 대화하는 non task oriented 챗봇, 두 종류가 있다.

Back to top ↑

Machine Translation

기계 번역

1. 개발 도구

Non-Autoregressive Neural Machine Translation

최근의 neural network를 사용하는 machine translation 모델들은 기존의 통계적인 모델에 비해 좋은 성능을 내지만, decoder의 autoregressive한 특성 때문에 속도가 느린 단점이 있다.

Back to top ↑

Sequence Labeling

Pooled Contextualized Embeddings for Named Entity Recognition

Word embedding은 단어들의 latent semantic을 표현하는 방법이며, NLP에 있어 중요한 기술이다.

Contextual String Embeddings for Sequence Labeling

Sequence labeling은 NER(Named Entity Recognition), POS(Part Of Speech) tagging 처럼 여러 token들로 이루어진 sequnece를 분류하는 task를 말한다.

Back to top ↑

NER

Pooled Contextualized Embeddings for Named Entity Recognition

Word embedding은 단어들의 latent semantic을 표현하는 방법이며, NLP에 있어 중요한 기술이다.

Contextual String Embeddings for Sequence Labeling

Sequence labeling은 NER(Named Entity Recognition), POS(Part Of Speech) tagging 처럼 여러 token들로 이루어진 sequnece를 분류하는 task를 말한다.

Back to top ↑

KB

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

본 연구는 ERNIE: Enhanced Language Representation with Informative Entities의 후속 연구이다.

ERNIE: Enhanced Language Representation with Informative Entities

BERT와 같은 PLM(Pretrained Language Model)들은 text에서 language information을 잘 파악할 수 있다.

Back to top ↑

Cross Entropy

크로스 엔트로피(Cross Entropy)

이번 포스팅에서는 딥 러닝 모델의 손실 함수에 사용되는 크로스 엔트로피에 관해 살펴보고자 한다.

Back to top ↑

PCA

PCA(Principal Component Analysis)

이번 포스팅에서는 차원축소에 많이 사용되는 PCA에 대해 알아보고자 한다.

Back to top ↑

SVD

SVD(Singular Value Decomposition)

지난번 포스팅에 이어 차원축소에 많이 사용되는 SVD에 대해 알아보고자 한다.

Back to top ↑

t-SNE

t-SNE

지난번 포스팅에 이어 차원축소와 시각화에 많이 사용되는 t-SNE에 대해 알아보고자 한다.

Back to top ↑

Sentiment Analysis

한국어 감정 분석

1. 개발 도구

Back to top ↑

Word2Vec

Word2Vec

이번 포스팅에서 다룰 내용은 Word embedding 기술중 하나인 Word2Vec이다.

Back to top ↑

Word Embedding

Word2Vec

이번 포스팅에서 다룰 내용은 Word embedding 기술중 하나인 Word2Vec이다.

Back to top ↑

Docker

도커(Docker)

이번 포스팅에서는 도커(Docker)에 대해서 알아보고자 한다.

Back to top ↑

Question Answering

BERT with History Answer Embedding for Conversational Question Answering

전통적인 AI들은 크게 3가지 유형으로 분류된다.

Back to top ↑

History

BERT with History Answer Embedding for Conversational Question Answering

전통적인 AI들은 크게 3가지 유형으로 분류된다.

Back to top ↑

Subword Segmentation

단어 분리(Subword Segmentation)

BPE(Byte Pair Encoding)

Back to top ↑

WPM

단어 분리(Subword Segmentation)

BPE(Byte Pair Encoding)

Back to top ↑

Kubernetes

쿠버네티스(Kubernetes)

지난번 도커 포스팅에서는 도커에 대해 알아봤다.

Back to top ↑

XLNet

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet은 GPT 같은 AutoRegressive(AR) 모델과 BERT 같은 AutoEncoder(AE) 모델의 장점을 합친 generalized AR pretraining 모델이다.

Back to top ↑

Zero-shot

Zero-shot Learning of Classifiers from Natural Language Quantification

Siri, Alexa, Google Home 같은 사용자들과 상호작용하는 시스템들이 발전하고 있다.

Back to top ↑

ELMo

Deep contextualized word representations(ELMo)

Pretrained word representation 방법은 language understanding 분야에서 중요한 요소이다.

Back to top ↑

Worker Model

Worker Model for Crowdsourcing

1. 개발 도구

Back to top ↑

Crowdsourcing

Worker Model for Crowdsourcing

1. 개발 도구

Back to top ↑

EM

Worker Model for Crowdsourcing

1. 개발 도구

Back to top ↑

BP

Worker Model for Crowdsourcing

1. 개발 도구

Back to top ↑

Continual Learning

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

본 연구는 ERNIE: Enhanced Language Representation with Informative Entities의 후속 연구이다.

Back to top ↑

Dialogue State Tracking

DST(Dialogue State Tracking)

이번 포스팅에서는 DST(Dialogue State Tracking)에 대해 알아보고자 한다.

Back to top ↑

Belief Tracking

DST(Dialogue State Tracking)

이번 포스팅에서는 DST(Dialogue State Tracking)에 대해 알아보고자 한다.

Back to top ↑

Decoding

Decoding methods

이번 포스팅에서는 languge generation의 여러 decoding method들에 대해 알아보고자 한다.

Back to top ↑