BART는 Facebook에서 2019년에 발표한 논문입니다. 문장 이해와 문장 생성에 높은 성능을 가지고 있는 모델입니다. SKT에서 40GB 이상의 한국어 텍스트에 대해서 학습한 한국어 모델 KoBART를 배포해 한국어 텍스트에 대해서도 좋은 성능을 가지고 있습니다. 뉴스요약, 가사 생성 등 다양한 적용이 가능한데요! 이번 포스트에서 BART 모델의 구조와 사전학습에 대해서 소개하겠습니다. Abstract BART는 임의로 noise를 주어 텍스트를 손상 시킨 후 원래 텍스트를 재구성하기 위한 모델을 학습하는(denoising autoencoder) 사전학습 sequence-to-sequence model 입니다. Transformer 기반의 뉴럴 기계번역 구조를 사용합니다. 이는 bidirectio..

텐서플로 케라스를 이용한 딥러닝(박유성)을 기반으로 RNN의 적용과 응용을 정리했습니다.

Facebook에서 2019년에 발표한 논문인 RoBERTa에 대해서 소개하겠습니다. RoBERT는 BERT를 개선시킨 모델입니다. RoBERT는 높은 성능을 가져 다양하게 사용되고 있습니다. BERT의 어떤 요소들을 개선해 성능향상을 이루어냈는지 지금부터 소개하겠습니다. Abstract 사전학습된 언어모델은 성능의 개선을 이루어냈지만 학습의 계산이 무겁고 하이퍼파라미터의 값에 따라 결과에 큰 영향이 있습니다. 이전 논문(Devlin et al., 2019)에서는 BERT에 대해서 재현 연구(Replication study)를 통해 하이퍼파라미터와 데이터 사이즈가 미치는 영향에 대해서 알아봤습니다. BERT가 완벽하지 않고 BERT를 넘어서는 모델을 만들 수 있음을 확인했습니다. 본 논문에는 RoBERT..

NLP와 CV를 연결하는 Image Captioning의 모델을 소개하겠습니다. Image Captioning은 이미지의 내용을 설명하는 문장을 생성하는 것으로 CV와 NLP를 연결하는 인공지능 분야입니다. show and tell은 2015년 Google은 발표한 논문입니다. 이 논문에서는 CV와 머신번역을 결합한 deep recurrent 구조를 사용합니다. 이 모델은 training image가 주어졌을 때, target description의 likelihood를 최대화하는 방향으로 학습합니다. Introduction 기존의 CV에서 주된 목표였던 이미지 classification이나 object recognition문제보다 어려운 문제를 가지고 있습니다. 이미지에 들어있는 물체는 인식하는 것 뿐..

DACON 한국어 문장 관계 분류 경진대회 Premise 문장을 참고해 Hypothesis 문장이 참인지(Entailment), 거짓인지(Contradiction), 혹은 참/거짓 여부를 알 수 없는 문장인지(Neutral)를 판별하는 모델을 만드는 것이 목적입니다. RoBERTa와 KoELECTRA 모델을 사용했고 최종 5위를 할 수 있었습니다. 한국어 문장에 대한 다양한 전처리를 시도했고, 앙상블을 통해서 성능을 높일 수 있었습니다. 자세한 모델링 과정은 다음 데이콘에서 작성한 코드공유에서 확인할 수 있습니다! https://dacon.io/competitions/official/235875/codeshare/4596?page=3&dtype=recent [Private 6th/0.89555]RoBER..

CV와 NLP를 연결하는 image captioning에 대해서 공부해보자! image captioning 은 이미지를 언어로 설명하는 작업이다. 공부하면서 참고할 자료들을 모아두었다. https://paperswithcode.com/task/image-captioning Papers with Code - Image Captioning ( Image credit: [Reflective Decoding Network for Image Captioning, ICCV'19](https://openaccess.thecvf.com/content_ICCV_2019/papers/Ke_Reflective_Decoding_Network_for_Image_Captioning_ICCV_2019_paper.pdf) ) pap..