글쓰기, 숫자 더하기나, SQL query, coding, 문장 완성 등 downstream task를 zero-shot 및 few-shot으로 수행할 수 있게 됨
GPT3에서 집중한 것
In-context learning
- LM은 원래 단어 sequence를 기반으로 다음 단어의 확률을 예측하는 것이었는데, 여기에 더해서 데이터 속의 패턴을 학습하기 시작함
- 여기에 example이나 description을 주면, 모델이 example의 패턴을 인식해서 과거 유사한 패턴을 찾고 task를 수행함
'딥러닝' 카테고리의 다른 글
| 논문리뷰 Diffusion Models already have a Semantic Latent Space (ICLR2023 notable-top-25%) (1) | 2023.09.26 |
|---|---|
| Text-to-image Diffusion Models in Generative AI:A Survey (0) | 2023.07.04 |
| GPT2 | Language Models are Unsupervised Multitask Learners (0) | 2023.06.30 |
| GPT1 | Improving Language Understandingby Generative Pre-Training (0) | 2023.06.29 |
| Stable Diffusion (0) | 2023.06.27 |
