つらねの日記

プログラムの進捗やゲームをプレイした感想などを書き連ねる日記。

2024-01-01から1年間の記事一覧

論文読み 「Improving Language Understanding by Generative Pre-Training」

https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf 前置きと感想 LLM触ることになりそうな気配がしたので、下の方から読んでいく感じ。 この論文自体にはこれと言ったことが書いてなくて、Transformersとlang…