「ChatGPT」基礎知識
OpenAIが開発したチャットGPTは、人工知能（AI）を用いた会話能力を持つチャットボットです。GPTとはGenerative Pretrained Transformerの略であり、先程歴史の中で出てきたTransformerをベースにした事前学習生成モデルのこと、昨今のAIの進化は2017年に登場したTransformerをベースにしており、話題のGPTもTransformerを活用した技術です。
hatGPTの登場により、GPTという言葉をよく聞くようになったと思いますが、既にその時には「GPT-3」GPT-1やGPT-2はないのか？って疑問に思ったことありませんか？
GPT-1が2018年に発表され、2019年にはGPT-2、2020年にはGPT-3、そして2022年にGPT-3.5にあたるChatGPT、2023年にGPT-4が発表されました。
GPTは何がすごいのか？
GPTの論文（GPT-1）はOpenAIから2018年に発表されました。GPTの仕組み（すごいところ）は、事前学習後に転移学習(ファインチューニング)をすることによって、さまざまな自然言語処理タスクを高い精度で行える点（事前学習は教師なし学習によって行われ、転移学習(ファインチューニング)は教師あり学習です）。
教師あり学習は、各データポイントに正解ラベルが付けられたデータを必要とします。このラベルを手動で作成することは非常にコストがかかるため、大量の学習データを準備するのが難しいです。
一方、教師なし学習はラベルなしのデータを使用するため、学習データを集めるコストを大幅に削減できます。
研究によれば、特徴抽出に基づく教師なし学習の方法は、手動でラベルを付ける教師あり学習よりも優れた結果を出すことが分かっています。
半教師あり学習は、教師あり学習と教師なし学習を組み合わせることで、より効率的に学習し、より良い結果を得る方法です。
GPT-1→GPT-2への進化、GPT-3が登場したの2020年
GPT-2が登場したのはGPT-1登場から1年後の2019年。
パラメータ数と学習に使うデータ量が劇的に変わりました！
パラメータ数は1.17億から15億へ
学習データは4GB（BooksCorpus：7000を超える本から構成）から40GB（大量のWebページから構成される800万文書）へ
モデルのアーキテクチャは12レイヤーから48レイヤーへ
大量のデータを用いて学習したことで、かなり高精度に進化しています。
GPT-2→GPT-3への進化はどうだったでしょうか？ GPT-3が登場したの2020年。GPT-2の時と同じくパラメータ数と学習に使うデータ量が変わりました。
パラメータ数は15億から1750億へ
学習データは40GB（大量のWebページから構成される800万文書）から約45TB（より大量のテキストデータからなる学習データセット）へ
GPT-3が出力したテキストは人間に近い程の高精度！
GPT-3.5が登場したのは2022年で「ChatGPT」によって注目を浴びることになります。
GPT-3.5では主に、パラメータ数が変わりました。
パラメータ数1750億から3550億へ
チャットという親しみやすく、一般的に使いやすい形でリリースされたことで、認知され一気にGPTが爆発的に広まりました。
ChatGPTの仕組みとして、人間のフィードバックによる強化学習というInstructGPTの仕組みが用いられています。InstructGPTの最大の特徴は、「人間のフィードバックをもとにモデルを学習させる」ことです。これは、RLHF（＝Reinforcement Learning from Human Feedback） という手法を用いることで実現できます。
GPT-3.5からGPT-4へ
GPT-4は2023年3月14日に公開！
司法試験など多くの試験での精度向上や多言語での精度向上など、全体的に飛躍的に精度が上がり、画像の入力に対する対応などマルチモーダルに対応したのもポイント。
そして、10月2024年現在ではGPT-4以降のモデルも発表されています。
GPT-4以降のモデルは、主に以下のような特徴があります。
- 理解力の向上: より複雑な質問や文脈を理解し、適切な応答を生成する能力が向上しています。
- 生成の質: より自然で流暢な文章を生成することができ、会話がスムーズになります。
- 多様なタスク対応: さまざまなタスク（文章要約、翻訳、質問応答など）に対して高い性能を発揮します。
- インタラクティブ性: ユーザーとの対話を通じて、よりパーソナライズされた応答が可能になっています。
- 新しい機能: 画像認識や音声応答など、多様なメディアに対応する機能が追加されています。
GPT-4以降は、無料版と有料版の両方があり、有料版ではより高度な機能や応答の質が保証されます。
「GPTs」とは、OpenAIが開発した一連のGenerative Pre-trained Transformers（生成的事前学習変換器）の略称です。これには、さまざまなバージョン（GPT-1、GPT-2、GPT-3、GPT-4など）が含まれ、それぞれが異なるデータセットやアルゴリズムで訓練されています。GPTsは自然言語処理に特化しており、テキスト生成、翻訳、要約など、多様なタスクをこなす能力を持っています。また、特定のタスクに特化した「カスタムGPT」も作成でき、ユーザーのニーズに応じた応答が可能です。
