第二次LLMブームに思いを馳せる
第二次LLMブーム？
2023年は大規模言語モデル（LLM）が大きな注目を集めた年でした。特にChatGPTやGoogleのBard、Claude2などのモデルが話題を呼び、GPT-4は大学入試共通テストで高い成績を収めるなど、その優れた性能が示されました。しかし、これらのモデルは医師国家試験合格レベルにはまだ達していないとされています。
日本国内では、NTTの「tsuzumi」やサイバーエージェントの「CyberAgentLM2-7B」、ストックマークの「Stockmark-13b」など、様々な企業が独自のLLMを開発しています。
ドメインに特化したLLMの開発も様々な分野で進められています。例えば、ブルームバーグ社は金融アーカイブを利用して、金融機関向けに特化した大規模言語モデルを構築しています。このモデルは、金融関連のデータや動向を分析し、専門的な情報提供を可能にすることが期待されています。弁護士ドットコムは、あらゆるリーガルデータを学習させたリーガル領域に特化したLLMの開発を進めています。
これらのモデルは特定の業界や日本語のニュアンスに特化したもので、GPT-4には及ばないものの、国産LLMとしてのポテンシャルを持っています。
様々な大規模言語モデル（LLM）が開発されていますが、これらのモデルには、知識が自動的に更新されないという課題があります。既存知識の更新や新知識の注入は、これらのモデルの進化において重要な要素です。主な手法としてファインチューニングやRAG（Retrieval-Augmented Generation）が知られています。最近の研究によれば、RAGはファインチューニングよりも一貫して効果的であるとされていますが、既存知識の更新や新知識の注入に関して確立された方法はまだありません。
今のブームを第一次LLMブームとすると、既存知識の更新や新知識の注入が容易に行えるLLMの登場は、第二次LLMブームを巻き起こす可能性があります。ファインチューニングやRAGを超えるLLMの追加学習が必要なのは、LLMにとって知識の統合が重要な性質であるからです。
例えば、GPT-4に次のプロンプトを与えます。
靴下が汚れたので、裏返して履き直した
靴が汚れたので裏返して履き直した
この2つの文それぞれのとんちを教えて。
すると、次の回答が得られました。
この２つの文に含まれる「とんち」（日本の伝統的なユーモアや機知）は、物理的な不可能性や非現実性に基づいています。
「靴下が汚れたので、裏返して履き直した」
この文のとんちは、靴下を裏返すことが実際に可能であり、汚れた部分を隠す一時的な解決策として機能するという点にあります。実際には、この方法は不衛生であり、実用的ではありませんが、その独創性と実行可能性にユーモアがあります。
「靴が汚れたので裏返して履き直した」
この文のとんちは、靴を裏返して履くことが物理的に不可能であるという点にあります。靴を裏返して履くことは現実的ではないため、この提案の非現実性がユーモアを生み出しています。実際には不可能な解決策を真剣に提案することに、面白さがあるのです。
両方の文は、日常生活の状況を非現実的または奇妙な方法で解決しようとする点でユーモアを持っています。
この文章を生成するためには、LLMが靴を「理解」している必要があります。もし、LLMが学習した文章をそっくりそのまま引き出しているだけならば、学習データに靴が物理的に裏返せるかどうかを書いた文章を含んでいるはずです。しかし、そのような文章がLLMのパラメータを更新するほどの量だけ学習データに存在するでしょうか。
RAGが行っているのはストアしたデータを、すなわち知識を引き出すことまでではないでしょうか。知識を統合し、靴を裏返して履くことが物理的に不可能であるという「理解」まで到達できないのではないでしょうか。
LLMの用途は主にアイデア出しや文章生成が適切で、検索エンジンのように知識を引き出すことはまだ難しいと考えられています（ソフトバンクＧの孫氏の講演；14分10秒付近）。
しかし、将来的にはファインチューニングか何らかの方法で、LLMに追加の知識を「理解」させることができるようになるでしょう。そのとき、LLMは真価を発揮して、様々なデータから物事の本質を「理解」し、我々に新たな知見をもたらすに違いありません。
シンギュラリティはもうすぐ？
シンギュラリティはいつ来るのでしょうか？落合陽一氏は2025年頃と考えています。
しかし、GPT4が登場してそろそろ一年が経とうとしていますが、エンジニア界隈以外の世界ではそれほど利用が進んでないと考えられます。
創業手帳の読者層は、ほとんどの方が起業家や経営者という中で、まずは一体どのくらいの人がChatGPTを使った事があるのかを聞いてみたところ、有効回答数562件のうち371件が「ある」と答え、全体の66％の人が使ったことがあることがわかりました。
起業家や経営者というアクティブな人達でさえ、ChatGPTを使った事があるのか（日常的に使うかではない！）という質問に対し、3割は使ったことがないと回答しているのです。なおさら、ITに詳しくない、興味がない、興味を持つ必要がない人達は使ったことがないでしょう。LLMが世間に浸透するのにはきっかけが必要となるでしょう。
きっかけとなるのは、おそらくAIマネージャーです。AIマネージャーは問いかけに対応するだけでなく、自ら提案をします。AIマネージャーは、朝起きて家を出る前に今日の天気を教えてくれ、前日の消費カロリーに合わせて食事を提案し、会社からの帰り道ではストックが無くなった日用品をドラッグストアで買うように提案してきます。ほとんどの人は、LLMが話しかけてきて初めて、LLMを活用するようになるでしょう。
AIマネージャーはAIエージェントの先にあります。AIエージェントとは、「人が指示を出さなくても、設定したゴールを達成するためにAI自身が自分でやることを考え実行するAI」です。具体的にはAutoGPTや、BabyAGIといった技術で、AI自身の目的の達成に必要なことをタスクリスト化し、順序立ててITツールを使用してタスクを消化していきます。
AIマネージャーは言うならば、AIエージェントに対して、「奉仕する対象の人間の幸福をゴールに設定された、人間をサポートし続けるAI」です。AIマネージャーは対象の人間のライフログや空間情報を取得し、対象の人間が欲していることを推測して、AI自身のタスクに追加し、タスクを実行していきます。このように書くと大仰な感じがしますが、実際は地味な機能の実装から始まると思われます。
- 位置情報から帰宅中であることを推測してあらかじめエアコンを点ける
- 冷蔵庫の中身や棚の中身を認識してストックが無いものの購入提案
- 天気予報で気温が低いことを確認し厚着を提案する
これらの要素は既に実現可能な機能ですが、AIが自発的に対話を通して柔軟に実行するためには高度なLLMが必要になると考えられます。現在のデータから何をすればいいのか、一般的にすべきこととパーソナライズされたことを区別し、実行した結果何が起こるのか予測するといったことは、知識の統合なくしてあり得ません。
シンギュラリティの時代は、LLMが単に問いかけに応えるだけでなく、自ら提案を行い、パーソナルな知識を持ち、それを「理解」するAIマネージャーの登場によって始まるでしょう。この日がいつ来るかは未知ですが、技術の進歩によりその可能性は高まっています。
