生成AIはどこに向かうのか

2023.11.6

生成AIの学習の仕組み

昨年11月に無料のChatGPTがリリースされて以来、活用が急速に進んでいる。文書の自動生成の機能を誰もが利用できるようになり、あらゆる業界において、企画作業の下調べ、アイディア出し、素案作成などで活用されるようになっている。

指示・質問（プロンプト）に対して、なぜ自然な言語で機械が返してくれるのか。この基本的な仕組みと、将来の発展可能性を知っておくことは、これからのすべてのビジネスパーソンに必要なことと思われる。

まずAIがこのような作業をこなすためには、言葉の知識を学習させる必要がある。学習の基になるのはネット上にある大量の文書テキストデータで、具体的には次のようなイメージで学習する（「大規模言語モデル」と言われる）。ある文章について、途中から後ろを隠して次に来る単語は何かという課題を解いていく。このような課題をひたすらこなし、単語をうまく当てられるようになっていくにつれ、AIにはあらゆる単語と単語の関係性が蓄積されていくことになる。

蓄積する役割を果たすのが、脳の神経ネットワークを模したニューラルネットである。次に来る単語がうまく当てられるように、多層にわたる神経間の結びつきの強さ（重みづけ）が学習の過程で調整されていく（直観的には、図の真ん中部分でいわば大規模な数式が形成されその係数が調整されるイメージ）。この結果、入力に対してうまく出力できるようになったAIは、表面的な文字列の背後にある規則性、法則性といったものを獲得したということになる。こうして言葉の構造のみならず、課題そのものの解き方についても学習したのが、現在使われているChatGPTに代表される生成AIである。

つまりは生成AIが行っていることは、〇〇について教えてという質問に対し、あらゆる文字列の中から次に来る最も確からしい単語の結びつきを決定し、答えとして出力していることになる。

学習過程で現れる「創発」

生成AIの学習過程で、興味深い現象が起こることがわかっている。まず、学習の初期時点ではこなすことが難しかったものが、学習の規模が大きくなると突然できるようになるという現象である。課題をこなす能力を突如獲得したように見えるため、「創発」と呼ばれている。

もう一つは、生成AIが事前に訓練されていない課題もこなすことができる能力を発揮するようになるという点である。テキストの範囲内で学習しただけであるにも関わらず、指示すればやったことがない課題でもできてしまうという現象である。現在では生成AIのこうした性質を利用して、生成AIへの質問の仕方や順番を工夫することで、適切な回答を導き出すということが、一般ユーザーの間でもさかんに行われている。

これら二つの現象は、どうしてそうなるのかについては、現段階では解明されていない。しかし、子どもが成長過程で突然言葉を話すようになり、その後急速に言語能力を伸ばしていくこと、また、成長過程で学んだ様々な知識から、新しい課題に直面した時にもそれなりに対応できるようになっていくということに近い現象とも捉えられる。

脳との類似性

それもそのはずで、実は、神経回路を模したニューラルネットが大規模言語モデルで学習する仕組みは、人間の脳の働きと類似性が強いと考えられている。実際、ニューラルネットの中で獲得された数式（正確にはベクトル表現）と、人間が同じ課題をこなすときに現れる脳活動の解析結果に対応関係が見られるという研究もある。

また、大規模言語モデルをある種拡張したモデルによって、室内を歩き回りながら中の様子を学習するというシミュレーションを行ったところ、脳の海馬と言われる領域の細胞に相当するパターンが現れたとの研究もある。室内を歩き回りながら次に得られる感覚を予測する行動を繰り返すだけで、機械が脳の細胞に似た機能を獲得できたことを意味する。つまりは脳は、機械が次に来る単語を当てる課題を繰り返すだけで言葉の構造を学習するのと同じように、知識を獲得していることを示唆している。

将来的には、人間の脳と同じ問題解決能力を持つ人工知能である、汎用人口知能の開発につながっていくとの評価を下す専門家もいる。その点に脅威を感じ、研究開発には慎重であるべき、規制すべきとの意見も出てくるゆえんである。しかし、いったん進んだ技術開発に歯止めをかけることは難しく、逆にこのような研究が進展していくことが、今までわからなかった脳の情報処理の仕組みの解明につながっていくと考えられている。

図　言語モデルの概念図