ChatGPT、Microsoft Copilot、Geminiをはじめとした大手外資系企業の生成AIが話題になっていますが、英語圏で作られたものは日本語での生成に弱いという点が指摘されることがあります。こうした流れを受け、日本でも日本語のLLM(大規模言語モデル)がリリースされはじめました。今回はそのうちの1つ、NTT「tsuzumi」を詳しく見ていきましょう。

国産LLMのメリットは？

『【2024年春最新】国内の<生成AI>動向をご紹介！』でも説明したとおり、経済産業省が主導する国内生成AI開発力強化プロジェクトGENIAC（ジーニアック）が開始し、国産のLLMが次々と開発されています。

国産LLM（大規模言語モデル＝Large Language Models）のメリットはなんといっても、日本語に強いこと。ChatGPTなど海外産の生成AIを英語、日本語の両方で使うと、英語で生成される文章に比較して、日本語で生成された文章の正確性が低いと感じたことがあるのではないでしょうか。

2024年3月にNTTが日本語LLM「tsuzumi（つづみ）」を発表したのに続き、NECが2024年春に「cotomi（コトミ）」を発表する予定です。ソフトバンクも2024年内にLLMを開発すると発表済みです。また、東京大学発の株式会社ELYZAも日本語LLMを開発、デモを公開しました。

小さいLLM

ELYZAが開発したLLM「ELYZA-japanese-Llama-2-70b」は、700憶パラメーターですが、tsuzumiは70憶と6億の2種類、cotomiは130億パラメーターです。ちなみに、GPT-4は約100兆個、Google GeminiはUltra（最大モデル）で1.56兆個のパラメーターをもっています。

日本産のLLMは”大規模”言語モデルと言いながらも、海外の主なLLMに比較するとずいぶん小規模です。

ただ、パラメーター数が少ない分、既存の海外LLMに比べて性能が低いとは限りません。小規模にしたことで扱いやすいというメリットが生まれるのです。

兆単位のパラメーターをもつLLMはクラウドで使うことになりますが、小規模であればオンプレミス環境での使用が可能なことにくわえ、企業・団体のもつシステムに組み込むやすくなります。

tsuzumiの4つの特徴

NTTの発表を引用すると、特徴は大きく分けて以下の4点です。

軽量なLLM
日本語と英語に対応～特に日本語が得意なLLM～
柔軟なチューニング～基盤モデル＋アダプタ～
マルチモーダル～言語＋視覚・聴覚・ユーザ状況理解～

軽量であることは前述したとおりです。パラメーターが増大するほど性能は向上しますが、その分計算リソースやエネルギー消費量も増加します。

tsuzumiはパラメーターサイズを抑えることでその問題を解消。日本語学習データの質と量を向上させ、軽量ながらも高い日本語処理能力を誇ります。

ChatGPTは約50もの言語に対応していますが、tsuzumiはあえて日本語と英語に絞っています。これも軽さにつながっている理由のひとつでしょう。GPT-3レベルのLLMに比べると学習コストは70憶パラメーターの軽量版で約25分の1,6憶パラメーターの超軽量版では約300分の1に留まるといいます。

生成AI向けベンチマークRakuda Benchmarkの性能比較では、日本語処理に限ればGPT-3.5に勝率81.3%と上回っています。

「柔軟なチューニング」というのは、タスクや目的に合わせた調整（チューニング）プロセスに柔軟性をもたせているということです。ユーザーの要望や法的な要件に従った制約や、業界独自の語彙やナレッジの獲得はもちろん、応答するときの文体やトーンなども調整できます。

新しい学習を行ったり、調整をしたりする場合、学習コストがかさんでしまうこともありますが、tsuzumiでは効率的な知識の学習ができるアダプタを提供しています。業界特化型、組織特化型などのアダプタを用いれば、追加の学習量を少なく抑えられるのです。

「マルチモーダル」では、言語化されていない画像に対する回答も生成されます。画像付きの文書から検索、スクリーニングしたり、複数の商品説明や料金をAIで比較したりといったことにも活用できるようになる予定です。

音声を起こす機能をもつAIは増えていますが、tsuzumiで目指しているのはただテキストを書き起こすだけでなく、声の調子で発声者の状況まで判別できるようになることです。例えば、子どもが沈んだ声で話しかけた場合には、優しい声で励ます会話を音で生成します。

実装はまだこれからという機能もありますが、さまざまな用途に応じてカスタマイズできるLLMとなることが期待できそうです。

まとめ

・日本語の文章に強い日本産LLMが次々と発表されている

・NTTのtsuzumiは、軽量で扱いやすいことがメリット

・tsuzumiは日本語と英語に特化したLLM

ユーザー数無制限で月4万円！法人向け生成ＡＩ活用 | ナレフルチャット

詳細はこちら：https://hypervoice.jp/knowlefulai