日本語LLMのおすすめ10選を比較！導入のポイントや注意点も解説

急速に進化するAI技術の中で、特に注目を集めているのが自然言語処理モデルです。
これまでの大規模言語モデル（LLM）は主に英語を基盤としていたため、自然な日本語の生成に課題がありました。

しかし日本語に特化したLLMの登場により、状況が大きく変わりつつあります。
これらのモデルを使えば、日本語での質問に対して、流暢かつ的確な返答が可能です。

本記事では、おすすめの日本語LLM10種類を詳しく比較し、それぞれの特徴や導入時のポイントを分かりやすく解説します。
日本語LLMの活用に興味をお持ちの方は、ぜひ参考にしてください。

日本語LLMとは

日本語LLM（大規模言語モデル）は、日本語独特の表現やニュアンスを理解し、より自然な日本語を生成することを目的としたモデルです。

そもそもLLMとは、膨大なデータを基にディープラーニング（深層学習）によって構築された自然言語処理モデルであり、従来のモデルより圧倒的に多くのデータを処理できます。

日本語LLMの強みは、日本語の特性に特化した処理能力にあり、一般的な多言語モデルと比較して、より自然な日本語の生成を目指しています。
また日本特有の文化や慣習の理解も重視されており、文化的背景の考慮も目標の一つです。

これらの特性により、日本語LLMは国内でのAI活用において重要な役割を果たす可能性があります。

日本語LLMが必要な3つの理由

LLMの多くは翻訳能力が優れており、通常の使用であればスムーズな日本語でやり取りが行えます。
しかし、以下の理由で日本語LLMが求められています。

• 日本語をベースに構築されている
• 日本語特有の表現に対応できる
• 日本に関する知識を学習している

日本語をベースに構築されている

市場で主流となるLLMは、英語をベースに構築されています。

AIの深層学習で使われる情報も英語であり、日本語に完全に対応しているわけではありません。
これらのLLMは高い翻訳能力を持っているため、日本語での出力も可能ですが、時として違和感のある文章が生成されることがあります。

一方、日本語LLMは日本語を基盤として構築されており、日本の文化や習慣を学習しています。
そのため、日本語を使用するユーザーの質問に対して、より自然で流暢な言葉での回答が可能です。

日本語特有の表現に対応できる

英語と異なり、日本語は文脈に大きく依存する言語です。

文脈によって単語の意味が変化するため、英語を基盤とするLLMを日本語に適用すると、違和感のある文章や、場合によっては誤った意味の文章が出力されることがあります。
その点、日本語LLMは日本語特有の表現を深く理解しています。

英語には存在しない敬語や尊敬語だけでなく、和製英語やスラングにも対応可能です。
さらに、日本語は漢字・ひらがな・カタカナの3種類の文字体系が組み合わさった言語です。

3種類の文字を使い分けて正確な表現で文章を出力するには、日本語に特化したLLMが不可欠でしょう。

日本に関する知識を学習している

日本語LLMは、日本に関する幅広い知識を学習しているため、出力される内容が海外の知識に偏ることが少なくなります。

英語を基盤とするLLMは、日本に関する学習が不足している場合があります。
例えば、アメリカの最新情報には詳しくても、日本の最新情報を尋ねた場合に適切な回答が得られないケースがありました。

近年は、オープンソースプロジェクトや公的機関によって日本語の大規模データセットが提供されており、日本語LLMの学習環境が整備されています。
これにより、日本に関する深い知識を学習し、ユーザーの質問により適切に答えることが可能になっています。

日本語LLM10選を徹底比較

日本国内では、日本語に特化したLLMの開発が進められています。

ここでは、日本語LLMのおすすめ10選をまとめました。

• tsuzumi
• cotomi
• CyberAgentLM3
• Llama-3-ELYZA-JP
• Rakuten AI 7B
• LHTM-2
• ao-Karasu
• Granite日本語版
• Japanese StableLM　Base Alpha
• PLaMo‐13B

tsuzumi

tsuzumiは、NTTが開発した大規模言語モデル（LLM）です。

日本語と英語の両方に対応しており、パラメーター数（モデルが学習によって調整する変数の数）は約6億～70億と比較的軽量です。
この軽量さにもかかわらず、世界トップレベルの日本語処理能力を実現しています。

tsuzumiは特に日本語処理に優れており、その性能は生成AI向けベンチマーク「Rakuda」での評価で明らかになっています。
このベンチマークでは、tsuzumiはGPT-3.5と比較して81.3％も高い性能を示しました（2024年3月時点）。

商用版のtsuzumiでは、3つのソリューションメニューを提供しています。
それぞれ異なる利用環境に対応しており、さらにソリューションメニューと利用環境は、軽量モデルをベースに自由に組み合わせることが可能です。

cotomi

cotomiはNECが独自に開発した日本語LLMです。
優れた日本語性能を持っており、汎用AIでは難しい自治体職員の業務負荷を軽減し、問題解決をサポートします。

cotomiは、世界トップクラスの高速性能と日本語性能を両立しているのが特徴です。
GPT‐4で46.65秒かかる処理が、cotomiではわずか3.92秒（GPU2枚の際の速度）しかかかりません。

また自治体での利用を想定しており、データをAIに学習させることで専門性の高い業務にも対応できます。
なお、cotomiのパラメーターサイズは130億と軽量であり、標準的なサーバーでも動作が可能です。
そのため、サーバーコストの削減も実現しています。

CyberAgentLM3

CyberAgentLM3は、株式会社サイバーエージェントが提供する日本語LLMです。

現在までにバージョン3まで一般公開されており、バージョン3は既存モデルをベースに用いずに開発されています。
CyberAgentLM3は225億パラメーターですが、700億パラメーターのMeta-Llama-3-70B-Instructと同等の性能を持っているのが特徴です。

商用利用が可能なモデルであり、Apache license 2.0で提供されています。
また大規模なデータを学習しているため、多様なトピックに対して精度の高い応答が可能です。

どのような質問を投げかけても適切に応答でき、人間と話しているような体験が得られます。

Llama-3-ELYZA-JP

Llama-3-ELYZA-JPは、Meta社のLlama 3をベースに開発された日本語LLMです。

700億パラメーターのLlama-3-ELYZA-JP-70Bと、80億パラメーターのLlama-3-ELYZA-JP-8Bの2種類があります。
これらのモデルは、Meta社のLlama 3シリーズに対して、日本語における指示追従能力を拡張するための日本語追加事前学習および事後学習を行っています。

ベンチマーク評価が高く、特にLlama-3-ELYZA-JP-70BはGPT-4やClaude 3 Sonnet、Gemini 1.5 Flashを上回る性能を達成しました。
また、Llama-3-ELYZA-JP-8BはMETA LLAMA 3 COMMUNITY LICENSEに基づいて、無料で使用でき商用利用も可能な形式で一般公開されています。

Rakuten AI 7B

Rakuten AI 7Bは、楽天グループ株式会社が開発した日本語LLMです。

基盤モデルの他に、インストラクションチューニングを施したRakuten AI 7B InstructとファインチューニングされたRakuten AI 7B Chatがあります。

Rakuten AI 7BはフランスのMistral AI社のMistral‐7B-v0.1をベースに、日本語・英語データを学習しているのが特徴です。
またオープンソースとして提供されているため、Apache license 2.0下で誰でも利用できます。

LHTM-2

LHTM-2は、パーソナル人工知能（P.A.I.®️）をはじめとするAIクローン技術によるパーソナルAIの開発および実用化を行う、株式会社オルツが開発した大規模言語処理モデルです。

OpenAIが提供するGPT-3と同水準のパラメーター数で構成されており、機械翻訳や自動要約、テキスト生成、対話などさまざまな用途に活用できます。
LHTM-2に個人のライフログを入力し個人の思考を再現した対話実験では、該当個人に非常に類似した言語活動を行うモデルの開発に成功しました。

リアルタイムな学習を前提とした設計のため、日々の社会の変化にも対応が可能です。
また、オルツのパーソナライズ技術に基づき、出力の事実性を重視するようにカスタマイズすることで、モデルが事実に基づく出力を行うことが可能となりました。

LHTM-2は事実性に敏感なモデルとなっています。

ao-Karasu

ao-karasuは、東京大学発の最先端アルゴリズムの現場実装に取り組む、株式会社Lightblueが開発した日本語LLMです。

Stability AI社が提供する日本語性能のベンチマークで、国内トップクラスの評価を得ており、GPT-3.5 Turboの性能を超えています。
パラメーターは720億と日本語性能に強みを持つモデルでは比較的大規模であり、オープンデータに加えてLightblueが独自に整備したデータセットでトレーニングを行っているのが特徴です。

また、開発元のLightblueでは生成AI・LLMの研究開発に特化したチーム「LLab」を設立しました。
生成AIの活用を目指す現場でのLLM実装サポートなどを実施しています。

Granite日本語版

Granite日本語版は、日本IBMが開発した日本語LLMです。
AIおよびデータのプラットフォーム「IBM watsonx」で提供されています。

Granite日本語版はIBM独自の基盤モデルであり、インターネット・学術・コード・法務・財務の領域から得た、ビジネスに関するデータセットを学習しているのが特徴です。

またパラメーター数は80億と比較的軽量ですが、好ましくないコンテンツを除去するための検査が実施されているため、責任ある形でモデル出力ができるように設計されています。

Japanese StableLM Base Alpha 7B

Japanese StableLM Base Alpha 7Bは、Stability AI Japanが開発した日本語LLMです。
Webを中心とした大規模なデータを用いて生成するモデルで、日本語と英語、加えてソースコードを学習しています。

Japanese StableLM Base Alpha 7Bは、ベンチマークスイート「lm-evaluation-harness」における複数の日本語タスクを用いた性能評価で高い評価を獲得しているのが特徴です。
また汎用言語モデルの他に、指示応答言語モデルのJapanese StableLM Instruct Alpha 7Bも公開されています。

PLaMo‐13B

PLaMoは、Preferred Networksが開発した日本語LLMです。
他の日本語LLMと比較して、日英2言語を合わせた能力で世界トップレベルの評価を得ています。

PLaMo‐13Bは約130億パラメーターと軽量なモデルであり、公開データセットのみで学習されているのが特徴です。
LLMとしての使用だけではなく、データセットの生成やフィルタリングなど、さまざまな用途で活用できます。

商用モデルのPLaMo‐13B‐Instructと非商用モデルのPLaMo‐13B‐Instruct‐NCの2種類を提供しています。

日本語LLMを選ぶ際の3つのポイント

日本語LLMを選ぶ際の3つのポイントを解説します。

社内業務の自動化を検討している方は、ぜひ参考にしてください。

• 自社に導入する目的を明確にする
• 予算内で導入できるかを確認する
• 操作がしやすくサポート体制が整っているかを確認する

自社に導入する目的を明確にする

日本語LLMを選ぶ際は、自社に導入する目的を明確にしておきましょう。

LLMなどの生成AIは、目的や用途によって選ぶべきモデルが異なります。
企業が日本語LLMを導入する目的は、「顧客対応の自動化」「マーケティングでの分析」などさまざまです。

導入するモデルが必要な機能や性能を満たしていなければ、導入しても目的を達成できない可能性があります。
自社が抱える課題をリストアップして、導入する目的を明確にしてから日本語LLMを選びましょう。

予算内で導入できるかを確認する

日本語LLMを導入する際は、予算内で導入できるかを確認することも重要です。

AIを活用したサービスの多くは有料であり、サービスによって費用が異なります。
日本語LLMを提供する企業は多数あるため、性能や料金を比較しなければなりません。

初期費用だけでなく、運用コストも併せて考える必要があります。
特にローカルLLMを導入する場合は、従来のクラウドサービスと比べて費用が高くなるでしょう。

また、長期的な運用を検討しているなら、契約年数やカスタマイズ性も考慮する必要があります。

操作がしやすくサポート体制が整っているかを確認する

自社に導入する日本語LLMを選ぶ際は、操作がしやすくサポート体制が整っているかも確認しましょう。
例えば、自社で日本語LLMを運用する場合は、専門知識やスキルを持った担当者が必要です。

一方、クラウドサービスなら、導入時やトラブル発生時にサポートしてもらえます。
導入後のフォローアップまで任せられるのがメリットです。

また従業員の知識やスキルを問わず、誰でも簡単に操作できるインターフェイスかどうかも忘れず確認してください。

日本語LLMを導入する際の4つの注意点

日本語LLMは業務の自動化や効率化に役立ちますが、注意点もあります。

導入する前に以下の4点を把握しておきましょう。

• 生成した内容が正しくない場合がある
• 情報が外部に漏えいするリスクがある
• 学習データの内容によってはバイアスが生じる
• 生成物が著作権を侵害する可能性がある

生成した内容が正しくない場合がある

日本語LLMは学習したデータを基に文章を生成しますが、出力した内容が全て正しいとは限りません。
誤った内容や実際には存在しない回答をする場合があります。

事実とは異なる回答の生成を「幻覚（ハルシネーション）」と呼び、インシデントにつながる可能性があるため注意してください。
ハルシネーションが発生するのは、日本語LLMが内容の正確性よりも、流暢な文章の生成を重視しているからです。

そのため、日本語LLMによって出力された回答を全て鵜呑みにしてはいけません。
特に重要な内容については、人の手でファクトチェックを行う必要があります。

情報が外部に漏えいするリスクがある

日本語LLMは、ユーザーが入力したプロンプトを学習し、アウトプットに反映する場合があります。
機密情報や個人情報を入力したことで、LLMが生成する文章に情報が含まれる可能性があるため注意しなければなりません。

もし機密情報や個人情報の漏えいが起これば、企業は大きな損害を受けてしまうでしょう。
ビジネスシーンで日本語LLMを利用する場合は、入力するプロンプトの精査が必須です。

機密情報や個人情報は日本語LLMに送信しないように徹底しましょう。

学習データの内容によってはバイアスが生じる

日本語LLMは大量のデータを学習しており、学習したデータの質や偏りが出力内容に大きな影響を与えます。
学習元に特定のトピックや文化が多く含まれていると、バイアスが生じるかもしれません。

例えば、日本語に特化していても、都市部の情報ばかりを学習していれば、地方に関する質問には答えられない場合があります。
学習データに偏りがあると、特定の文化や価値観に基づくバイアスが生じるかもしれません。

日本語LLMを導入する際は、学習データに偏りが出ないように注意してください。

生成物が著作権を侵害する可能性がある

日本語LLMが出力した生成物が、著作権を侵害する可能性があります。
LLMは膨大なデータを学習するため、出力した文章や音声が完全にオリジナルなものとは限りません。

ユーザーが意図していなくても、第三者が制作したコンテンツと類似するリスクがあります。
AI生成物に関して著作権法第30条の4で定められており、あくまでも学習モデルの生成を目的とする場合は、著作権者の承諾なく諸作物を利用可能です。

ただし、第三者の著作物と一致するコンテンツを公開すると著作権の侵害となるため、他者の権利を侵害していないかを確認しましょう。

※参考：e-Gov法令検索.「著作権法」.https://laws.e-gov.go.jp/law/345AC0000000048 ,（参照 2024-09-18）.

日本語LMMを導入して業務の自動化・効率化に役立てよう

従来のLLMは英語ベースで構築されていましたが、近年は日本語に特化したLLMが急速な進化を見せています。
日本語LLMは流暢な日本語で文章を出力できるため、業務の自動化や効率化に役立つ存在です。

実際に国内でも、日本語LLMを導入する企業が増えつつあります。
日本語LLMは今後も開発が進むと予想されるので、日常業務に欠かせない存在となるでしょう。

TDSE株式会社ではLLMの導入を検討する企業に向けて、LLM活用支援サービスを提供しています。
LLM活用のアセスメントから運用・改善支援まで対応しており、活用環境の構築も可能です。

日本語LLMの導入を検討している方は、ぜひ当社へご相談ください。

LLM活用支援サービスはこちら