このブログはブログ生成AI【Blai】で作成されたものです。

はじめに

生成AIの進化は日進月歩で、特に大規模言語モデル（LLM）は目覚ましい発展を遂げています。しかし、その膨大な計算リソースは、導入の障壁となる場合も少なくありません。そんな中、楽天グループが日本語に特化したLLM「Rakuten AI 2.0」と、軽量版SLM「Rakuten AI 2.0 mini」を発表しました。これらは来春オープンソース化される予定で、AI開発の新たな扉を開く可能性を秘めています。本記事では、この2つのモデルの特徴と、それらがもたらすビジネスインパクトについて、専門家の視点から解説します。

1. 楽天が新たなAIモデル2種を発表、LLM「Rakuten AI 2.0」とSLM「Rakuten AI 2.0 mini」

楽天グループは、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 2.0」と、小規模言語モデル（SLM）「Rakuten AI 2.0 mini」を2024年12月18日に発表しました。これらは、AIアプリケーション開発の促進を目的としており、来春にオープンソースコミュニティに向けて公開される予定です。

「Rakuten AI 2.0」は、8x7B構成のMixture of Experts（MoE）アーキテクチャを採用しています。これは、約70億パラメータの8つのサブモデル（エキスパート）から、入力に最適な2つをルーターが選択して処理する高度な仕組みです。このアーキテクチャにより、8倍規模のモデルに匹敵する性能を、約1/4の計算コストで実現する計算効率と高性能の両立を可能にしています。日本語能力においては、先行モデル「Rakuten AI 7B」と比較して、8つのタスクで平均約15%の向上（62.93から72.29へ）が見られ、自然言語処理能力が大幅に強化されています。

一方、「Rakuten AI 2.0 mini」は約15億パラメータのコンパクトなSLMです。内製の多段階データフィルタリングとアノテーションを経た高品質な日本語・英語データセットで学習されており、高精度なテキスト生成を実現します。特筆すべきは、モバイル端末やオンプレミス環境での運用に適している点です。データはリモートサーバーに送信されないため、低遅延、プライバシー保護、コスト効率が重視されるアプリケーションへの最適な実装を可能にし、汎用モデルとの明確な差別化を図っています。

楽天は、既存の「Rakuten AI 7B」の事前学習を拡張し、大規模学習プロセスの高速化を実現しました。そして今回、「Rakuten AI 2.0」と「Rakuten AI 2.0 mini」をオープンソース化することで、開発者や企業がこれらのモデルを容易に利用できるエコシステムの構築を目指しています。この取り組みは、日本語に特化したAI開発の進展に大きく貢献するものと期待されます。

2. LLM「Rakuten AI 2.0」の特徴

「Rakuten AI 2.0」は、2024年春に公開予定の日本語に最適化された高性能なLarge Language Model（LLM）です。Mixture of Experts（MoE）アーキテクチャを採用し、8つの約70億パラメータの「エキスパート」と呼ばれるサブモデルで構成されています。入力されたトークンは、ルーターによって最適な2つのエキスパートに振り分けられ、処理されます。この高度な仕組みによって、単一の大規模モデルに匹敵する性能を、より少ない計算リソースで実現しています。具体的には、8倍規模のモデルと同等の性能を約1/4の計算コストで達成しています。これは、計算効率と高性能の両立を可能にする革新的なアプローチです。高品質な日本語と英語の言語データを用いた継続的な学習により、先行モデル「Rakuten AI 7B」と比較して、8つのタスクにおいて平均約15%の性能向上（62.93から72.29へ）を実現し、特に日本語の自然な文章理解と生成能力が大幅に強化されています。

3. SLM「Rakuten AI 2.0 mini」の特徴

「Rakuten AI 2.0 mini」は、楽天初の小規模言語モデル（SLM）であり、そのコンパクトな構造が最大の特徴です。約15億のパラメータで構成されているため、リソースが限られた環境でも効率的に動作します。このモデルは、モバイル端末やオンプレミス環境への導入を想定して設計されており、プライバシー保護や低遅延が求められるアプリケーションに最適です。高品質な日本語と英語のデータセットを用いて学習されており、その精度の高さは特筆すべき点です。コンパクトながらも高性能なテキスト生成能力を備えており、様々なユースケースでの活用が期待されます。特に、データの外部送信を避けたい企業や、リアルタイム処理が必要なアプリケーションにとって、強力なツールとなるでしょう。

おわりに

楽天が発表した日本語特化の大規模言語モデル「Rakuten AI 2.0」と小規模言語モデル「Rakuten AI 2.0 mini」は、日本語AI開発の新たな可能性を示唆する画期的なモデルと言えるでしょう。MoEアーキテクチャを採用した「Rakuten AI 2.0」は、高性能と計算効率の両立を実現し、先行モデルを凌駕する日本語能力を備えています。一方、「Rakuten AI 2.0 mini」は、コンパクトながらも高精度なテキスト生成能力を有し、モバイル端末やオンプレミス環境での運用に最適化されています。来春のオープンソース化により、これらのモデルは開発者コミュニティに広く提供され、日本語に特化したAIアプリケーション開発の促進、ひいては日本語AIエコシステムの構築に大きく貢献することが期待されます。特に「Rakuten AI 2.0 mini」は、プライバシー保護や低遅延が重視されるエッジAIの領域において、その真価を発揮するでしょう。これらのモデルの登場は、日本語におけるAI活用の新たな時代を切り開く重要な一歩となるに間違いありません。