サイバーエージェントが生成AIの基盤になる独自の日本語LLMを新たに一般公開

インターネット広告事業のサイバーエージェントは、生成AI(人工知能)の基盤になる独自の日本語LLM(大規模言語モデル)を新たに一般公開した、と11月2日発表した。5月に一般公開した「CyberAgentLM」のバージョン2で、70億パラメータ・3万2000トークンに対応した。共有サイト「Hugging Face」に公開した。

今回公開した日本語LLMは、日本語と英語のデータで事前学習した70億パラメータのベースモデル「CyberAgentLM2-7B」と、チャット形式にチューニングした「CyberAgentLM2-7B-Chat」の2種類。CyberAgentLM2-7B-Chatは入出力の長さで3万2000トークンに対応し、日本語の文章で一度に約5万文字が処理できる。

サイバーエージェントは日本語LLMの開発を推進し、CyberAgentLMの公開後もLLMの研究を続け、さまざまなモデルを開発。広告の配信前に効果を予測するサービス「極予測AI」をはじめ、自社のサービスに活用している。日本語LLMを一般公開することで、性能の強化と日本の自然言語処理技術の発展につなげる。