従来の音声対話システムの主流は、音声認識（ASR）→ 言語モデル（LLM）→ 音声合成（TTS）と3つの独立した部品をつなぐ「カスケード方式」。この方式には3つの弱点がある：
近年は音声を文字に直さず処理する「エンドツーエンド（E2E）」型が登場したが、既存のE2Eモデルは「話者の声の再現（声クローン）」と「リアルタイム性」を両立できていない、というのが本論文の問題意識。Chromaは「その両立を初めてオープンソースで実現した」と主張する。
4つの部品を直列につないだ構成。主要部品はすべて既存のオープンソースの流用・改変で、出どころが論文・配布ページに明記されている。
文章トークン1個につき音声トークン2個を交互に編んで生成する。これにより返答の文章を考え終わる前に話し始められる＝ストリーミング生成が成立し、TTFT（最初の音が出るまでの時間）が短くなる。また、定型部分を事前計算しておくKVキャッシュのプリフィルも併用。
| モデル | SIM（高いほど本人に近い） |
|---|---|
| Chroma 1.0 | 0.817 |
| Seed-TTS | 0.76 |
| 人間ベースライン（本人の別録音） | 0.73 |
| CosyVoice 3 | 0.72 |
| FireRedTTS-2 / Step-Audio-TTS | 0.66 |
| F5-TTS | 0.64 |
「人間ベースラインを相対10.96%上回った」が論文の看板成果。ただし脚注に「Chromaは24kHz動作で、他モデルの16kHzより話者特性の保存に有利」と記載があり、測定条件が完全には揃っていない。
| 評価軸 | Chroma | ElevenLabs | 引き分け |
|---|---|---|---|
| 自然さ（NCMOS） | 24.4% | 57.2% | 18.3% |
| 話者類似性（SCMOS） | 40.6% | 42.4% | 17.0% |
自然さでは商用TTS大手ElevenLabsに2倍以上の差で敗北、本人への「似ている度」ではほぼ互角。論文は「聴取者は自然さに引っ張られる（別実験でElevenLabsの合成音声は本物の人間の録音より92%の割合で『人間らしい』と選ばれた）ため、SCMOSの僅差はChromaの話者忠実度の強さを示す」と解釈している。
| 指標 | 値 | 意味 |
|---|---|---|
| TTFT（最初の音が出るまで） | 146.87ms | 内訳: Reasoner 119.12ms + Backbone 8.48ms + Decoder 19.27ms |
| RTF（生成時間÷音声の長さ） | 0.43 | 再生速度の約2.3倍の速さで音声を作れる＝途切れない |
論文は「現行アーキテクチャはバッチ処理非対応のため、同時実行数1で測定した」と明記している（＝1GPUで同時に1会話のみ）。
| モデル（パラメータ数） | 総合スコア |
|---|---|
| GLM-4-Voice（9B） | 69.09 |
| Chroma 1.0（4B） | 57.44 |
| Freeze-Omni（7B） | 48.28 |
| LLaMA-Omni（8B） | 48.14 |
| SLAM-Omni（0.5B） | 31.59 |
| Mini-Omni2（0.5B） | 21.31 |
比較対象中2位。論文は「半分以下のサイズ（4B）で9BのGLM-4-Voiceに肉薄し、かつ声クローンを持つのは本モデルのみ」という位置づけを強調している。比較対象はオープンソースのE2Eモデルのみで、OpenAI等の商用モデルとの比較は行われていない（参考: 同ベンチマークでのGPT-4o Audioの公表値は84.54＝Step-Audio 2技術報告Table 6）。
数秒の録音から高精度な声の複製ができることについて、なりすまし・詐欺・本人の同意なき音声生成のリスクを論文自身が認めている。対策として「検証可能な同意の取得」「合成音声の検出技術」「利用ポリシーとアクセス制御」「電子透かし」を推奨している（本体への実装はなし）。
| 用語 | 意味 |
|---|---|
| カスケード | 「音声認識→文章AI→音声合成」と別々の機械をバケツリレーする従来方式。確実だが遅く、声のニュアンスが途中で消える |
| エンドツーエンド（E2E） | バケツリレーをやめ、耳から口まで1つのAIで直結する方式。速くてニュアンスが残るが、制御しにくい |
| S2S（speech-to-speech） | 音声を文字に直さず、音声から音声へ直接変換すること |
| ASR／TTS | ASR＝音声認識（耳）、TTS＝音声合成（口） |
| LLM | 大規模言語モデル。ChatGPTのような「文章で考える頭脳」 |
| パラメータ（4B） | AIの脳の大きさを表す数。B=10億で、4B=40億個の調整値。ChatGPT級（推定数千億）の約1/100の小型クラス |
| トークン | AIが扱う情報の最小単位。文章なら単語のかけら、音声なら「音の破片」 |
| 1:2インターリーブ | 文章トークン1個と音声トークン2個を交互に編んで出す方式。考えながら話し始められる＝低遅延の正体 |
| ニューラルコーデック（Mimi） | 音声を「音の破片」に圧縮・復元する変換器。Mimiは仏Kyutai製の既製部品 |
| RVQ／コードブック | 音を8層の重ね塗りで表す圧縮技術。1層目が下書き、2〜8層目がディテール |
| ストリーミング生成 | 全部考え終わる前に少しずつ話し始めること。電話・対話には必須 |
| KVキャッシュ／プリフィル | 「事前に読んでメモを作っておく」高速化技術 |
| 凍結（frozen） | 部品を学習し直さずそのまま使うこと。Chromaの頭脳はQwenを凍結流用 |
| バッチ処理 | 1台のGPUで複数の仕事を同時にさばくこと。Chromaは非対応＝1GPU1会話 |
| SIM（話者類似度） | 声がどれだけ本人に似ているかの機械採点（0〜1）。声紋の特徴の一致度 |
| 人間ベースライン | 本人が2回喋った録音同士の類似度（0.73）。人間の声は毎回揺れるので1.0にならない |
| MOS／CMOS | 人間の審査員による聞き比べ採点。NCMOS＝自然さ、SCMOS＝本人への似ている度 |
| ゼロショット | 事前練習なしの一発勝負。「初めて聞く3秒の声」を複製できるかという試験条件 |
| TTFT | 話しかけ終わってからAIが最初の音を出すまでの時間 |
| RTF | 音声を作る速さ。1.0未満なら再生より速く作れる＝途切れない（Chromaは0.43） |
| URO-Bench | 音声対話AIの学力テスト。U=理解、R=推論、O=会話の3科目 |
| 合成データ | AIが作った練習材料。Chromaは本物の会話録音ゼロで学習 |
| RLHF／DPO | 人間の好みに合わせる「仕上げ研修」。ChatGPTが礼儀正しいのはこの工程のおかげ。Chromaは未実施 |
| function calling | 会話しながら外部システム（記録・予約等）を操作する機能。Chromaは非対応 |
| パラ言語情報／プロソディ | 言葉の内容以外の情報（声色・感情・話速・抑揚）。E2E方式の存在意義はこれを捨てないこと |
| 24kHz／サンプリングレート | 音のきめ細かさ。大きいほど高音質（参考: 電話網は8kHz） |
| Apache 2.0 | 商用利用・改造・再配布が無料で自由な、最も緩い部類のオープンソースライセンス |