llmo_scoring_model — curumi-ops

LLMO Score モデル設計

LLMO パッケージの総合評価指標。Main 3 + Sub 5 を重み付き合算して 0-100 の単一スコアを月次で算出する。営業会議・経営会議に1秒で出せる粒度を目指す。

設計原則: 「単一の数字で見せやすさを稼ぐ」と「ブレイクダウンで施策との紐付けを保つ」の両立。1 つの Score の裏側に8 指標のレイヤー構造を保ち、レポート 1 ページ目で Score、2 ページ目以降で Main / Sub のブレイクダウンを示す。

関連: llmo_package.md / llmo-implementation.md

指標構造

Main 指標（3 つ、月次レポートの主軸）

# 指標 算出方法 重み
M1 SoM (Share of Model) 主力 2 モデル（Perplexity + Gemini）× ターゲットクエリ × 3 試行多数決で「言及あり」と判定された割合（%） 40%
M2 Citation Position 言及されたクエリのうち、AI 回答内での引用順位の平均スコア。1 位=100 / 2 位=80 / 3 位=60 / 4 位=40 / 5 位=25 / 6-10 位=15 / 11 位以下=5 25%
M3 Brand Co-occurrence Rank 業界カテゴリで並列言及されたブランド群（自社 + 競合 N 社）の中での自社順位。(N+1-rank) / N × 100。1 位=100、最下位=0 15%

→ 「何位か / どれくらい呼ばれているか / どんな並びで出ているか」を 1 セットで掴む

Sub 指標（5 つ、Main の解釈・補強）

# 指標 算出方法 重み
S1 競合 SoM 差分 業界カテゴリ内 1 位との SoM 差を 0-100 にマップ。差 0pt=100 / 差 -10pt=70 / 差 -20pt=40 / 差 -30pt 以上=0 10%
S2 引用ソース多様性 月内で自社言及時に引用された URL のユニークドメイン数を 0-100 にスケール。0=0 / 5=33 / 10=66 / 15+=100 5%
S3 Sentiment 補正 ポジ % - ネガ % を計算（範囲 -100 to +100）→ 50 に中立シフト（範囲 0-100） 5%
S4 Citation Stability 同一クエリ × 月内 3 試行の判定揺らぎ率。揺らぎなし=100 / 1 件揺らぎ=50 / 全揺らぎ=0。Score 算出には使わずレポートで併記（揺らぎ高なら Score の信頼度警告） 重み 0（参考）
S5 指名検索 + 「LLM で見た」声 (GSC 指名検索 前月比 % + 商談ヒアリング件数 × N) を 0-100 にスケール。Score 算出には使わずレポートで併記（現場の確証） 重み 0（参考）

→ Main の数字が動いた理由を説明する材料。S4 / S5 は Score には反映しないが、レポートで Score の信頼性と現場の声を補強する

重み配分の合計: M1-M3 + S1-S3 = 100%。S4 / S5 は重み 0（参考表示のみ）。

LLMO Score 算出式

LLMO Score = M1 (SoM, 0-100)             × 0.40
           + M2 (Citation Position, 0-100) × 0.25
           + M3 (Co-occurrence Rank, 0-100)× 0.15
           + S1 (競合 SoM 差分, 0-100)      × 0.10
           + S2 (引用ソース多様性, 0-100)    × 0.05
           + S3 (Sentiment 補正, 0-100)     × 0.05
           ──────────────────────────────────
           = 0-100

例算出:

M1 SoM = 18%                       → 18 × 0.40 = 7.2
M2 Citation Position 平均 72       → 72 × 0.25 = 18.0
M3 Co-occurrence Rank #4 (of 10)   → (11-4)/10 × 100 = 70 → 70 × 0.15 = 10.5
S1 競合 SoM 差分 -4pt             → 0-100 で 88 → 88 × 0.10 = 8.8
S2 引用ソース 8 ドメイン           → 0-100 で 53 → 53 × 0.05 = 2.65
S3 Sentiment ポジ 78% / ネガ 5%   → 78-5=73 → +73 → 50+(73/2)≈87 → 87 × 0.05 = 4.35

LLMO Score = 7.2 + 18.0 + 10.5 + 8.8 + 2.65 + 4.35 = 51.5
            ⇒ 表示は四捨五入で 52

業種別ピーク値（cap）テーブル

業界の天井を超える SoM は構造的に取れない（業界トップブランドでも 60-80% が限界）。Score 算出時に SoM を業種別 cap で正規化することで、業種間の比較を可能にする。

業種カテゴリ 想定 SoM cap（業界 1 位） 達成度の目安（半年）
BtoB SaaS 40% 初期 5% → 15-25% (3-5x)
高単価 D2C / 嗜好品 25% 初期 2% → 8-12% (4-6x)
中規模 EC 35% 初期 8% → 18-25% (2-3x)
業界 2-5 位ブランド全般 50% 初期 12% → 22-30% (2x 前後)
業界トップ寡占（金融・通信等） 70% 初期 30%+ は伸び率鈍化（高 SoM ブランドは Score の伸び幅が小さい）
スタートアップ無名 15% 初期 0-2%、現状監査のみ意味あり

Score 算出での SoM 正規化:

SoM (raw, %) → SoM score (0-100) = min(SoM / cap, 1.0) × 100

例: BtoB SaaS で SoM 18% / cap 40%
    = 18 / 40 × 100 = 45 (M1 への入力値)

→ 業種を跨いで「何 % cap に到達しているか」で比較可能になる

達成度ゲージ（営業・経営会議向け）

レポート 1 ページ目で表示する、業種カテゴリ別の目標ライン:

Score 帯 ステータス 業界での位置
0-15 🔴 無視されている 業界の 68% 側、AI 回答にほぼ出てこない
16-30 🟠 言及はあるが脇役 一部クエリで言及されるが、Top3 に入らない
31-50 🟡 業界 32% 側に到達 Top3 に出始める、競合との差分が縮まる
51-70 🟢 Top3 常連 カテゴリ内で安定的に上位言及
71-85 🔵 第一想起候補 カテゴリ内で 1-2 位、ブランド名で議論される
86-100 🟣 業界 1 位 カテゴリのデファクト、新規参入の比較先

目標設定（プラン別、半年で）:

レポート 1 ページ目のレイアウトイメージ

┌─────────────────────────────────────────────────────────┐
│  LLMO Score 月次レポート  /  2026-05  /  CL: 貴社名     │
├─────────────────────────────────────────────────────────┤
│                                                          │
│       LLMO Score:  52  /  100                            │
│       ████████████████████░░░░░░░░░░░░░░░░░░░░          │
│                                                          │
│       先月比:  +6  /  契約開始時比:  +21                 │
│       業界カテゴリ目標 (BtoB SaaS):  60  ⟶ 残り 8pt    │
│       ステータス:  🟢 Top3 常連                          │
│                                                          │
├─────────────────────────────────────────────────────────┤
│  Main 指標                  │  Sub 指標                  │
│  ────────────────────────  │  ────────────────────────  │
│  M1 SoM            18%  ▲  │  S1 競合 SoM 差分  -4pt  ▲ │
│  M2 Citation Pos     72  ▲ │  S2 ソース多様性    8 dom ▲│
│  M3 Co-occurrence  #4    │  S3 Sentiment Pos 78%   ─ │
│                            │  S4 Stability      ±2pt ─ │
│                            │  S5 「LLM 経由」商談 3 件 ▲│
└─────────────────────────────────────────────────────────┘

▲ 改善 / ▼ 悪化 / ─ 変化なし
2 ページ目以降: 指標別の推移グラフ / 競合比 / 引用ソース分布 / 翌月アクション

バージョン管理（重み変更時の取り扱い）

LLMO Score の重み配分は契約期間中は不変とする。市場の変化で重み見直しが必要になった場合:

項目 ルール
重み変更 四半期に 1 回まで、CL 合意の上で変更可
バージョンタグ 重み変更ごとに LLMO Score v1.0 → v1.1 のタグを付与。レポートに常時表示
過去比較 異なるバージョン間の Score は直接比較しない。バージョン切替時に新旧両方を 3 ヶ月並走表示し、推移ラインを分岐させる
算出ログ 各月の Score 算出に使った重みバージョン + 各指標の raw 値を som_score_log テーブルに immutable で保存（24 ヶ月以上）

初期版: LLMO Score v1.0（2026-05-13 制定、本ドキュメント）。

業界状況変化への対応

状況 スコアモデルへの影響 対応
AI 主役モデルの交代（例: Perplexity から別モデルへ） 主力モデルを別物に切替時、過去推移が崩れる バージョン切替で対応。新旧並走 3 ヶ月で推移ラインを引き継ぐ
新規 AI モデルの台頭 Sub 指標として追加計測（Score 算出には初期は含めない） バージョン v1.x → v2 で重み再配分
競合企業リストの変化（M&A / 新興等） M3 Co-occurrence Rank の分母が変動 四半期ごとの競合リスト見直しで対応。リスト変更日をレポートに併記
クエリの陳腐化（業界用語の変遷） M1 SoM の母集団が偏る 四半期にクエリ見直し（最大 20% 入れ替え）。入れ替えクエリは Score 計算から 1 ヶ月除外して影響を希釈

関連ドキュメント

未決事項