実験トラッキングとグロースハック

概要

A/Bテスト、実験管理、フィーチャーフラグ、グロースハックを包括的に支援するスキルです。

実行フロー

Step 1: 実験設計とセットアップ

仮説の明確化

We believe [変更内容]
will cause [期待される影響]
because [根拠・理由]

成功指標の設定

• Primary Metrics: 直接的な成功指標
• Secondary Metrics: 補強となる指標
• Guardrail Metrics: 負の影響を防ぐ指標

サンプルサイズ計算

• 最低: バリアントごとに1000ユーザー
• 信頼水準: 95%
• 検出力: 80%

Step 2: データ収集とモニタリング

Four Golden Signals

• Latency: 応答速度への影響
• Traffic: トラフィック分散
• Errors: エラー率
• Saturation: リソース使用率

異常検知

• エラー率20%以上上昇 → 即時停止
• 重大な劣化 → エスカレーション

Step 3: 統計分析とインサイト

統計的有意性

• t検定（連続値指標）
• カイ二乗検定（割合指標）
• p値 < 0.05 で有意

セグメント分析

• 新規/既存ユーザー別
• デバイス別
• 有料/無料ユーザー別

Step 4: AARRRファネル

Acquisition → Activation → Retention → Referral → Revenue

各ステージの最適化

• Acquisition: チャネル別CAC
• Activation: オンボーディング完了率
• Retention: D1/D7/D30リテンション
• Referral: K-factor
• Revenue: LTV向上施策

ICEスコアリング

ICE Score = (Impact × Confidence) / Ease

Step 5: 意思決定

Step 6: バイラルメカニクス

K-factor

K = i × c
K > 1: 指数的成長

共有を促す設計

• 驚き/発見
• 共感
• 自己表現
• 有用性

出力成果物

1. 実験設計書: 仮説、成功指標、実装計画
2. トラッキング仕様: イベント定義
3. 分析レポート: 統計結果とインサイト
4. 意思決定記録: Ship/Kill/Iterate
5. グロースダッシュボード: AARRRファネル

ベストプラクティス

1. 統計的厳密性: サンプルサイズ確保
2. 早期に結果を覗かない: バイアス防止
3. 学びを蓄積: すべての実験を記録
4. 倫理的に実験: ユーザーを騙さない
5. 組織に共有: データドリブン文化

関連ファイル

• TEMPLATES.md - 実験ドキュメントテンプレート
• STATISTICS.md - 統計分析リファレンス