「同じ指標なのに数字が合わない」ときに疑うべきこと｜GA4データ検証の実務メモ

ダッシュボードの数字を更新していて、「あれ、さっき見た数字と違う」と感じたことはないでしょうか。同じ指標のはずなのに、集計の設定をひとつ変えただけで月間の合計が数千件単位でずれる。今回は、そんな場面に実際に遭遇し、原因を追いかけるべきか、いったん前に進めるべきかの判断を迫られた話です。結論から言うと、ズレを消すことより、ズレを隠さないことのほうが重要でした。

集計設定をひとつ変えただけで、月間の合計が数千件ずれた

月次のダッシュボードを更新する作業の中で、あるセッション数の指標を2通りの探索設定で集計しました。ひとつはチャネルの内訳まで表示する設定、もうひとつは内訳を出さないシンプルな設定です。どちらも同じ期間・同じ指標を見ているはずでした。ところが、月ごとの値を合算してみると、片方は約44.6万、もう片方は約44.2万と、3千件を超える差が出ました。月単位で見ても、月によって数百件から千件超まで、ズレの幅にばらつきがありました。

「合計」欄が同じ数字だったから、かえって疑わしくなった

ここで少し厄介だったのは、2つの探索画面のどちらにも表示されていた「合計」欄の数字が、まったく同じ値だったことです。一見、これで答えが出たように見えます。しかし、行の内訳が違う2つの集計画面で、表示中の合計だけが一致するというのは不自然です。おそらく、その合計欄は表示中のビューに連動して再計算されておらず、別の集計条件で出した値がそのまま残っていたのだろうと判断しました。都合の良い数字が目の前にあるときほど、それを鵜呑みにする前に、その数字がどの条件で出されたものかを確認する必要があります。

原因を追いかけるか、前に進めるか

2つの集計方法の差がなぜ生まれるのか、その場では特定できませんでした。選択肢は2つありました。原因がわかるまで反映を止めるか、差があることを明記した上でいったん採用して先に進めるかです。今回は後者を選びました。シンプルな設定側の値を正式な数値として採用し、内訳付き設定の値は別の指標(比率の分子)にだけ使う形にして、両者の集計条件が異なる点をダッシュボードのコメント欄にそのまま書き残しました。

この判断で大事にしたのは、数字を選ぶこと自体ではなく、選んだ理由と保留にした疑問点を同じ場所に残すことでした。

• 採用した数値がどの集計条件から出たものかを明記する
• 不採用にした数値(今回で言えば「合計」欄)がある場合、なぜ採用しなかったかも書いておく
• 原因未特定のまま先に進めた場合、その旨を隠さず残す

「ズレを消す」より「ズレを隠さない」ほうが実務では役に立つ

集計方法によるズレは、突き詰めればいつかは原因が判明するかもしれません。ただ、実務のスピードの中では、原因が判明するまで数字を出さない、という選択肢が取りづらい場面のほうが多いはずです。そうであれば、せめて「この数字はどの条件で、どんな限界を持った数値なのか」を同じ場所に書き残しておく。次にその数字を見る人が、同じ疑問を一から調べ直さずに済みます。数字そのものの精度より、数字の出どころを追える状態にしておくことのほうが、長い目で見ると実務的だと感じた出来事でした。

レポートの数字を見るときに、確認しておきたい3つの質問

今回の一件をきっかけに、自分自身の作業手順にも次の3つを組み込むようにしました。集計ツールが変わっても、考え方はそのまま使えます。

1. この数字は、どの集計条件から出たものか。期間・セグメント・内訳の有無など、条件をひとつ変えるだけで結果が変わることがあります。数字を見た時点で、条件をセットで確認します。
2. 別の集計方法で出しても、同じ結果になるか。可能であれば、条件を変えた集計をもう一度作ってみます。一致すれば安心材料になりますし、一致しなければ、それ自体が重要な発見です。
3. 一致しない場合、その差を報告書やダッシュボードのどこかに書き残しているか。差を消してから提出するのは避け、差があることと、その時点での判断根拠を、数字のすぐ近くに残しておきます。

3つ目が特に見落とされがちです。差の原因がわからないまま数字を確定させること自体は、現場ではよくあります。問題は、その経緯を書き残さないまま数字だけが独り歩きしてしまうことです。半年後に同じ指標を見た別の担当者が、今回とまったく同じ疑問にぶつかり、また一から調べ直す。そうした無駄を防げるかどうかは、集計の精度よりも、記録の残し方にかかっているというのが、この一件から得た実感です。