Apdex:ユーザー満足度の測定

Apdex(アプリケーション性能指標) は、アプリケーションの応答時間やサービスの応答時間を基にユーザー満足度を測定するための業界標準の指標です。簡潔なサービス品質保証契約 (SLA:Service Level Agreement) ソリューションです。平均応答時間のような一般的なメトリクスを使った場合に比べて、Apdex を利用することでアプリケーションオーナーはユーザーの関してより深い洞察を得るができます。理由の1つとして、平均応答時間は非常に遅い少数のレスポンス(外れ値)によってデータを歪めれられることがあります。

目次

Apdex の測定

Apdex とは設定された閾値に基づいた応答時間の基準のことです。「ユーザーが不満と感じている応答時間」に対する「満足と感じている応答時間」の割合です。応答時間とは、要求者がアセットを要求した時点から配信完了までの間をさします。

アプリケーションオーナーは応答時間の閾値 T を定義します。T 以下の時間で処理されるレスポンスは、ユーザーが満足していることを意味します。

T が 1.2秒、レスポンスが 0.5 秒で完了した場合、ユーザーが満足していることを意味します。1.2 秒を超える場合は、ユーザーは不満を感じています。

New Relic APM アプリケーションごとにアプリサーバーエンドユーザーのブラウザのパフォーマンス(ページ読み込みタイミング)の値を別々に Apdex T 値を定義できます。

Apdex の概要を説明したビデオ(約6分)

Apdex レベル

Apdex は3つのレスポンス数をカウントします。

  • 満足 ( Satisfied ):T 以下の応答時間。
  • 許容 ( Tolerating ):Tより大きく、 4T 以下の応答時間。T=1.2秒の場合、 4×1.2 = 4.8秒が最大許容応答時間となります。
  • 不満 ( Frustrated ):4T よりも大きい応答時間。

アプリの設定 T に基づき時間を計算します。次は T=1.2 秒の例です。

レベル 乗数 時間(例: T= 1.2)
満足 T以下 <= 1.2秒
許容 > T、<= 4T 1.2秒と4.8秒の間
不満 > 4T 4.8秒より大きい
設定ファイルの apdex_f 値とは、アプリサーバーの Apdex T の4倍の値のことです。この閾値は、トランザクション追跡などに便利です。詳しくは、New Relic エージェントにおける設定ファイルのマニュアルをご覧ください。

Apdex スコア

Apdex スコアは「満足と許容のリクエスト数」と「全リクエスト数」との比率です。「許容リクエスト」は「満足リクエスト」の半分としてカウントします。満足リクエストを1リクエストとして、カウントします。

chart-apdex-noexp.png
Apdex スコアは「満足と許容リクエスト」と「全リクエスト」の割合に基づいて計算しています。

例:

  • サーバーは、2分間で200リクエストを処理する。
  • 閾値 T = 0.5秒(500ミリ秒)。この値はユーザーの設定値である。
  • 170 リクエストは、500ミリ秒以内に処理された。よって、満足(Satisfied)に分類される。
  • 20 リクエストは、500ミリ秒から2秒(2000ミリ秒)内に処理されてた。よって、許容(Tolerating)に分類される。
  • 残りの10リクエストは適切に処理されなかったか、2秒以上かかったため不満(Frustrated)として分類される。
  • その結果、Apdexスコアは0.9となる。 (170 + (20/2))/200 = 0.9

エラーページ

エラーはユーザーにストレスを与えます。どんなに早いレスポンスであっても、それがサーバーエラーであれば、ユーザーはイラッとします。”500: アプリケーションエラー” ページを見たい人はいません。平均応答時間が Apdex T 以下であっても、Apdex スコアが悪い場合は 500エラーが発生している可能性があります。

不満の割合

不満の割合とは、アプリケーションのユーザーが経験した「全不満」に対する「該当トランザクション」の割合です。

    (不満 (トランザクション) + 許容 (トランザクション)/2)

              (不満 (APP) + 許容(App)/2)

サイトのトランザクションが、常にイライラするほど遅かったとしても、ユーザーがめったにアクセスしない場合、ストレスのたまるアプリケーションという判定にはなりません。反対に、通常のトランザクションは高速(例えば、Apdex 0.95)であるが、高負荷の状態がトラフィックの多くを占める場合、アプリの不満に繋がります。

さらに詳しい情報

追加のドキュメントは以下のとおりです。