Latency
レイテンシ(Latency)は、リクエスト送信からレスポンス受信までの時間である。テールレイテンシを捉えるためパーセンタイル(p50/p95/p99)で測る。
目的
ユーザー体験に致命的な指標を定量化し、テールレイテンシを最適化する。
メカニズム
p50:中央値。p95/p99:テールレイテンシ(少数のユーザーだが顕著に影響する)。平均はロングテールに引きずられる。テールレイテンシの原因は、遅いリクエスト、GC、ロック競合、ネットワークジッタである。p99 < 100ms がよくある SLO である。
ユースケース
- パフォーマンス最適化
- SLO のモニタリング
- ユーザー体験