Metrics（指标）：量化数据（QPS、延迟、错误率）
Logs（日志）：事件记录（某时刻发生了什么）
Traces（链路追踪）：请求路径（从哪里来，到哪里去）

Pull 模式：Prometheus 定期从应用拉取指标
Exporter：应用暴露 /metrics 端点，Prometheus 拉取

数据类型：
  Counter：只增不减（请求次数、错误次数）
  Gauge：可增可减（当前在线人数、CPU使用率）
  Histogram：分布统计（延迟分布）
  Summary：分位点（TP99/TP999）

import "github.com/prometheus/client_golang/prometheus"

var (
    approvalDuration = prometheus.NewHistogramVec(
        prometheus.HistogramOpts{
            Name:    "approval_duration_seconds",
            Buckets: []float64{0.01, 0.05, 0.1, 0.5, 1, 5},
        },
        []string{"workflow_id", "node_type"},
    )

    approvalTotal = prometheus.NewCounterVec(
        prometheus.CounterOpts{
            Name: "approval_total",
            Help: "Total approval count",
        },
        []string{"status"}, // approved/rejected/cancelled
    )
)

原理：每次请求生成一个 TraceID，沿途透传
Span：每个服务的处理单元，嵌套父子关系

关键字段：
  TraceID：整个请求链路的唯一ID
  SpanID：当前服务的唯一ID
  ParentSpanID：父服务的SpanID

// 在 Go 中使用 OpenTelemetry
span := tracer.StartSpan(ctx, "ApproveOrder")
defer span.End()

span.SetAttributes(
    attribute.String("order.id", orderID),
    attribute.String("user.id", userID),
)

结构化日志 > 文本日志

好的日志格式：
{
  "time": "2026-04-12T21:00:00Z",
  "level": "INFO",
  "trace_id": "abc123",
  "msg": "审批单创建成功",
  "order_id": "xxx",
  "user_id": "xxx",
  "duration_ms": 23
}

禁止：
  - 日志中包含密码、Token、身份证号
  - 用日志打印敏感数据
  - 日志级别混乱（INFO打DEBUG量级）

// IAM 慢查询监控
# 慢查询次数
iam_slow_query_total{query_type="list_users"} 15

// 接口延迟
iam_query_duration_seconds{quantile="0.99"} 0.085

// 告警规则示例
- alert: HighErrorRate
  expr: rate(http_requests_total{status=~"5.."}[5m]) > 0.05
  for: 2m
  labels:
    severity: critical