监控指标参考文档

本文整理监控体系中常用的指标，覆盖节点、containerd 容器、Kubernetes 集群、中间件和应用服务，方便在日常巡检、容量评估和故障排查时统一参考。

指标名称以 Prometheus 中实际采集到的 exporter 指标为准。不同 exporter 版本可能有少量差异，实际排查时以线上查询结果为最终依据。

适用范围

分类	覆盖对象
节点监控	Linux 主机、系统资源、磁盘、网络、进程
容器监控	containerd 运行的容器、Pod 容器资源
Kubernetes 集群	Node、Pod、Deployment、StatefulSet、Job、PVC、APIServer
MySQL	MySQL 实例、连接、查询、缓存、锁、网络
MongoDB	MongoDB 实例、连接、操作、内存、网络、复制缓冲
Redis	Redis 实例、客户端、命令、内存、Keyspace、命中率
Kafka	Broker、Topic、Partition、Consumer Group、Lag、Replica
MinIO	集群节点、磁盘、Bucket、S3 请求、对象容量
Elasticsearch	集群健康、节点、分片、索引、JVM、线程池、网络
应用服务	通用服务端、客户端调用、协同编辑、RS 服务、运行时

指标阅读规则

指标类型	阅读方式	常用 PromQL 写法	说明
Counter	看增速或时间窗口内增量	`rate(x_total[5m])`、`increase(x_total[5m])`	请求数、错误数、字节数、IO 次数一般属于 Counter
Gauge	看当前值、平均值、最大值	`avg(x)`、`max(x)`、`sum(x)`	内存、连接数、容量、状态值一般属于 Gauge
Histogram	看分位耗时	`histogram_quantile(0.95, sum(rate(x_bucket[5m])) by (le))`	请求耗时、处理耗时、队列耗时一般用 Histogram
Ratio	看比例	`A / B * 100`	使用率、错误率、命中率都属于比例型指标

建议阈值不要直接照搬固定数字。CPU、内存、磁盘、连接数、QPS、Lag 等指标要结合业务峰值、容量规划和历史基线判断。文档中的异常表现用于快速识别风险，不等同于最终告警阈值。

1. 节点服务监控

节点监控用于判断主机是否健康、资源是否充足、是否存在磁盘或网络瓶颈。节点指标主要来自 node-exporter，同时结合系统进程面板进行进程级定位。

1.1 基础状态

监控维度	指标	指标含义	常用口径/单位	异常表现
节点存活	`up`	exporter 或采集目标是否可访问	`1` 表示可采集，`0` 表示不可采集	连续为 `0`，说明节点、网络或 exporter 异常
启动时间	`node_boot_time_seconds`	节点最近一次启动时间	Unix 时间戳	启动时间变化，说明节点发生过重启
节点信息	`node_uname_info`、`node_os_info`	操作系统、内核和发行版信息	标签信息	用于核对节点版本，不直接作为告警指标

排查建议：先看 up，再看 node_boot_time_seconds。如果节点不可采集，同时启动时间近期发生变化，优先确认主机重启、网络 ACL、node-exporter 进程状态。

1.2 CPU 指标

监控维度	指标	指标含义	常用口径/单位	异常表现
CPU 使用率	`node_cpu_seconds_total`	各 CPU 核在不同模式下累计耗时	百分比	`user`、`system` 持续偏高，节点算力紧张
空闲 CPU	`node_cpu_seconds_total{mode="idle"}`	CPU 空闲时间	百分比	空闲长期过低，容易出现排队和延迟上升
IO 等待	`node_cpu_seconds_total{mode="iowait"}`	CPU 等待磁盘 IO 的时间	百分比	iowait 持续升高，通常说明磁盘或存储链路变慢
系统负载	`node_load1`、`node_load5`、`node_load15`	1/5/15 分钟平均负载	负载值	负载长期高于 CPU 核数，说明任务排队明显
CPU 压力	`node_pressure_cpu_waiting_seconds_total`	CPU PSI 等待时间累计值	秒/秒	CPU 资源竞争明显，进程等待 CPU 调度

常用查询：

100 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100

avg by (instance) (rate(node_cpu_seconds_total{mode="iowait"}[5m])) * 100

排查建议：CPU 使用率高时，先区分 user、system、iowait。user 高多半是业务计算压力，system 高可能与系统调用、网络包处理有关，iowait 高要继续看磁盘吞吐、IOPS 和延迟。

1.3 内存指标

监控维度	指标	指标含义	常用口径/单位	异常表现
总内存	`node_memory_MemTotal_bytes`	节点物理内存总量	Bytes	用于计算使用率
可用内存	`node_memory_MemAvailable_bytes`	系统可分配给进程的内存	Bytes / 百分比	可用内存持续过低，容易触发 OOM 或频繁回收
空闲内存	`node_memory_MemFree_bytes`	完全未使用的内存	Bytes	Linux 下不能单独用它判断内存压力
内存压力	`node_pressure_memory_waiting_seconds_total`	内存 PSI 等待时间累计值	秒/秒	内存回收或分配等待增加
OOM 次数	`node_vmstat_oom_kill`	系统 OOM kill 次数	次数/增量	出现增长时，需要定位被杀进程和内存峰值

常用查询：

(1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100

increase(node_vmstat_oom_kill[10m])

排查建议：内存不要只看 MemFree。实际可用性更应该看 MemAvailable，同时结合容器工作集内存、进程 RSS 和 OOM 记录判断。

1.4 磁盘容量与 inode

监控维度	指标	指标含义	常用口径/单位	异常表现
文件系统总量	`node_filesystem_size_bytes`	挂载点总容量	Bytes	用于计算磁盘使用率
文件系统剩余	`node_filesystem_avail_bytes`	普通用户可用空间	Bytes	可用空间不足会导致写入失败
文件系统空闲	`node_filesystem_free_bytes`	文件系统空闲空间	Bytes	含 root 保留空间，通常结合 `avail` 看
只读状态	`node_filesystem_readonly`	文件系统是否只读	`0/1`	为 `1` 时业务写入会失败
inode 总数	`node_filesystem_files`	文件系统 inode 总量	个	小文件场景需要重点关注
inode 剩余	`node_filesystem_files_free`	剩余 inode 数	个/百分比	inode 耗尽时，即使磁盘还有空间也无法创建文件

常用查询：

(1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes{fstype!~"tmpfs|overlay"}) * 100

(1 - node_filesystem_files_free / node_filesystem_files) * 100

排查建议：磁盘容量告警要按挂载点看，尤其是数据盘、日志盘、容器运行目录。inode 使用率高通常来自大量小文件、日志切片、临时文件未清理。

1.5 磁盘 IOPS、吞吐与延迟

监控维度	指标	指标含义	常用口径/单位	异常表现
读 IOPS	`node_disk_reads_completed_total`	磁盘读请求完成次数	次/秒	读 IOPS 接近设备上限，读延迟升高
写 IOPS	`node_disk_writes_completed_total`	磁盘写请求完成次数	次/秒	写入堆积，日志或数据库提交变慢
读吞吐	`node_disk_read_bytes_total`	磁盘读取字节累计值	Bytes/s	吞吐高且 iowait 高，说明存储忙
写吞吐	`node_disk_written_bytes_total`	磁盘写入字节累计值	Bytes/s	写吞吐长期过高，容易影响数据库和对象存储
读耗时	`node_disk_read_time_seconds_total`	读请求累计耗时	秒/秒	读延迟增大
写耗时	`node_disk_write_time_seconds_total`	写请求累计耗时	秒/秒	写延迟增大
IO 忙碌	`node_disk_io_time_seconds_total`	磁盘处理 IO 的累计时间	百分比	接近满载时，应用等待 IO
加权 IO 时间	`node_disk_io_time_weighted_seconds_total`	考虑队列长度的 IO 时间	秒/秒	队列堆积，说明设备排队严重
IO 压力	`node_pressure_io_waiting_seconds_total`	IO PSI 等待时间累计值	秒/秒	进程等待 IO 的时间变长

常用查询：

rate(node_disk_reads_completed_total[5m])

rate(node_disk_writes_completed_total[5m])

rate(node_disk_read_bytes_total[5m])

rate(node_disk_written_bytes_total[5m])

rate(node_disk_io_time_seconds_total[5m]) * 100

rate(node_disk_read_time_seconds_total[5m]) / rate(node_disk_reads_completed_total[5m])

rate(node_disk_write_time_seconds_total[5m]) / rate(node_disk_writes_completed_total[5m])

排查建议：磁盘问题不要只看容量。容量正常但 IOPS、吞吐、IO busy、iowait 同时升高时，业务同样会变慢。数据库、Kafka、MinIO 这类重 IO 服务要重点关注写延迟和队列。

1.6 网络指标

监控维度	指标	指标含义	常用口径/单位	异常表现
入方向流量	`node_network_receive_bytes_total`	网卡接收字节累计值	Bytes/s	入流量突增，可能是请求峰值或数据同步
出方向流量	`node_network_transmit_bytes_total`	网卡发送字节累计值	Bytes/s	出流量突增，可能是下载、备份或复制流量
入方向错误	`node_network_receive_errs_total`	接收错误包累计值	次/秒	网卡、链路或驱动异常
出方向错误	`node_network_transmit_errs_total`	发送错误包累计值	次/秒	链路异常或网卡队列问题
入方向丢包	`node_network_receive_drop_total`	接收丢包累计值	次/秒	内核队列或网卡处理不过来
出方向丢包	`node_network_transmit_drop_total`	发送丢包累计值	次/秒	出口拥塞或网卡队列压力

常用查询：

rate(node_network_receive_bytes_total{device!~"lo|veth.*|cni.*"}[5m])

rate(node_network_transmit_bytes_total{device!~"lo|veth.*|cni.*"}[5m])

rate(node_network_receive_drop_total[5m]) + rate(node_network_transmit_drop_total[5m])

排查建议：网络异常要把流量、错误包、丢包放在一起看。只有流量高不一定是故障；流量高并伴随错误包或丢包，才更像链路或主机网络栈问题。

1.7 TCP、文件句柄与系统压力

监控维度	指标	指标含义	常用口径/单位	异常表现
当前 TCP 连接	`node_netstat_Tcp_CurrEstab`	当前 Established TCP 连接数	个	连接数突增可能是流量峰值或连接泄漏
TIME_WAIT	`node_sockstat_TCP_tw`	TIME_WAIT 连接数	个	短连接过多，可能耗尽端口或增加内核压力
TCP 分配	`node_sockstat_TCP_alloc`	已分配 TCP socket 数	个	socket 数持续增长，需要排查连接释放
TCP 使用中	`node_sockstat_TCP_inuse`	正在使用的 TCP socket 数	个	连接压力升高
TCP orphan	`node_sockstat_TCP_orphan`	orphan socket 数	个	异常升高可能与连接关闭异常有关
文件句柄已用	`node_filefd_allocated`	系统已分配文件句柄数	个	过高会影响新连接和文件打开
文件句柄上限	`node_filefd_maximum`	系统文件句柄上限	个	用于计算句柄使用率

常用查询：

node_filefd_allocated / node_filefd_maximum * 100

排查建议：文件句柄和 TCP 连接通常一起看。服务端连接数突增时，如果系统句柄接近上限，应用可能出现 accept 失败、打开文件失败或依赖连接失败。

1.8 进程监控

监控维度	指标	指标含义	常用口径/单位	异常表现
进程 CPU	`process_cpu_seconds_total`	进程累计 CPU 时间	秒/秒	单进程 CPU 长期偏高
物理内存	`process_resident_memory_bytes`	进程 RSS 内存	Bytes	RSS 持续增长可能是内存泄漏
虚拟内存	`process_virtual_memory_bytes`	进程虚拟内存	Bytes	异常增长需要结合 RSS 判断
打开句柄	`process_open_fds`	进程已打开文件句柄数	个	持续增长可能是句柄泄漏
最大句柄	`process_max_fds`	进程可打开文件句柄上限	个	用于计算进程句柄使用率
进程启动	`process_start_time_seconds`	进程启动时间	Unix 时间戳	启动时间变化说明进程重启

排查建议：进程指标用于把节点级问题落到具体服务。节点 CPU 高时看进程 CPU，节点内存压力高时看 RSS，节点句柄高时看 process_open_fds。

2. containerd 容器监控

容器监控主要来自 kubelet/cAdvisor，反映 containerd 管理的容器资源使用情况。文档中沿用 Prometheus 指标名里的 container_* 命名，实际运行时底层容器运行时为 containerd。

2.1 容器 CPU

监控维度	指标	指标含义	常用口径/单位	异常表现
CPU 使用量	`container_cpu_usage_seconds_total`	容器累计 CPU 使用时间	核/秒	使用率长期接近 limit，业务延迟可能升高
CPU 限流时间	`container_cpu_cfs_throttled_seconds_total`	CFS 限流累计时间	秒/秒	CPU throttle 明显，说明 limit 过紧或负载过高
CPU 配额	`container_spec_cpu_quota`	容器 CPU quota	quota 值	用于识别是否设置 CPU limit

常用查询：

sum by (namespace, pod, container) (rate(container_cpu_usage_seconds_total{container!="",image!=""}[5m]))

sum by (namespace, pod, container) (rate(container_cpu_cfs_throttled_seconds_total{container!="",image!=""}[5m]))

排查建议：容器 CPU 高不一定要扩容。先看是否被 throttle，再看 Pod 的 requests/limits 是否过低，最后再结合服务请求耗时判断是否真实影响业务。

2.2 容器内存

监控维度	指标	指标含义	常用口径/单位	异常表现
RSS 内存	`container_memory_rss`	容器匿名页和 RSS 内存	Bytes	持续增长更接近真实进程内存压力
使用内存	`container_memory_usage_bytes`	容器总内存使用量	Bytes	包含 cache，不能单独判断泄漏
工作集内存	`container_memory_working_set_bytes`	容器活跃工作集内存	Bytes	接近 limit 时容易 OOMKilled
内存上限	`container_spec_memory_limit_bytes`	容器 memory limit	Bytes	用于计算内存使用率

常用查询：

container_memory_working_set_bytes{container!="",image!=""} / container_spec_memory_limit_bytes{container!="",image!=""} * 100

排查建议：业务容器的内存风险优先看 working set 和 RSS。usage_bytes 受 page cache 影响较大，适合做容量观察，不适合单独作为 OOM 判断依据。

2.3 容器磁盘与临时存储

监控维度	指标	指标含义	常用口径/单位	异常表现
读吞吐	`container_fs_reads_bytes_total`	容器读磁盘字节累计值	Bytes/s	读流量突增，可能是扫描、导入或缓存回源
写吞吐	`container_fs_writes_bytes_total`	容器写磁盘字节累计值	Bytes/s	写入高峰可能导致节点 IO 压力
读 IOPS	`container_fs_reads_total`	容器读请求次数	次/秒	小块读多，可能拖高 IO 等待
写 IOPS	`container_fs_writes_total`	容器写请求次数	次/秒	日志或临时文件写入过多
文件系统使用	`container_fs_usage_bytes`	容器文件系统使用量	Bytes	临时文件或日志堆积
文件系统上限	`container_fs_limit_bytes`	容器文件系统上限	Bytes	接近上限时可能写入失败

常用查询：

sum by (namespace, pod, container) (rate(container_fs_reads_bytes_total{container!="",image!=""}[5m]))

sum by (namespace, pod, container) (rate(container_fs_writes_bytes_total{container!="",image!=""}[5m]))

排查建议：容器磁盘写入异常时，先看 Pod 日志量、临时文件目录、批处理任务。节点磁盘 IO 高时，可以用容器 FS 指标定位是哪一个 Pod 在写。

2.4 容器网络

监控维度	指标	指标含义	常用口径/单位	异常表现
入方向流量	`container_network_receive_bytes_total`	容器接收字节累计值	Bytes/s	请求流量或复制流量突增
出方向流量	`container_network_transmit_bytes_total`	容器发送字节累计值	Bytes/s	下载、同步、回源、导出流量升高
入方向丢包	`container_network_receive_packets_dropped_total`	容器接收丢包累计值	次/秒	网络栈或节点压力导致丢包
出方向丢包	`container_network_transmit_packets_dropped_total`	容器发送丢包累计值	次/秒	出口拥塞、网卡队列或 CNI 问题

常用查询：

sum by (namespace, pod) (rate(container_network_receive_bytes_total[5m]))

sum by (namespace, pod) (rate(container_network_transmit_bytes_total[5m]))

排查建议：容器网络要结合节点网卡指标看。Pod 级丢包升高但节点无异常时，继续查 CNI、iptables、Pod 所在节点负载。

2.5 容器线程与生命周期

监控维度	指标	指标含义	常用口径/单位	异常表现
线程数	`container_threads`	容器内线程数量	个	线程持续增长可能是线程泄漏
最近采集	`container_last_seen`	容器最后一次被 cAdvisor 看到的时间	Unix 时间戳	长时间未更新，可能容器退出或采集异常
重启次数	`kube_pod_container_status_restarts_total`	容器重启累计次数	次/增量	重启频繁说明崩溃、探针失败或 OOM
等待原因	`kube_pod_container_status_waiting_reason`	容器等待状态原因	标签值	`CrashLoopBackOff`、`ImagePullBackOff` 等需要处理
运行状态	`kube_pod_container_status_running`	容器是否运行中	`0/1`	关键容器不为 `1` 说明服务不可用

排查建议：容器异常先看状态原因，再看重启次数和最近一次重启时间。频繁重启时，继续结合应用日志、OOM 事件、探针配置排查。

3. Kubernetes 集群监控

Kubernetes 监控用于判断集群资源水位、控制面健康、工作负载副本状态和存储对象状态。主要指标来自 kube-state-metrics、kubelet、APIServer。

3.1 节点容量与可调度资源

监控维度	指标	指标含义	常用口径/单位	异常表现
节点容量	`kube_node_status_capacity`	Node 总容量	CPU、内存、Pod 数等	用于容量规划
可分配资源	`kube_node_status_allocatable`	Node 可调度资源	CPU、内存、Pod 数等	可调度资源不足会导致 Pod Pending
节点条件	`kube_node_status_condition`	Node Ready、MemoryPressure 等状态	`0/1`	Ready 异常或 Pressure 出现，需要立即关注
禁止调度	`kube_node_spec_unschedulable`	Node 是否被 cordon	`0/1`	为 `1` 时该节点不会调度新 Pod
节点信息	`kube_node_info`	Node 版本、内核、容器运行时信息	标签信息	用于排查版本差异

排查建议：Pod Pending 时先看 allocatable 和 requests，再看节点是否 unschedulable，最后看 Node condition 是否出现资源压力。

3.2 Pod 状态

监控维度	指标	指标含义	常用口径/单位	异常表现
Pod 信息	`kube_pod_info`	Pod 所属 namespace、node 等信息	标签信息	用于定位 Pod 分布
Pod 阶段	`kube_pod_status_phase`	Pending、Running、Succeeded、Failed 等状态	`0/1`	Pending/Failed 增多说明调度或运行异常
Pod Ready	`kube_pod_status_ready`	Pod 是否 Ready	`0/1`	非 Ready 会影响服务可用性
Pod 原因	`kube_pod_status_reason`	Pod 异常原因	标签值	Evicted、NodeLost 等需要定位
容器重启	`kube_pod_container_status_restarts_total`	容器重启次数	次/增量	重启增长表示稳定性问题
容器等待	`kube_pod_container_status_waiting`	容器是否处于等待状态	`0/1`	等待状态持续存在，Pod 无法正常提供服务
等待原因	`kube_pod_container_status_waiting_reason`	等待状态原因	标签值	镜像拉取失败、CrashLoop 等
容器终止	`kube_pod_container_status_terminated`	容器是否终止	`0/1`	非预期终止要结合重启和日志看

常用查询：

sum by (namespace, phase) (kube_pod_status_phase == 1)

increase(kube_pod_container_status_restarts_total[10m])

排查建议：Pod 异常不要只看 phase。Ready、reason、container waiting reason 更能说明具体问题。

3.3 资源请求与限制

监控维度	指标	指标含义	常用口径/单位	异常表现
请求资源	`kube_pod_container_resource_requests`	容器 requests	CPU、内存	requests 过高会影响调度，过低会影响稳定性
限制资源	`kube_pod_container_resource_limits`	容器 limits	CPU、内存	limit 过低会导致 CPU 限流或 OOM
节点可分配	`kube_node_status_allocatable`	节点可用于调度的资源	CPU、内存	用于计算集群资源分配率
容器使用量	`container_cpu_usage_seconds_total`、`container_memory_working_set_bytes`	实际 CPU 和内存使用	核/秒、Bytes	用于判断 request/limit 是否合理

常用查询：

sum(kube_pod_container_resource_requests{resource="cpu"}) / sum(kube_node_status_allocatable{resource="cpu"}) * 100

sum(kube_pod_container_resource_requests{resource="memory"}) / sum(kube_node_status_allocatable{resource="memory"}) * 100

排查建议：资源规划要同时看“申请值”和“真实使用值”。只看 requests 会误判业务压力，只看使用量又会忽略调度容量。

3.4 工作负载副本

监控维度	指标	指标含义	常用口径/单位	异常表现
Deployment 副本	`kube_deployment_status_replicas`	Deployment 当前副本数	个	与期望副本不一致
已更新副本	`kube_deployment_status_replicas_updated`	已更新到新版本的副本数	个	发布过程中长时间不增长
不可用副本	`kube_deployment_status_replicas_unavailable`	不可用副本数	个	大于 0 时服务容量下降
StatefulSet 副本	`kube_statefulset_status_replicas`	StatefulSet 当前副本数	个	有状态服务副本异常
StatefulSet Ready	`kube_statefulset_status_replicas_ready`	StatefulSet Ready 副本数	个	Ready 小于期望副本，服务不完整

排查建议：发布异常时看 updated 和 unavailable。StatefulSet 异常要关注 PVC、Pod 启动顺序和节点亲和性。

3.5 Job 与批处理任务

监控维度	指标	指标含义	常用口径/单位	异常表现
运行中 Job	`kube_job_status_active`	当前 active Job 数	个	长时间 active 可能卡住
失败 Job	`kube_job_status_failed`	Job 失败次数	个	失败增长需要查看任务日志
成功 Job	`kube_job_status_succeeded`	Job 成功次数	个	用于判断任务完成情况
完成时间	`kube_job_status_completion_time`	Job 完成时间	Unix 时间戳	完成时间缺失可能未完成

排查建议：批处理任务异常时，要把 active、failed、succeeded 放在一起看。只看失败数容易漏掉长时间卡住的任务。

3.6 PVC 与存储对象

监控维度	指标	指标含义	常用口径/单位	异常表现
PVC 状态	`kube_persistentvolumeclaim_status_phase`	PVC Bound、Pending 等状态	`0/1`	Pending 会导致 Pod 无法挂载存储
PVC 申请容量	`kube_persistentvolumeclaim_resource_requests_storage_bytes`	PVC 申请的存储容量	Bytes	用于容量规划和配额管理

排查建议：有状态服务启动失败时，除了看 Pod，也要看 PVC 是否 Bound、存储类是否可用、底层存储是否容量不足。

3.7 APIServer、etcd 与控制面

监控维度	指标	指标含义	常用口径/单位	异常表现
APIServer 请求量	`apiserver_request_total`	APIServer 请求累计数	次/秒	请求突增可能来自控制器、kubectl 或业务组件
APIServer 延迟	`apiserver_request_duration_seconds_bucket`	APIServer 请求耗时分桶	P50/P95/P99	延迟升高会影响调度、发布和控制器同步
etcd 延迟	`etcd_request_duration_seconds_bucket`	etcd 请求耗时分桶	P50/P95/P99	etcd 慢会拖慢整个控制面
队列等待	`workqueue_queue_duration_seconds_bucket`	控制器队列等待耗时	分位耗时	队列积压，资源状态同步变慢
队列处理	`workqueue_work_duration_seconds_bucket`	控制器处理耗时	分位耗时	控制器处理变慢

常用查询：

sum by (verb, resource) (rate(apiserver_request_total[5m]))

histogram_quantile(0.95, sum(rate(apiserver_request_duration_seconds_bucket[5m])) by (le, verb, resource))

排查建议：控制面问题通常会表现为发布慢、Pod 状态更新慢、kubectl 响应慢。APIServer 延迟和 etcd 延迟一起升高时，要优先检查 etcd、磁盘 IO、控制面节点负载。

4. MySQL 监控

MySQL 监控用于观察实例可用性、连接压力、SQL 请求量、慢查询、缓存命中、临时表、锁等待、文件句柄和网络吞吐。

4.1 实例状态与请求量

监控维度	指标	指标含义	常用口径/单位	异常表现
实例存活	`up`	mysql exporter 是否可采集	`0/1`	为 `0` 时实例、网络或 exporter 异常
运行时长	`mysql_global_status_uptime`	MySQL 已运行时间	秒	变小表示实例发生重启
总查询量	`mysql_global_status_queries`	查询累计数	次/秒	QPS 突增，可能是业务峰值或异常请求
Questions	`mysql_global_status_questions`	客户端发起语句累计数	次/秒	与 queries 结合看请求压力
命令统计	`mysql_global_status_commands_total`	各类命令累计数	次/秒	可区分 select、insert、update、delete 等命令

常用查询：

rate(mysql_global_status_queries[5m])

sum by (command) (rate(mysql_global_status_commands_total[5m]))

排查建议：QPS 上涨时，先看命令分布。如果 select 上升同时扫描类指标上升，要关注索引和慢查询；写命令上升时，要继续看锁等待、磁盘 IO 和主机写延迟。

4.2 连接与线程

监控维度	指标	指标含义	常用口径/单位	异常表现
当前连接	`mysql_global_status_threads_connected`	当前已连接线程数	个	接近上限会导致新连接失败
活跃线程	`mysql_global_status_threads_running`	正在执行的线程数	个	持续升高通常表示 SQL 执行慢或锁等待
历史最大连接	`mysql_global_status_max_used_connections`	历史最大使用连接数	个	接近 max_connections 说明连接池需要评估
最大连接数	`mysql_global_variables_max_connections`	MySQL 最大连接配置	个	用于计算连接使用率
异常客户端	`mysql_global_status_aborted_clients`	客户端异常断开累计数	次/秒	网络、超时或客户端关闭异常
连接失败	`mysql_global_status_aborted_connects`	连接失败累计数	次/秒	认证错误、连接上限、网络异常等

常用查询：

mysql_global_status_threads_connected / mysql_global_variables_max_connections * 100

排查建议：连接数高不一定是数据库慢，也可能是应用连接池配置不合理。Threads_running 长期高更值得关注，它通常对应 SQL 执行或锁等待问题。

4.3 慢查询、扫描与排序

监控维度	指标	指标含义	常用口径/单位	异常表现
慢查询	`mysql_global_status_slow_queries`	慢查询累计数	次/秒	增长表示慢 SQL 增多
全连接扫描	`mysql_global_status_select_full_join`	无索引 join 次数	次/秒	说明 join 条件索引可能缺失
全表扫描	`mysql_global_status_select_scan`	全表扫描次数	次/秒	大表全扫会拖慢实例
排序合并	`mysql_global_status_sort_merge_passes`	排序需要多次合并的次数	次/秒	sort buffer 不足或排序数据量过大

排查建议：慢查询增长时，结合业务发布时间和 SQL 变更记录看。扫描和排序指标上涨，通常要回到慢日志、执行计划和索引设计。

4.4 InnoDB Buffer Pool

监控维度	指标	指标含义	常用口径/单位	异常表现
Buffer Pool 大小	`mysql_global_variables_innodb_buffer_pool_size`	InnoDB Buffer Pool 配置大小	Bytes	过小会增加磁盘读取
Buffer Pool 页面	`mysql_global_status_buffer_pool_pages`	Buffer Pool 各类页面数量	页	用于观察 dirty、free、data 等页面
页面大小	`mysql_global_status_innodb_page_size`	InnoDB page size	Bytes	用于把页数换算为容量

排查建议：Buffer Pool 命中效果差时，数据库会更多访问磁盘。需要和节点磁盘读吞吐、读 IOPS、iowait 一起判断。

4.5 临时表、表缓存与文件句柄

监控维度	指标	指标含义	常用口径/单位	异常表现
临时表	`mysql_global_status_created_tmp_tables`	创建临时表累计数	次/秒	查询复杂度上升
磁盘临时表	`mysql_global_status_created_tmp_disk_tables`	创建磁盘临时表累计数	次/秒	磁盘 IO 压力增加，SQL 可能变慢
临时文件	`mysql_global_status_created_tmp_files`	创建临时文件累计数	次/秒	临时文件增多
表锁立即获得	`mysql_global_status_table_locks_immediate`	立即获得表锁次数	次/秒	正常对照指标
表锁等待	`mysql_global_status_table_locks_waited`	等待表锁次数	次/秒	锁竞争加重
表缓存命中	`mysql_global_status_table_open_cache_hits`	table open cache 命中次数	次/秒	命中低时可能频繁打开表
表缓存未命中	`mysql_global_status_table_open_cache_misses`	table open cache 未命中次数	次/秒	需要评估表缓存
表缓存溢出	`mysql_global_status_table_open_cache_overflows`	table open cache 溢出次数	次/秒	配置不足或表数量过多
打开表数量	`mysql_global_status_open_tables`	当前打开表数量	个	接近缓存上限时风险增加
表缓存配置	`mysql_global_variables_table_open_cache`	table_open_cache 配置值	个	用于计算使用率
打开文件	`mysql_global_status_open_files`	当前打开文件数量	个	接近文件上限时会影响 SQL 执行
文件上限	`mysql_global_variables_open_files_limit`	MySQL 文件句柄上限	个	用于计算文件句柄使用率

排查建议：临时表、锁等待、表缓存未命中经常和慢查询一起出现。磁盘临时表增加时，要注意节点写 IO、磁盘延迟和 SQL 排序/分组。

4.6 网络吞吐

监控维度	指标	指标含义	常用口径/单位	异常表现
入方向流量	`mysql_global_status_bytes_received`	MySQL 接收字节累计值	Bytes/s	请求体或写入流量增大
出方向流量	`mysql_global_status_bytes_sent`	MySQL 发送字节累计值	Bytes/s	大查询、全表扫描、批量导出会拉高出流量

常用查询：

rate(mysql_global_status_bytes_received[5m])

rate(mysql_global_status_bytes_sent[5m])

排查建议：MySQL 出流量突然升高，通常要关注大结果集、导出任务和缺少分页的查询。

5. MongoDB 监控

MongoDB 监控用于观察实例状态、连接数、操作量、查询扫描、内存占用、网络吞吐和复制缓冲情况。

5.1 实例与连接

监控维度	指标	指标含义	常用口径/单位	异常表现
实例存活	`up`	mongo exporter 是否可采集	`0/1`	为 `0` 时实例或 exporter 异常
运行时长	`mongodb_ss_uptime`	MongoDB 已运行时间	秒	变小表示实例重启
连接数	`mongodb_ss_connections`	当前连接相关统计	个	连接数异常升高，可能是连接池或业务峰值

排查建议：连接数上涨时，先确认是否有业务峰值、连接池配置变更、客户端异常重连。

5.2 操作与文档处理

监控维度	指标	指标含义	常用口径/单位	异常表现
操作计数	`mongodb_ss_opcounters`	insert、query、update、delete 等操作累计数	次/秒	某类操作突增，说明业务访问模式变化
文档处理	`mongodb_ss_metrics_document`	文档 inserted、updated、deleted、returned 等累计数	次/秒	returned 明显高于实际需要，可能返回结果过大
扫描索引项	`mongodb_ss_metrics_queryExecutor_scanned`	查询扫描索引项数量	次/秒	扫描过多可能索引不合理
扫描文档数	`mongodb_ss_metrics_queryExecutor_scannedObjects`	查询扫描文档数量	次/秒	文档扫描多，查询效率低

常用查询：

sum by (type) (rate(mongodb_ss_opcounters[5m]))

排查建议：MongoDB 慢查询常见表现是 scanned/scannedObjects 上升。需要结合慢日志和索引命中情况分析。

5.3 内存、网络与磁盘

监控维度	指标	指标含义	常用口径/单位	异常表现
Resident 内存	`mongodb_ss_mem_resident`	MongoDB 常驻内存	MB 或 Bytes	持续升高需要结合主机内存看
Virtual 内存	`mongodb_ss_mem_virtual`	MongoDB 虚拟内存	MB 或 Bytes	单独升高不一定代表真实压力
入方向流量	`mongodb_ss_network_bytesIn`	MongoDB 接收字节累计值	Bytes/s	写入或请求流量增加
出方向流量	`mongodb_ss_network_bytesOut`	MongoDB 发送字节累计值	Bytes/s	大查询或导出任务导致出流量升高
主机读 IO	`node_disk_reads_completed_total`	MongoDB 所在节点读 IOPS	次/秒	查询扫描导致读 IO 升高
主机写 IO	`node_disk_writes_completed_total`	MongoDB 所在节点写 IOPS	次/秒	写入或 journal 压力增加

排查建议：MongoDB 内存和磁盘表现要结合节点内存和磁盘 IO。把实例指标和主机磁盘读写放在一起看，更容易判断是 MongoDB 自身慢，还是底层资源慢。

5.4 复制缓冲

监控维度	指标	指标含义	常用口径/单位	异常表现
复制缓冲大小	`mongodb_ss_metrics_repl_buffer_sizeBytes`	复制缓冲区大小	Bytes	缓冲持续增长，说明复制消费不及时

排查建议：复制缓冲异常通常和从库处理能力、网络、磁盘写入有关。需要结合复制延迟、节点网络和磁盘写入指标一起看。

6. Redis 监控

Redis 监控用于观察实例存活、连接数、命令处理、内存水位、Keyspace、命中率、淘汰和网络吞吐。

6.1 实例与客户端

监控维度	指标	指标含义	常用口径/单位	异常表现
实例存活	`up`	redis exporter 是否可采集	`0/1`	为 `0` 时实例或 exporter 异常
运行时长	`redis_uptime_in_seconds`	Redis 已运行时间	秒	变小表示实例重启
客户端连接	`redis_connected_clients`	当前客户端连接数	个	连接数突增可能是连接池或重连风暴

6.2 命令、内存与 Keyspace

监控维度	指标	指标含义	常用口径/单位	异常表现
命令处理量	`redis_commands_processed_total`	Redis 处理命令累计数	次/秒	QPS 突增，实例 CPU 可能升高
命令分类	`redis_commands_total`	按命令分类的累计数	次/秒	可识别 get、set、del 等命令变化
已用内存	`redis_memory_used_bytes`	Redis 当前使用内存	Bytes	接近 maxmemory 时可能触发淘汰
最大内存	`redis_memory_max_bytes`	Redis maxmemory 配置	Bytes	用于计算内存使用率
Key 数量	`redis_db_keys`	各 DB key 数量	个	key 数异常增长，可能是缓存无过期或写入异常
带过期 Key	`redis_db_keys_expiring`	设置过期时间的 key 数	个	比例过低时要关注缓存生命周期

常用查询：

rate(redis_commands_processed_total[5m])

redis_memory_used_bytes / redis_memory_max_bytes * 100

6.3 命中率、淘汰与网络

监控维度	指标	指标含义	常用口径/单位	异常表现
命中次数	`redis_keyspace_hits_total`	key 命中累计数	次/秒	与 miss 一起计算命中率
未命中次数	`redis_keyspace_misses_total`	key 未命中累计数	次/秒	miss 上升可能导致回源压力增加
过期 key	`redis_expired_keys_total`	key 过期累计数	次/秒	过期风暴可能导致 CPU 抖动
淘汰 key	`redis_evicted_keys_total`	被淘汰 key 累计数	次/秒	增长说明内存压力或 maxmemory 不足
入方向流量	`redis_net_input_bytes_total`	Redis 接收字节累计值	Bytes/s	写入或请求流量增加
出方向流量	`redis_net_output_bytes_total`	Redis 发送字节累计值	Bytes/s	大 value 或批量读取导致出流量高

常用查询：

rate(redis_keyspace_hits_total[5m]) / (rate(redis_keyspace_hits_total[5m]) + rate(redis_keyspace_misses_total[5m])) * 100

rate(redis_evicted_keys_total[5m])

排查建议：Redis 风险重点看内存和淘汰。命中率下降会把压力传给后端数据库，淘汰增长说明缓存容量或淘汰策略需要评估。

7. Kafka 监控

Kafka 监控用于观察 Broker 数量、Topic/Partition 状态、生产消费位点、Consumer Group Lag、成员数和副本同步情况。

7.1 Broker、Topic 与 Partition

监控维度	指标	指标含义	常用口径/单位	异常表现
Broker 数	`kafka_brokers`	当前可见 Broker 数量	个	数量下降说明 Broker 不可用或 exporter 无法访问
Topic 分区	`kafka_topic_partitions`	Topic 的 Partition 数量	个	分区变化影响并发和消费能力
分区当前位点	`kafka_topic_partition_current_offset`	Partition 最新 offset	offset / 增速	生产持续写入时应持续增长
分区最老位点	`kafka_topic_partition_oldest_offset`	Partition 最老 offset	offset	用于观察保留数据范围

常用查询：

sum by (topic) (rate(kafka_topic_partition_current_offset[5m]))

排查建议：生产速率异常时，先看 topic 当前 offset 增速。如果业务确认有写入但 offset 不增长，要查生产端错误、Broker 状态和 Topic 配置。

7.2 Consumer Group 与 Lag

监控维度	指标	指标含义	常用口径/单位	异常表现
消费位点	`kafka_consumergroup_current_offset`	Consumer Group 当前消费 offset	offset / 增速	不增长说明消费停止或卡住
分区 Lag	`kafka_consumergroup_lag`	Consumer Group 在分区上的积压	条	Lag 增长表示消费跟不上生产
Group 总 Lag	`kafka_consumergroup_lag_sum`	Consumer Group 总积压	条	总 Lag 持续增长，业务延迟扩大
Group 成员	`kafka_consumergroup_members`	Consumer Group 成员数量	个	成员数下降可能导致消费能力下降

常用查询：

sum by (consumergroup, topic) (kafka_consumergroup_lag)

sum by (consumergroup, topic) (rate(kafka_consumergroup_current_offset[5m]))

排查建议：Kafka 最核心的业务指标是 Lag。Lag 增长时，先看消费成员是否减少，再看消费速率是否下降，最后看应用处理耗时、下游依赖和 Broker IO。

7.3 Replica 与 ISR

监控维度	指标	指标含义	常用口径/单位	异常表现
副本数	`kafka_topic_partition_replicas`	Partition 副本数量	个	副本数低于预期会降低可靠性
ISR 副本	`kafka_topic_partition_in_sync_replica`	Partition 同步副本数量	个	ISR 下降说明副本落后或 Broker 异常
Preferred Leader	`kafka_topic_partition_leader_is_preferred`	Leader 是否为 preferred replica	`0/1`	长期不均衡可能导致部分 Broker 压力过高

排查建议：ISR 下降比普通 Lag 更偏可靠性风险。需要检查 Broker 状态、网络、磁盘写延迟和副本同步情况。

8. MinIO 对象存储监控

MinIO 监控用于观察对象存储集群可用性、节点和磁盘状态、Bucket 容量、S3 请求、错误、流量、进程句柄和修复任务活动。

8.1 集群节点与磁盘

监控维度	指标	指标含义	常用口径/单位	异常表现
在线节点	`minio_cluster_nodes_online_total`	MinIO 在线节点数量	个	数量下降说明节点不可用
离线节点	`minio_cluster_nodes_offline_total`	MinIO 离线节点数量	个	大于 0 需要关注集群可用性
在线磁盘	`minio_cluster_disk_online_total`	在线磁盘数量	个	磁盘减少会影响冗余和可写能力
离线磁盘	`minio_cluster_disk_offline_total`	离线磁盘数量	个	大于 0 需要排查磁盘或挂载
可用容量	`minio_cluster_capacity_usable_free_bytes`	集群可用容量	Bytes	持续下降，容量不足风险

排查建议：对象存储优先看节点和磁盘在线状态。离线磁盘不能只看数量，还要结合纠删码冗余策略判断风险。

8.2 Bucket 容量与对象数量

监控维度	指标	指标含义	常用口径/单位	异常表现
Bucket 容量	`bucket_usage_size`	Bucket 已使用容量	Bytes	容量增长过快，需要评估扩容
对象数量	`bucket_objects_count`	Bucket 对象数量	个	小对象过多会增加元数据和扫描压力
对象大小分布	`minio_bucket_objects_size_distribution`	Bucket 内对象大小分布	分桶统计	对象分布变化影响存储和请求性能

常用查询：

sum by (bucket) (bucket_usage_size)

sum by (bucket) (bucket_objects_count)

排查建议：容量增长要按 Bucket 拆开看。对象数量增长很快但容量增长不明显时，通常是小对象增加，需要关注生命周期清理和业务写入模式。

8.3 S3 请求、错误与流量

监控维度	指标	指标含义	常用口径/单位	异常表现
S3 请求数	`minio_s3_requests_total`	S3 API 请求累计数	次/秒	请求突增，可能是业务峰值或重试
S3 错误数	`minio_s3_requests_errors_total`	S3 API 错误累计数	次/秒	错误率升高影响对象读写
接收流量	`minio_s3_traffic_received_bytes`	S3 接收字节累计值	Bytes/s	上传流量升高
发送流量	`minio_s3_traffic_sent_bytes`	S3 发送字节累计值	Bytes/s	下载或回源流量升高

常用查询：

sum by (api) (rate(minio_s3_requests_total[5m]))

sum(rate(minio_s3_requests_errors_total[5m])) / sum(rate(minio_s3_requests_total[5m])) * 100

排查建议：S3 错误率升高时，先按 API 类型拆分，再看对应 Bucket、节点磁盘状态和网络流量。

8.4 节点进程、文件句柄与 IO

监控维度	指标	指标含义	常用口径/单位	异常表现
节点磁盘使用	`minio_node_disk_used_bytes`	MinIO 节点磁盘使用量	Bytes	单节点容量倾斜
打开文件句柄	`minio_node_file_descriptor_open_total`	MinIO 进程打开文件句柄数	个	接近系统上限时请求可能失败
读系统调用	`minio_node_syscall_read_total`	读 syscall 累计次数	次/秒	读调用异常升高
写系统调用	`minio_node_syscall_write_total`	写 syscall 累计次数	次/秒	写调用异常升高
进程读字节	`minio_node_io_rchar_bytes`	进程读取字符字节累计值	Bytes/s	读负载升高
进程写字节	`minio_node_io_wchar_bytes`	进程写入字符字节累计值	Bytes/s	写负载升高
goroutine 数	`minio_node_go_routine_total`	MinIO 进程 goroutine 数	个	持续增长可能是请求堆积或泄漏
启动时间	`minio_node_process_starttime_seconds`	MinIO 进程启动时间	Unix 时间戳	变化说明进程重启

排查建议：MinIO 性能问题要把 S3 请求、节点磁盘、进程 IO 和 goroutine 一起看。只有请求量高不一定异常，错误率、IO 延迟和磁盘离线才是更明确的风险信号。

8.5 修复与用量活动

监控维度	指标	指标含义	常用口径/单位	异常表现
Heal 活动	`minio_heal_time_last_activity_nano_seconds`	最近一次修复活动时间	纳秒时间戳	长时间修复或频繁修复需要关注磁盘健康
Usage 活动	`minio_usage_last_activity_nano_seconds`	最近一次用量扫描活动时间	纳秒时间戳	用量扫描异常可能影响容量统计准确性

排查建议：节点或磁盘异常恢复后，要关注 heal 活动是否正常推进，避免对象冗余长期处于风险状态。

9. Elasticsearch 监控

Elasticsearch 监控用于观察搜索集群健康、节点数量、分片分布、索引读写、缓存、JVM、线程池、磁盘和网络。ES 的故障通常不是单一指标决定的，更常见的是“分片异常 + JVM 压力 + 线程池拒绝 + 磁盘水位”一起出现。

9.1 集群健康与节点

监控维度	指标	指标含义	常用口径/单位	异常表现
集群健康	`elasticsearch_cluster_health_status`	ES 集群健康状态	状态值	yellow/red 表示副本或主分片异常
节点数	`elasticsearch_cluster_health_number_of_nodes`	集群节点数量	个	节点数下降，可能有节点离线
数据节点数	`elasticsearch_cluster_health_number_of_data_nodes`	集群数据节点数量	个	数据节点减少会影响分片承载和读写能力
Pending task	`elasticsearch_cluster_health_number_of_pending_tasks`	集群待处理任务数	个	持续增长说明 master 或集群状态更新变慢
活跃主分片	`elasticsearch_cluster_health_active_primary_shards`	active primary shard 数量	个	下降时风险很高，可能影响索引可用性
活跃分片	`elasticsearch_cluster_health_active_shards`	active shard 总数	个	下降说明分片未完全恢复
初始化分片	`elasticsearch_cluster_health_initializing_shards`	initializing shard 数量	个	长时间不下降说明恢复慢
迁移分片	`elasticsearch_cluster_health_relocating_shards`	relocating shard 数量	个	迁移过多会增加网络和磁盘压力
未分配分片	`elasticsearch_cluster_health_unassigned_shards`	unassigned shard 数量	个	大于 0 说明分片没有分配到节点
延迟未分配	`elasticsearch_cluster_health_delayed_unassigned_shards`	delayed unassigned shard 数量	个	节点离线后等待重新分配

常用查询：

elasticsearch_cluster_health_status

elasticsearch_cluster_health_unassigned_shards

排查建议：ES 先看 health status 和 unassigned shards。red 要优先处理主分片；yellow 多半是副本未分配，也不能长期放着不管。

9.2 磁盘容量与文件系统

监控维度	指标	指标含义	常用口径/单位	异常表现
数据盘总量	`elasticsearch_filesystem_data_size_bytes`	ES 数据目录总容量	Bytes	用于计算磁盘使用率
数据盘可用	`elasticsearch_filesystem_data_available_bytes`	ES 数据目录可用容量	Bytes	可用空间不足会触发分片迁移或写入限制

常用查询：

(1 - elasticsearch_filesystem_data_available_bytes / elasticsearch_filesystem_data_size_bytes) * 100

排查建议：ES 对磁盘水位很敏感。磁盘使用率过高时，可能出现 shard 迁移、索引只读、写入失败。需要同时看索引增长、保留策略和节点磁盘分布。

9.3 文档、索引与删除

监控维度	指标	指标含义	常用口径/单位	异常表现
文档数量	`elasticsearch_indices_docs`	当前文档数量	个	文档数持续快速增长，需要评估容量
删除文档	`elasticsearch_indices_docs_deleted`	已删除文档数量	个	删除比例高会带来 merge 压力
索引写入数	`elasticsearch_indices_indexing_index_total`	index 操作累计数	次/秒	写入突增会增加 CPU、磁盘和 refresh 压力
索引写入耗时	`elasticsearch_indices_indexing_index_time_seconds_total`	index 操作累计耗时	秒/秒	写入耗时升高，写入链路变慢
删除操作数	`elasticsearch_indices_indexing_delete_total`	delete 操作累计数	次/秒	删除突增会带来段合并压力
删除操作耗时	`elasticsearch_indices_indexing_delete_time_seconds_total`	delete 操作累计耗时	秒/秒	删除耗时升高

常用查询：

sum by (cluster) (rate(elasticsearch_indices_indexing_index_total[5m]))

rate(elasticsearch_indices_indexing_index_time_seconds_total[5m]) / rate(elasticsearch_indices_indexing_index_total[5m])

排查建议：写入变慢时，别只看写入 QPS。要一起看 refresh、merge、translog、线程池拒绝、磁盘 IO。

9.4 查询与 Get 请求

监控维度	指标	指标含义	常用口径/单位	异常表现
查询请求数	`elasticsearch_indices_search_query_total`	search query 累计数	次/秒	查询量突增
查询耗时	`elasticsearch_indices_search_query_time_seconds`	search query 累计耗时	秒/秒	查询平均耗时升高
Fetch 请求数	`elasticsearch_indices_search_fetch_total`	search fetch 阶段累计数	次/秒	大结果集会拉高 fetch
Fetch 耗时	`elasticsearch_indices_search_fetch_time_seconds`	search fetch 累计耗时	秒/秒	fetch 慢通常和大结果集、磁盘或网络有关
Get 请求数	`elasticsearch_indices_get_exists_total`、`elasticsearch_indices_get_missing_total`	Get 命中和未命中累计数	次/秒	missing 上升可能是业务访问不存在文档
Get 耗时	`elasticsearch_indices_get_time_seconds`、`elasticsearch_indices_get_exists_time_seconds`、`elasticsearch_indices_get_missing_time_seconds`	Get 请求累计耗时	秒/秒	Get 慢说明读链路压力上升

常用查询：

rate(elasticsearch_indices_search_query_time_seconds[5m]) / rate(elasticsearch_indices_search_query_total[5m])

rate(elasticsearch_indices_search_fetch_time_seconds[5m]) / rate(elasticsearch_indices_search_fetch_total[5m])

排查建议：查询慢要分 query 和 fetch。query 慢偏查询条件、索引结构和分片压力；fetch 慢更常见于返回字段多、结果集大、磁盘读慢。

9.5 Segment、Merge、Refresh 与 Translog

监控维度	指标	指标含义	常用口径/单位	异常表现
Segment 数量	`elasticsearch_indices_segments_count`	当前 segment 数量	个	segment 过多会影响查询和内存
Segment 内存	`elasticsearch_indices_segments_memory_bytes`	segment 占用内存	Bytes	持续升高会挤压 JVM
Merge 次数	`elasticsearch_indices_merges_total`	merge 操作累计数	次/秒	merge 频繁说明写入或删除压力大
Merge 文档数	`elasticsearch_indices_merges_docs_total`	merge 处理文档累计数	个/秒	merge 工作量上升
Merge 数据量	`elasticsearch_indices_merges_total_size_bytes_total`	merge 处理数据累计量	Bytes/s	大量 merge 会打满磁盘 IO
Merge 耗时	`elasticsearch_indices_merges_total_time_seconds_total`	merge 累计耗时	秒/秒	merge 慢会拖累写入和查询
Refresh 次数	`elasticsearch_indices_refresh_total`	refresh 累计次数	次/秒	refresh 过频会增加开销
Refresh 耗时	`elasticsearch_indices_refresh_time_seconds_total`	refresh 累计耗时	秒/秒	refresh 慢影响近实时可见性
Flush 次数	`elasticsearch_indices_flush_total`	flush 累计次数	次/秒	flush 频繁可能和 translog、写入压力有关
Flush 耗时	`elasticsearch_indices_flush_time_seconds`	flush 累计耗时	秒/秒	flush 慢会影响稳定性
Translog 操作	`elasticsearch_indices_translog_operations`	translog 当前操作数量	个	持续堆积要关注 flush
Translog 大小	`elasticsearch_indices_translog_size_in_bytes`	translog 当前大小	Bytes	过大可能影响恢复时间
Store throttle	`elasticsearch_indices_store_throttle_time_seconds_total`	索引存储限流累计时间	秒/秒	限流升高，写入受磁盘影响

排查建议：写入压力大时，merge、refresh、flush、translog 会一起变化。merge 耗时和 store throttle 上升，通常说明磁盘已经开始影响 ES。

9.6 Cache 与 Circuit Breaker

监控维度	指标	指标含义	常用口径/单位	异常表现
Query cache 内存	`elasticsearch_indices_query_cache_memory_size_bytes`	query cache 使用内存	Bytes	占用过高会挤压 JVM
Query cache 淘汰	`elasticsearch_indices_query_cache_evictions`	query cache 淘汰累计数	次/秒	淘汰频繁说明缓存不稳定
Fielddata 内存	`elasticsearch_indices_fielddata_memory_size_bytes`	fielddata 使用内存	Bytes	fielddata 过高容易触发内存压力
Fielddata 淘汰	`elasticsearch_indices_fielddata_evictions`	fielddata 淘汰累计数	次/秒	查询或聚合压力大
Filter cache 淘汰	`elasticsearch_indices_filter_cache_evictions`	filter cache 淘汰累计数	次/秒	过滤缓存频繁失效
Breaker 估算值	`elasticsearch_breakers_estimated_size_bytes`	circuit breaker 估算内存	Bytes	接近 limit 时查询可能被拒绝
Breaker 上限	`elasticsearch_breakers_limit_size_bytes`	circuit breaker 限制	Bytes	用于计算 breaker 使用率
Breaker 触发	`elasticsearch_breakers_tripped`	circuit breaker 触发次数	次/增量	增长说明请求因内存风险被拦截

常用查询：

elasticsearch_breakers_estimated_size_bytes / elasticsearch_breakers_limit_size_bytes * 100

increase(elasticsearch_breakers_tripped[10m])

排查建议：聚合查询、排序、脚本查询容易推高 fielddata 和 breaker。breaker 触发时，通常要限制查询规模、优化索引 mapping 或调整查询方式。

9.7 JVM、CPU 与负载

监控维度	指标	指标含义	常用口径/单位	异常表现
JVM 已用内存	`elasticsearch_jvm_memory_used_bytes`	JVM 当前使用内存	Bytes	持续接近上限，GC 压力上升
JVM 最大内存	`elasticsearch_jvm_memory_max_bytes`	JVM 最大可用内存	Bytes	用于计算 JVM 使用率
JVM 已提交内存	`elasticsearch_jvm_memory_committed_bytes`	JVM committed 内存	Bytes	观察 JVM 内存申请情况
JVM 内存池峰值	`elasticsearch_jvm_memory_pool_peak_used_bytes`	各内存池峰值使用量	Bytes	老年代峰值高需要关注
GC 次数	`elasticsearch_jvm_gc_collection_seconds_count`	GC 发生次数	次/秒	GC 频繁，延迟可能抖动
GC 耗时	`elasticsearch_jvm_gc_collection_seconds_sum`	GC 累计耗时	秒/秒	GC 时间高会影响查询和写入
进程 CPU	`elasticsearch_process_cpu_percent`	ES 进程 CPU 使用率	百分比	CPU 长期高，查询或写入压力大
系统负载	`elasticsearch_os_load1`、`elasticsearch_os_load5`、`elasticsearch_os_load15`	节点 1/5/15 分钟负载	负载值	负载高于 CPU 核数，任务排队明显
打开文件数	`elasticsearch_process_open_files_count`	ES 进程打开文件数	个	接近系统限制时可能影响索引文件访问

常用查询：

elasticsearch_jvm_memory_used_bytes / elasticsearch_jvm_memory_max_bytes * 100

rate(elasticsearch_jvm_gc_collection_seconds_sum[5m])

排查建议：ES JVM 内存不是越大越好。JVM 使用率、GC 耗时、fielddata、query cache 和 breaker 要一起看，才能判断是查询导致内存压力，还是堆大小和数据规模不匹配。

9.8 线程池与网络

监控维度	指标	指标含义	常用口径/单位	异常表现
活跃线程	`elasticsearch_thread_pool_active_count`	线程池活跃线程数	个	活跃线程长期高，处理压力大
已完成任务	`elasticsearch_thread_pool_completed_count`	线程池完成任务累计数	次/秒	用于观察处理吞吐
拒绝任务	`elasticsearch_thread_pool_rejected_count`	线程池拒绝任务累计数	次/秒	增长说明线程池或队列打满
接收流量	`elasticsearch_transport_rx_size_bytes_total`	transport 接收字节累计值	Bytes/s	节点间通信或请求流量升高
发送流量	`elasticsearch_transport_tx_size_bytes_total`	transport 发送字节累计值	Bytes/s	分片迁移、查询、复制流量增加

常用查询：

sum by (type) (rate(elasticsearch_thread_pool_rejected_count[5m]))

rate(elasticsearch_transport_rx_size_bytes_total[5m]) + rate(elasticsearch_transport_tx_size_bytes_total[5m])

排查建议：线程池 rejected 是很直接的业务风险信号。写入 rejected 看 bulk/index 线程池，查询 rejected 看 search 线程池，再结合 CPU、JVM、磁盘 IO 判断瓶颈。

10. 应用服务监控

应用监控覆盖通用服务端请求、客户端依赖调用、运行时资源、协同编辑业务链路和 RS 服务任务。应用指标重点不是单个资源水位，而是请求量、错误、耗时和依赖健康。

10.1 通用服务端指标

监控维度	指标	指标含义	常用口径/单位	异常表现
服务存活	`up`	应用 exporter 或 metrics endpoint 是否可采集	`0/1`	为 `0` 时 metrics 不可访问或服务异常
构建信息	`ego_build_info`	应用构建版本、分支等信息	标签信息	用于核对发布版本
启动次数	`ego_server_started_total`	服务端启动累计次数	次/增量	增长说明进程重启或发布
服务端请求	`ego_server_handle_total`	服务端请求累计数	次/秒	请求突增或下降都需要结合业务判断
服务端耗时	`ego_server_handle_seconds_count`、`ego_server_handle_seconds_bucket`	服务端请求耗时统计	P50/P95/P99	延迟升高影响用户体验

常用查询：

sum by (service, method) (rate(ego_server_handle_total[5m]))

histogram_quantile(0.95, sum(rate(ego_server_handle_seconds_bucket[5m])) by (le, service, method))

排查建议：服务端异常先看请求量是否变化，再看错误和耗时。如果耗时升高但资源不高，继续看下游依赖调用和队列。

10.2 客户端依赖调用

监控维度	指标	指标含义	常用口径/单位	异常表现
客户端调用量	`ego_client_handle_total`	应用作为客户端调用下游的次数	次/秒	下游调用量突增，可能放大依赖压力
客户端耗时	`ego_client_handle_seconds_count`、`ego_client_handle_seconds_bucket`	下游调用耗时统计	P50/P95/P99	下游慢会拖慢当前服务
客户端状态	`ego_client_stats_gauge`	客户端连接池或状态类指标	当前值	连接池耗尽、空闲连接异常等
Kafka 生产耗时	`kafka_produce_duration_seconds_bucket`	应用生产 Kafka 消息耗时	P50/P95/P99	生产耗时升高，可能 Broker 或网络异常

常用查询：

histogram_quantile(0.95, sum(rate(ego_client_handle_seconds_bucket[5m])) by (le, service, target, method))

排查建议：业务接口慢时，要比较服务端耗时和客户端依赖耗时。如果客户端耗时占比高，优先排查对应下游服务、中间件或网络。

10.3 运行时与进程

监控维度	指标	指标含义	常用口径/单位	异常表现
Go goroutine	`go_goroutines`	Go 进程 goroutine 数	个	持续增长可能有阻塞或泄漏
Go GC 耗时	`go_gc_duration_seconds`	Go GC 耗时	秒/分位	GC 时间升高会影响延迟
Go 堆内存	`go_memstats_alloc_bytes`、`go_memstats_heap_inuse_bytes`	Go 堆分配和使用	Bytes	持续增长需排查内存泄漏
Go 系统内存	`go_memstats_sys_bytes`	Go runtime 向系统申请的内存	Bytes	与 RSS 一起看
Go 栈内存	`go_memstats_stack_inuse_bytes`	goroutine 栈占用	Bytes	goroutine 增长时一起升高
Node.js GC 次数	`nodejs_gc_duration_seconds_count`	Node.js GC 次数	次/秒	GC 频繁可能是堆压力
Node.js GC 耗时	`nodejs_gc_duration_seconds_sum`	Node.js GC 累计耗时	秒/秒	GC 耗时升高会影响响应
Node.js 堆空间	`nodejs_heap_space_size_used_bytes`	Node.js 各 heap space 使用量	Bytes	接近上限或持续增长需关注
进程 CPU	`process_cpu_seconds_total`	进程 CPU 时间	核/秒	CPU 使用过高
进程 RSS	`process_resident_memory_bytes`	进程物理内存	Bytes	RSS 持续增长
进程句柄	`process_open_fds`	进程打开文件句柄数	个	句柄泄漏、连接泄漏

排查建议：Go 和 Node.js 的运行时指标主要用于解释应用耗时和资源上涨。应用 P95 升高时，如果 GC 耗时同步升高，优先检查内存分配和对象生命周期。

10.4 协同编辑服务

监控维度	指标	指标含义	常用口径/单位	异常表现
Kafka 消费积压	`kafka_consumergroup_lag`	协同编辑相关 Consumer Group 积压	条	Lag 增长会导致事件处理延迟
流程处理耗时	`process_flow_duration_seconds_bucket`	协同编辑流程耗时	P50/P95/P99	文档协同链路变慢
流程处理数	`process_total`	流程处理累计数	次/秒	处理量异常变化
文件内容大小	`file_content_size_bytes_bucket`	文件内容大小分布	分桶统计	大文件比例升高会影响处理耗时
changeset 耗时	`handle_changeset_cost_seconds_bucket`	changeset 处理耗时	P50/P95/P99	编辑同步延迟升高
modoc 计算数	`modocComputeCount`	modoc 计算次数	次/秒	计算量异常升高
Serverless 调用	`serverless_invocations`	Serverless 调用次数	次/秒	调用失败或突增会影响链路

常用查询：

histogram_quantile(0.95, sum(rate(handle_changeset_cost_seconds_bucket[5m])) by (le))

排查建议：协同编辑链路要把 Kafka Lag、流程耗时、changeset 耗时和文件大小放在一起看。大文件比例升高时，耗时上升可能是正常容量压力，不一定是单点故障。

10.5 RS 服务

监控维度	指标	指标含义	常用口径/单位	异常表现
HTTP 请求数	`http_requests_total`	HTTP 请求累计数	次/秒	请求突增或下降
HTTP 耗时	`http_requests_duration_seconds_bucket`、`http_requests_duration_seconds_sum`、`http_requests_duration_seconds_count`	HTTP 请求耗时	P50/P95/P99	接口延迟升高
gRPC 请求数	`grpc_requests_total`	gRPC 请求累计数	次/秒	gRPC 调用异常
gRPC 耗时	`grpc_requests_duration_seconds`	gRPC 请求耗时	P50/P95/P99	下游或内部处理变慢
导出任务耗时	`export_task_duration_milliseconds_count`	导出任务处理次数和耗时	ms / 次	导出任务变慢或堆积
导入任务耗时	`import_task_duration_milliseconds_count`	导入任务处理次数和耗时	ms / 次	导入任务变慢或堆积
导出任务进行中	`export_task_in_progress`	当前正在执行的导出任务	个	长时间不下降说明任务卡住
导入任务进行中	`import_task_in_progress`	当前正在执行的导入任务	个	长时间不下降说明任务卡住
Tokio 指标	`tokio_metrics`	Rust Tokio runtime 指标	当前值/速率	runtime 队列或任务调度异常
jemalloc 指标	`jemalloc`	内存分配器指标	Bytes/次数	内存碎片或分配异常
TCP 指标	`tcp`	RS 服务 TCP 连接相关指标	个/速率	连接压力或网络异常

排查建议：RS 服务既要看在线请求，也要看导入导出这类长任务。任务进行中数量持续不降，通常比平均耗时更能说明“任务卡住”。

11. 指标阅读与排查建议

11.1 通用排查顺序

步骤	观察项	目的
1	`up`、启动时间、Pod Ready	确认服务是否还活着，最近是否重启
2	请求量、错误率、P95/P99 耗时	判断是否真的影响业务
3	CPU、内存、磁盘、网络	判断是否资源瓶颈
4	下游依赖耗时、Kafka Lag、数据库慢查询	判断是否被依赖拖慢
5	发布版本、配置、流量变化	判断是否与变更有关

实际排障时，先别急着看所有图。先确认“有没有业务影响”，再找“影响来自哪里”。例如接口变慢，先看应用 P95，再看客户端依赖耗时；如果依赖正常，再回头看本服务 CPU、GC、内存和容器限流。

11.2 常见异常组合

现象	常见指标表现	优先排查方向
接口变慢	应用 P95/P99 上升，CPU 不高	下游依赖、数据库慢查询、Kafka Lag
CPU 打满	`container_cpu_usage_seconds_total` 高，throttle 高	CPU limit、热点接口、批处理任务
内存 OOM	working set 接近 limit，重启次数增长	内存泄漏、limit 过小、大对象处理
磁盘慢	iowait、IO busy、读写延迟同时升高	数据库、Kafka、MinIO、日志写入
网络异常	流量突增并伴随 drop/errs	节点网卡、CNI、链路、连接数
Kafka 延迟	`kafka_consumergroup_lag` 持续增长	消费者实例、消费耗时、下游依赖
Redis 回源压力	命中率下降，miss 上升	key 过期策略、缓存穿透、容量
MySQL 慢	slow queries、scan、lock wait 上升	SQL、索引、锁、磁盘 IO
MinIO 风险	离线磁盘、错误率、容量水位上升	磁盘、节点、Bucket 增长、heal 状态
Elasticsearch 查询慢	search query/fetch 耗时上升，线程池 rejected 增长	查询条件、索引结构、JVM、磁盘 IO
Elasticsearch 写入慢	indexing 耗时、merge 耗时、store throttle 上升	写入峰值、refresh、merge、磁盘水位

适用范围#

指标阅读规则#

1. 节点服务监控#

1.1 基础状态#

1.2 CPU 指标#

1.3 内存指标#

1.4 磁盘容量与 inode#

1.5 磁盘 IOPS、吞吐与延迟#

1.6 网络指标#

1.7 TCP、文件句柄与系统压力#

1.8 进程监控#

2. containerd 容器监控#

2.1 容器 CPU#

2.2 容器内存#

2.3 容器磁盘与临时存储#

2.4 容器网络#

2.5 容器线程与生命周期#

3. Kubernetes 集群监控#

3.1 节点容量与可调度资源#

3.2 Pod 状态#

3.3 资源请求与限制#

3.4 工作负载副本#

3.5 Job 与批处理任务#

3.6 PVC 与存储对象#

3.7 APIServer、etcd 与控制面#

4. MySQL 监控#

4.1 实例状态与请求量#

4.2 连接与线程#

4.3 慢查询、扫描与排序#

4.4 InnoDB Buffer Pool#

4.5 临时表、表缓存与文件句柄#

4.6 网络吞吐#

5. MongoDB 监控#

5.1 实例与连接#

5.2 操作与文档处理#

5.3 内存、网络与磁盘#

5.4 复制缓冲#

6. Redis 监控#

6.1 实例与客户端#

6.2 命令、内存与 Keyspace#

6.3 命中率、淘汰与网络#

7. Kafka 监控#

7.1 Broker、Topic 与 Partition#

7.2 Consumer Group 与 Lag#

7.3 Replica 与 ISR#

8. MinIO 对象存储监控#

8.1 集群节点与磁盘#

8.2 Bucket 容量与对象数量#

8.3 S3 请求、错误与流量#

8.4 节点进程、文件句柄与 IO#

8.5 修复与用量活动#

9. Elasticsearch 监控#

9.1 集群健康与节点#

9.2 磁盘容量与文件系统#

9.3 文档、索引与删除#

9.4 查询与 Get 请求#

9.5 Segment、Merge、Refresh 与 Translog#

9.6 Cache 与 Circuit Breaker#

9.7 JVM、CPU 与负载#

9.8 线程池与网络#

10. 应用服务监控#

10.1 通用服务端指标#

10.2 客户端依赖调用#

10.3 运行时与进程#

10.4 协同编辑服务#

10.5 RS 服务#

11. 指标阅读与排查建议#

11.1 通用排查顺序#

11.2 常见异常组合#

适用范围

指标阅读规则

1. 节点服务监控

1.1 基础状态

1.2 CPU 指标

1.3 内存指标

1.4 磁盘容量与 inode

1.5 磁盘 IOPS、吞吐与延迟

1.6 网络指标

1.7 TCP、文件句柄与系统压力

1.8 进程监控

2. containerd 容器监控

2.1 容器 CPU

2.2 容器内存

2.3 容器磁盘与临时存储

2.4 容器网络

2.5 容器线程与生命周期

3. Kubernetes 集群监控

3.1 节点容量与可调度资源

3.2 Pod 状态

3.3 资源请求与限制

3.4 工作负载副本

3.5 Job 与批处理任务

3.6 PVC 与存储对象

3.7 APIServer、etcd 与控制面

4. MySQL 监控

4.1 实例状态与请求量

4.2 连接与线程

4.3 慢查询、扫描与排序

4.4 InnoDB Buffer Pool

4.5 临时表、表缓存与文件句柄

4.6 网络吞吐

5. MongoDB 监控

5.1 实例与连接

5.2 操作与文档处理

5.3 内存、网络与磁盘

5.4 复制缓冲

6. Redis 监控

6.1 实例与客户端

6.2 命令、内存与 Keyspace

6.3 命中率、淘汰与网络

7. Kafka 监控

7.1 Broker、Topic 与 Partition

7.2 Consumer Group 与 Lag

7.3 Replica 与 ISR

8. MinIO 对象存储监控

8.1 集群节点与磁盘

8.2 Bucket 容量与对象数量

8.3 S3 请求、错误与流量

8.4 节点进程、文件句柄与 IO

8.5 修复与用量活动

9. Elasticsearch 监控

9.1 集群健康与节点

9.2 磁盘容量与文件系统

9.3 文档、索引与删除

9.4 查询与 Get 请求

9.5 Segment、Merge、Refresh 与 Translog

9.6 Cache 与 Circuit Breaker

9.7 JVM、CPU 与负载

9.8 线程池与网络

10. 应用服务监控

10.1 通用服务端指标

10.2 客户端依赖调用

10.3 运行时与进程

10.4 协同编辑服务

10.5 RS 服务

11. 指标阅读与排查建议

11.1 通用排查顺序

11.2 常见异常组合