系统资源检查项

K8S集群检查项

Nginx检查项

JAVA应用检查项

RabbitMQ检查项

Redis检查项

PostgreSQL检查项

Elasticsearch检查项

ELK日志系统检查项

原件:

检查项目	检查指标	检查标准
系统资源	CPU 使用率	正常:<70% 低风险:≥ 70% 中风险:≥ 85% 高风险:≥ 95%
	内存使用率	正常:<70% 低风险:≥ 70% 中风险:≥ 85% 高风险:≥ 95%
	磁盘使用率	正常:<80% 异常:≥ 80%
	系统负载	正常:<70% 低风险:≥ 70% 中风险:≥ 85% 高风险:≥ %95
	日志文件是否有异常	正常:日志中风险无 ERROR报错低风险:日志中风险少量ERROR报错且不影响业务中风险:日志出现5%以上的ERROR报错且影响非核心业务高风险:日志中风险出现10%以上的ERROR报错且已经影响核心业务或者集群状态
	系统服务是否正常运行	正常:没有Failed和Down状态的服务低风险:有Failed和Down状态的服务但不影响业务中风险:有Failed和Down状态的服务且影响非核心业务高风险:有Failed和Down状态的服务已经影响部分业务或者集群状态
	检查系统是否有波峰波谷	正常:指标线没有明显的大波动低风险:少数波峰波谷,一天2-5次且持续时间不长中风险:频繁波峰波谷,一天≥5次且持续时间不长高风险:一直处于波峰波谷,无法提供服务
K8S集群	节点状态	正常:节点状态为 Ready 低风险:出现1台状态为NotReady 中风险:出现2台状态为NotReady 高风险:大于2台状态为NotReady
	Pod 状态	正常:所有 Pod 状态为 Running 低风险:Pod状态为Running但出现重启的情况中风险:非核心业务Pod出现不可用状态高风险:核心业务Pod不可用
	持久卷状态	正常:所有持久卷状态均为 Bound 低风险:持久卷出现异常但不影响业务中风险:持久卷出现异常且影响非核心业务高风险:所有持久卷不可用且核心业务受影响
	节点资源使用情况	正常:所有节点资源使用率均低风险于 70% 低风险:所有节点资源使用率大于70%且不影响业务中风险:所有节点资源使用率大于80%且影响非核心业务高风险:所有节点资源使用率大于95%且影响核心业务
	节点间通信是否正常	正常:节点间通信延迟低风险于 50ms,无丢包低风险:节点间通信延迟大于 50ms但不影响业务中风险:节点间通信延迟大于 100ms出现丢包,且影响非核心业务高风险:节点间通信延迟大于 150ms出现丢包,且影响核心业务
Nginx	端口监听	正常:监听端口包含nginx配置文件监听的端口低风险:监听端口不包含且不影响业务中风险:监听端口不包含且影响非核心业务高风险:监听端口不包含且影响核心业务
	访问正常	正常:响应状态码为 200 低风险:出现非200但不影响业务中风险:出现非200影响非核心业务高风险:出现非200且影响核心业务
	日志记录	正常:日志中风险无 ERROR报错低风险:日志中风险少量ERROR报错,不影响使用中风险:日志出现2%的ERROR报错,影响非重要业务高风险:日志中风险出现10%以上的ERROR报错且已经影响部分重要业务
	连接数	正常:<1024 低风险:≥ 1024 中风险:≥ 2048 高风险:≥ 4096
JAVA应用	程序运行状态	正常:服务正在运行低风险:服务实例数<2但不影响业务中风险:服务不可用数<2影响非核心业务高风险:应用程序无法正常运行,核心服务不可用
JAVA应用	检查Pod是否有波峰波谷	正常:指标线没有明显的大波动低风险:少数波峰波谷,一天2-5次且持续时间不长中风险:频繁波峰波谷,一天≥5次且持续时间不长高风险:一直处于波峰波谷,无法征程提供服务
RabbitMQ	节点状态	正常:所有节点状态为 running 中风险:出现一个节点状态为down 高风险:所有节点状态为down
RabbitMQ	队列长度	正常:≤ 500 低风险:>500 中风险:>1000 高风险:> 2000
Redis	连接数	正常:<1024 低风险:≥ 1024 中风险:≥ 2048 高风险:≥ 4096
Redis	内存使用率	正常:<70% 低风险:≥ 70% 中风险:≥ 85% 高风险:≥ 95%
PostgreSQL	数据库连接数	正常:<1024 低风险:≥ 1024 中风险:≥ 2048 高风险:≥ 4096
PostgreSQL	磁盘空间使用率	正常:<80% 异常:≥ 80%
Elasticsearch	集群状态	正常:集群status为 green 低风险:集群status为 yellow 高风险:集群status 为 red,出现不可用状态
Elasticsearch	索引状态	正常:索引status为 open 高风险:索引status为 down
ELK日志系统	日志收集是否正常	正常:应用输出的日志是否与ELK收集的一致低风险:日志出现不一致,收集不完全
ELK日志系统	索引状态	正常:索引status为 open 中风险:索引状态status为 down