笔记 | Prometheus

### Prometheus 告警
#### Prometheus 告警简介
在Prometheus的架构中告警被划分成两个独立的部分

- AlertRule 告警规则
- Alertmanager 发送告警信息

Prometheus 的告警处理机制

- 通过在Prometheus中定义AlertRule（告警规则）
- Prometheus会周期性的对告警规则进行计算
- 如果满足告警触发条件就会向Alertmanager发送告警信息
- 在Prometheus中，还可以通过Group（告警组）对一组相关的告警进行统一定义
- **当然这些定义都是通过YAML文件来统一管理的**

![Prometheus告警处理](/media/images/editor/Prometheus/prometheus-alert-artich_20210309085122685635.png "Prometheus告警处理")

#### Prometheus 告警规则的组成
告警名称

- 用户需要为告警规则命名，当然对于命名而言，需要能够直接表达出该告警的主要内容

告警规则

- 告警规则实际上主要由PromQL进行定义
- 其实际意义是当表达式（PromQL）查询结果持续多长时间（During）后出发告警

### Alertmanager
#### Alertmanager 简介
Alertmanager作为一个独立的组件

- 负责接收并处理来自Prometheus Server(也可以是其它的客户端程序)的告警信息

Alertmanager可以对这些告警信息进行进一步的处理

- 比如当接收到大量重复告警时能够消除重复的告警信息
- 同时对告警信息进行分组并且路由到正确的通知方
- Prometheus内置了对邮件，Slack等多种通知方式的支持
- 同时还支持与Webhook的集成，以支持更多定制化的场景

#### Alertmanager特性
提供基本的告警通知能力
主要提供了

- 分组、抑制以及静默等告警特性

![Alertmanager特性](/media/images/editor/Prometheus/alertmanager-features_20210309090515560182.png "Alertmanager特性")

#### Alertmanager 分组
分组机制可以将详细的告警信息合并成一个通知。

- 在某些情况下，比如由于系统宕机导致大量的告警被同时触发
- 在这种情况下分组机制可以将这些被触发的告警合并为一个告警通知
- 避免一次性接受大量的告警通知，而无法对问题进行快速定位。

告警分组，告警时间，以及告警的接受方式可以通过Alertmanager的配置文件进行配置。

#### Alertmanager 抑制
抑制是指当某一告警发出后，可以停止重复发送由此告警引发的其它告警的机制。

- 当集群不可访问时触发了一次告警，通过配置Alertmanager可以忽略与该集群有关的其它所有告警。
- 这样可以避免接收到大量与实际问题无关的告警通知。

抑制机制同样通过Alertmanager的配置文件进行设置。

#### Alertmanager 静默
静默提供了一个简单的机制可以快速根据标签对告警进行静默处理。
如果接收到的告警符合静默的配置，Alertmanager则不会发送告警通知。

静默设置需要在Alertmanager的Werb页面上进行设置。

### Prometheus 告警处理
#### 自定义 AlertRule 告警规则
Prometheus中的告警规则允许你基于PromQL表达式定义告警触发条件

- Prometheus后端对这些触发规则进行周期性计算
- 当满足触发条件后则会触发告警通知。
- 用户可以通过Prometheus的Web界面查看这些告警规则以及告警的触发状态。

```
$ cd /data/soft/prometheus/
$ vim prometheus.yml
... ...
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  - "first_rules.yml"
... ...

$ touch first_rules.yml
```

当Promthues与Alertmanager关联之后
可以将告警发送到外部服务如Alertmanager中并通过Alertmanager可以对这些告警进行进一步的处理。

#### 定义告警规则
为了能够让Prometheus能够启用定义的告警规则
我们需要在Prometheus全局配置文件中通过**rule_files**指定一组告警规则文件的访问路径
Prometheus启动后会自动扫描这些路径下规则文件中定义的内容，并且根据这些规则计算是否向外部发送通知

在告警规则文件中，我们可以将一组相关的规则设置定义在一个group下。
在每一个group中我们可以定义多个告警规则(rule)。
一条告警规则主要由以下几部分组成：

- alert：
> 告警规则的名称。

- expr：
> 基于PromQL表达式告警触发条件，用于计算是否有时间序列满足该条件。

- for：
> 评估等待时间，可选参数。用于表示只有当触发条件持续一段时间后才发送告警。
> 在等待期间新产生告警的状态为pending。

- labels：
> 自定义标签，允许用户指定要附加到告警上的一组附加标签。

- annotations：
> 用于指定一组附加信息
> 比如用于描述告警详细信息的文字等，annotations的内容在告警产生时会一同作为参数发送到Alertmanager。

#### 模板化
一般来说，在告警规则文件的annotations中使用summary描述告警的概要信息
description用于描述告警的详细信息
同时Alertmanager的UI也会根据这两个标签值，显示告警信息。
为了让告警信息具有更好的可读性，Prometheus支持模板化label和annotations的中标签的值。
通过$labels.<labelname>变量可以访问当前告警实例中指定标签的值。
$value则可以获取当前PromQL表达式计算的样本值。

```
# 配置模板化标签
$ vim prometheus.yml
... ...
  - job_name: 'testserver'
    static_configs:
    - targets:  ['testserver:9100']
      labels:
        instance: webtest
        project: test

# 配置告警规则
$ vim first_rules.yml
groups:
- name: node
  rules:
  - alert: CPU使用率>=90
    expr: ceil((1-((sum(increase(node_cpu_seconds_total{mode="idle"}[1m])) by (instance))  /   (sum(increase(node_cpu_seconds_total[1m])) by (instance)))) * 100) >= 90
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: '实例 {{ $labels.instance }} CPU 使用率过高'
      description: '此设备的CPU使用率已超过阈值，当前值: {{ $value }}%.'
```

#### 查看告警规则
浏览器范围 prometheus 服务器的 9090 端口
- http://testserver:9090/alerts

晓松

Prometheus告警处理

Prometheus 告警处理配置

晓松

Prometheus告警处理 Prometheus 告警处理配置

Prometheus告警处理

Prometheus 告警处理配置