笔记 | Prometheus

晓松

职位：运维开发工程师
技能：熟练Centos系统操作、管理和维护
技能：熟悉 MySQL 数据库基本使用方法
技能：熟练 SHELL 脚本的编写
技能：熟悉 LNMP 平台相关技术配置和管理
技能：熟悉 ZABBIX 监控系统的配置和使用
技能：熟悉 Prometheus 监控系统的安装配置和使用
技能：熟悉 ansible 自动化运维工具
技能：了解 HTML,CSS,JavaScript前端页面基本编写
技能：熟悉 WAF 应用防火墙的使用和配置
技能：熟悉 Linux7 firewall 防火墙的使用
技能：熟悉阿里云平台的使用
技能：熟悉Docker虚拟化技术
技能：熟悉 Redis、MongoDB NoSQL数据库使用

### 使用 Receiver 接收告警信息
#### 内置告警接收器Receiver
在Alertmanager中路由负责对告警信息进行分组匹配，并将像告警接收器发送通知。
告警接收器可以通过以下形式进行配置

```
receivers:
  - <receiver> ...
```

每一个receiver具有一个全局唯一的名称，并且对应一个或者多个通知方式：

```
name: <string>
email_configs:
  [ - <email_config>, ... ]
hipchat_configs:
  [ - <hipchat_config>, ... ]
pagerduty_configs:
  [ - <pagerduty_config>, ... ]
pushover_configs:
  [ - <pushover_config>, ... ]
slack_configs:
  [ - <slack_config>, ... ]
opsgenie_configs:
  [ - <opsgenie_config>, ... ]
webhook_configs:
  [ - <webhook_config>, ... ]
victorops_configs:
  [ - <victorops_config>, ... ]
```

目前官方内置的第三方通知集成包括
- 邮件、 即时通讯软件（如Slack、Hipchat）、移动应用消息推送(如Pushover)和自动化运维工具（例如：Pagerduty、Opsgenie、Victorops）。
- Alertmanager的通知方式中还可以支持Webhook，通过这种方式开发者可以实现更多个性化的扩展支持

### 集成邮件系统
#### 与SMTP邮件集成
邮箱应该是目前企业最常用的告警通知方式
Alertmanager内置了对SMTP协议的支持，因此对于企业用户而言，只需要一些基本的配置即可实现通过邮件的通知。

#### 配置邮箱信息
在Alertmanager使用邮箱通知，用户只需要定义好SMTP相关的配置，并且在receiver中定义接收方的邮件地址即可。
在Alertmanager中我们可以直接在配置文件的global中定义全局的SMTP配置：

```yaml
global:
  [ smtp_from: <tmpl_string> ]
  [ smtp_smarthost: <string> ]
  [ smtp_hello: <string> | default = "localhost" ]
  [ smtp_auth_username: <string> ]
  [ smtp_auth_password: <secret> ]
  [ smtp_auth_identity: <string> ]
  [ smtp_auth_secret: <secret> ]
  [ smtp_require_tls: <bool> | default = true ]
```

#### 邮件接收者
完成全局SMTP之后，我们只需要为receiver配置email_configs用于定义一组接收告警的邮箱地址即可

```yaml
name: <string>
email_configs:
  [ - <email_config>, ... ]
```

每个email_config中定义相应的接收人邮箱地址，邮件通知模板等信息即可
如果当前接收人需要单独的SMTP配置，那直接在email_config中覆盖即可

```
[ send_resolved: <boolean> | default = false ]
to: <tmpl_string>
[ html: <tmpl_string> | default = '{{ template "email.default.html" . }}' ]
[ headers: { <string>: <tmpl_string>, ... } ]
```

如果当前收件人需要接受告警恢复的通知的话，在email_config中定义**send_resolved**为true即可
如果所有的邮件配置使用了相同的SMTP配置，则可以直接定义全局的SMTP配置

以Gmail邮箱为例，我们定义了一个全局的SMTP配置，并且通过route将所有告警信息发送到default-receiver中

```yaml
global:
  smtp_smarthost: smtp.gmail.com:587
  smtp_from: <smtp mail from>
  smtp_auth_username: <usernae>
  smtp_auth_identity: <username>
  smtp_auth_password: <password>

route:
  group_by: ['alertname']
  receiver: 'default-receiver'

receivers:
  - name: default-receiver
    email_configs:
      - to: <mail to address>
        send_resolved: true
```

- 手动拉高主机CPU使用率,检查配置信息是否正确,是否能正常接收告警信息

```BASH
# 只能提升单核CPU
shell $ cat /dev/zero>/dev/null

# 提升指定的CPU
shell $ sudo yum -y install stress
shell $ sudo stress --cpu 4
```

晓松

接收告警信息 邮箱告警配置、收发邮件人分组

接收告警信息

邮箱告警配置、收发邮件人分组