前言

服务器跑着跑着就挂了，等用户报障才知道——这种事做运维的应该都经历过。监控和告警不是可选项，是基础设施的一部分。

这篇文章解决一个具体问题：如何在 Linux 服务器上从零搭起一套完整的监控告警系统。Prometheus 负责采集指标和触发告警规则，Node_Exporter 负责暴露服务器 CPU、内存、磁盘等系统指标，Alertmanager 负责聚合告警和发送邮件通知，cpolar 把本地服务暴露到公网让异地也能访问告警页面。四件套全部开源免费，CentOS 7 跑通，其他发行版通用。

步骤分几块：Node_Exporter 部署 → Prometheus 部署 → Alertmanager 部署 → Prometheus 关联 Alertmanager → 配置告警规则 → 配置邮件通知 → cpolar 穿透配固定域名。全流程跑下来，一套生产级可用的监控告警体系就能跑起来。

1.在Centos7上安装Alertmanager

在安装alertmanager前需要安装node_exporter和prometheus，

接下来跟我进入监控告警的世界吧！

去官网下载安装文件：

找到linux版，下载：

下载完成后记住下载路径。

创建alertmanager的目录：

mkdir -p /app/alertmanager

进入到这个目录：

cd /app/alertmanager

手动上传下载好的alertmanager文件。

上传成功后解压：

tar -vxzf alertmanager-0.28.1.linux-amd64.tar.gz

改名方便记忆：

mv alertmanager-0.28.1.linux-amd64 alertmanager

将Altermanager配置为系统服务:

cd /usr/lib/systemd/system

vim alertmanager.service

[Unit]
Description=https://prometheus.io
  
[Service]
Restart=on-failure
ExecStart=/app/alertmanager/alertmanager --config.file=/app/alertmanager/alertmanager.yml
 
[Install]                      
WantedBy=multi-user.target

加载system文件，启动alertmanager这个服务，并设置开机启动：

systemctl daemon-reload
systemctl start alertmanager.service
systemctl enable alertmanager.service

也可以后台手动启动：

nohup ./alertmanager --config.file=alertmanager.yml >> /app/alertmanager/alertmanager/alertmanager.out 2>&1 &
cat alertmanager.out

启动成功后，访问Altermanager，ip+9093，默认端口为 9093。

假如，我们想用手机或者平板，随时随地可以查看告警消息，我们应该怎么做呢？接下来cpolar就派上用场啦！

2.安装cpolar实现随时随地开发

cpolar 可以将你本地电脑中的服务（如 SSH、Web、数据库）映射到公网。即使你在家里或外出时，也可以通过公网地址连接回本地运行的开发环境。

❤️以下是安装cpolar步骤：

使用一键脚本安装命令：

sudo curl https://get.cpolar.sh | sh

安装完成后，执行下方命令查看cpolar服务状态：（如图所示即为正常启动）

sudo systemctl status cpolar

Cpolar安装和成功启动服务后，在浏览器上输入虚拟机主机IP加9200端口即:【http://192.168.42.101:9200】访问Cpolar管理界面，使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可：

打开浏览器访问本地9200端口，使用cpolar账户密码登录即可,登录后即可对隧道进行管理。

3.配置公网地址

登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理——创建隧道：

• 隧道名称：可自定义，本例使用了:alertmanager，注意不要与已有的隧道名称重复

• 协议：http

• 本地地址：9093

• 域名类型：随机域名

• 地区：选择China Top

  

创建成功后，打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了公网地址，接下来就可以在其他电脑或者移动端设备（异地）上，使用地址访问。

访问成功。

4.在prometheus上配置alertmanager

进入prometheus的配置文件，加入alertmanager告警规则：

vi /app/prometheus/prometheus.yml

加入以下内容后：Prometheus可以通过这个公网地址4246d47e.r2.cpolar.top（刚才用cpolar打通的公网地址，也可以用localhost:9093）访问到运行在本地9093端口的Alertmanager服务，从而抓取系统指标。

      - targets: ["4246d47e.r2.cpolar.top"]
        labels:
          app: "alertmanager"

这一步配置的作用是：告诉 Prometheus，当监控规则触发告警时，应该把告警信息发送到哪个 Alertmanager 服务进行处理（便于一会监控node_exporter，也可以监控mysqld_exporter等等）。

alerting:
  alertmanagers:
    - static_configs:
        - targets: ["4246d47e.r2.cpolar.top"]

重新启动prometheus：

systemctl restart prometheus

抓取成功！

5.利用alertmanager来配置node_exporter告警

在第四章节，我们已经成功配置告警信息发送到alertmanager，接下来我们来验证一下，是否可以成功发送！

我们这里举例，倘若node_exporter关闭则发送告警。

node_exporter还可以监控主机的 CPU 使用率，内存使用量，文件系统用量等等。

我们先改写prometheus的配置文件，改以下内容：

vi /app/prometheus/promethues.yml

进入到prometheus配置目录下，写一个配置文件1.yml：

vi /app/prometheus/1.yml

groups:
- name: node-alerts
  rules:
  # 实例宕机
  - alert: node_exporter实例宕机
    expr: up{job="node_exporter",instance="localhost:9100"} == 0
    for: 15s
    labels:
      severity: critical
    annotations:
      summary: "实例 {{ $labels.instance }} 已停止运行超过 15 秒！"
      description: "作业 {{ $labels.job }} 的实例 {{ $labels.instance }} 无法抓取。"
- name: prometheus
  rules:
  # 实例宕机
  - alert: 实例宕机
    expr: up{job="prometheus"} == 0
    for: 15s
    labels:
      severity: critical
    annotations:
      summary: "实例 {{ $labels.instance }} 已停止运行超过 15 秒！"
      description: "作业 {{ $labels.job }} 的实例 {{ $labels.instance }} 无法抓取。"

重启prometheus：

systemctl restart prometheus

打开prometheus网页，发现加入成功。

接下来，我们验证一下，关闭node_exporter，会不会告警：

systemctl stop node_exporter

再次打开prometheus网页，告警成功：

打开alertmanager网页，我们发现那两条告警也显示成功。

这样我们就成功配置prometheus告警啦！

6.使用Alertmanager发送服务器告警至QQ邮箱

QQ 邮箱默认不允许外部应用直接使用密码登录SMTP服务器，因此你需要获取一个授权码：

• 登录QQ 邮箱，进入设置 -> 账户。
• 找到 SMTP/IMAP/POP3/Exchange 服务，开启 SMTP 服务。
• 开启后，会提示你获取一个授权码。

接下来，我们进入alertmanager安装目录，修改alertmanager配置文件alertmanager.yml：

vi /app/alertmanager/alertmanager/alertmanager.yml

添加以下内容来配置告警规则：

global:
  resolve_timeout: 5m
  smtp_from: '你的QQ邮箱'
  smtp_smarthost: 'smtp.qq.com:465'
  smtp_auth_username: '你的QQ邮箱'
  smtp_auth_password: '你的QQ邮箱授权码'
  smtp_require_tls: false
  smtp_hello: 'qq.com'

route:
  group_by: ['alertname']
  group_wait: 5s
  group_interval: 5s
  repeat_interval: 5m
  receiver: 'email'

receivers:
- name: 'email'
  email_configs:
  - to: '你的QQ邮箱'
    send_resolved: true

这样有告警消息就可以发送到QQ邮箱啦！

我们来验证一下，配置有没有问题：

./alertmanager --config.file=alertmanager.yml --log.level=debug

手动运行测试，没报错即正确！

重启alertmanager：

systemctl restart alertmanager
systemctl status alertmanager

登录邮箱查看，node_exporter挂机是否发邮件：

接收到邮件，说明我们配置正确！

这样我们就可以随时随地查看告警信息了！

7.保留固定公网地址

使用cpolar为其配置二级子域名，该地址为固定地址，不会随机变化。

点击左侧的预留，选择保留二级子域名，地区选择china Top，然后设置一个二级子域名名称，我这里演示使用的是alertmanager，大家可以自定义。填写备注信息，点击保留。

登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道alertmanager，点击右侧的编辑。

修改隧道信息，将保留成功的二级子域名配置到隧道中

• 域名类型：选择二级子域名
• Sub Domain：填写保留成功的二级子域名
• 地区: China Top

点击更新

更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。

最后，我们使用固定的公网地址在任意设备的浏览器中访问，可以看到成功访问本地部署的alertmanager页面，这样一个永久不会变化的二级子域名公网网址即设置好了。

有了cpolar我们可以在任意一台服务器，使用此alertmanager监控，你的同事=也可以一键监控！是不是特别方便呢~

结尾

跑通之后，服务器的健康状态才算真正可视化。Node_Exporter 把系统指标吐给 Prometheus，告警规则触发后经 Alertmanager 聚合，邮件直接推到邮箱，手机上看到就能处理。cpolar 穿透配好固定域名，在公司在外地随时打开浏览器看监控面板，不用连 VPN 进内网。

这套方案适合个人开发者和小团队，零成本、全开源、够稳定。监控搭好只是第一步，告警规则根据实际业务调优才是长期的事。