近期新上项目之后出现了后台服务的一些诡异的问题，追查之后发现居然有个Redis的实例把分配的几十G内存给用满了……
终于意识到之前“土法炼钢”的不科学的地方，惭愧之余迅速的想要给Redis加上基本的监控。
最初的想法是直接自己写脚本轮询各个实例的info信息，然后自行parse，当前运行Redis的实例不多，感觉工作量并不大，然而这时候想起组内之前的监控是在用Nagios，觉得为什么不让更专业的软件来完成这项工作呢？于是决定通过Nagios来完成监控。
以下会使用/nip指代Nagios的安装路径，以实际安装路径为准。
Nagios配置
Nagios分为Server和Client，通过各个插件完成对Client的监控，并且在Server中收集展现。
既然运用了Nagios，自然就要按照它的设计思路来进行使用，其实也就是使用合适的插件，同时也不想再造轮子，Google之后确定使用这一项目中的check_redis.pl插件（然而这一文件自2013年7月之后没有过更新了……），这一插件从功能上基本上满足了我对使用内存、连接数、key个数、特定队列长度的监控需求。
这一插件基本上是帮助完成了从redis-cli -h host -p port info到Nagios的收集展现过程，所以本身只要在Server上安装即可。
安装插件
安装插件本身并不复杂，只需要download & copy即可，即copy到/nip/libexec目录，并chmod +x赋予可执行权限即可。
然而，真正头疼的是这个插件的依赖安装，由于在服务器上初始化cpan的工作始终无法完成，无奈之下只好通过手工安装依赖。
这一插件的依赖分别是：
- ExtUtils-MakeMaker
- IO-Socket-Timeout
- Try-Tiny
- Redis
可以在cpan的网站上搜索下载tar.gz文件，解压后基本都通过：
|
1 2 3 |
perl Makefile.PL make sudo make install |
这一过程完成依赖的安装过程。
配置Nagios
想要让监控正常的run起来，配置也是很关键的一个因素，个人认为，配置主要针对监控对象以及监控动作。
监控对象
对于监控对象来说，其实就是标明哪台Server上有着对应的服务，同时还可以对他们进行分组。
监控对象的声明，可以在/nip/etc/conf/hosts.cfg中的对应Server配置中增加一个别名，如：
|
1 2 3 4 5 6 7 |
define host{ use linux-server host_name 192.168.1.101 address 192.168.1.101 contact_groups admins,redis_dba alias redis-linux } |
声明的别名会在报警邮件中得以展现。
同时，需要在/nip/etc/conf/hostgroups.cfg中，为这一批机器分组，以便对一组实例完成监控。
|
1 2 3 4 5 |
define hostgroup { hostgroup_name Redis_Servers_9101 alias Redis Servers 9101 members 192.168.1.101,192.168.1.102,192.168.1.103 } |
监控动作
对Redis监控，首先要保证Redis实例可访问，不过这一点不用特别配置Nagios,我们需要做的只是针对我们关心数值，进行声明以及配置报警阈值即可。
首先需要在/nip/objects/commands.cfg中配置一个检查指令：
|
1 2 3 4 |
define command { command_name check_redis command_line $USER1$/check_redis.pl -H $HOSTADDRESS$ -p $ARG1$ -a $ARG2$ -w $ARG3$ -c $ARG4$ -f } |
以上参数的含义可以通过/nip/libexec/check_redis.pl --help查看详情：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
... -H, --hostname=ADDRESS Hostname or IP Address to check -p, --port=INTEGER port number (default: 6379) ... -a, --variables=STRING[,STRING[,STRING...]] List of variables from info data to do threshold checks on. ... -w, --warn=STR[,STR[,STR[..]]] ... -c, --crit=STR[,STR[,STR[..]]] ... Performance Data Processing Options: -f, --perfparse This should only be used with '-a' and causes variable data not only as part of main status line but also as perfparse compatible output (for graphing, etc). |
上述command的含义为针对主机$HOSTADDRESS$的指定端口$ARG1$，检查参数为$ARG2$（可以对照redis-cli info），在$ARG3$设定WARNING级别告警的数值，在$ARG4$设定CRITICAL级别告警的数值，同时生成数据（-f）。
在配置完监控指令之后，还需要针对之前的已经声明的主机组配置使用监控指令进行监控，在/nip/etc/conf/services.cfg增加一项配置：
|
1 2 3 4 5 6 7 |
define service { use generic-service hostgroup_name Redis_Servers_9101 service_description Redis Pool # WARN: 40G*0.7 CRIT: 40G*0.9 check_command check_redis!5104!'used_memory_human,used_memory_peak_human,used_memory_rss,total_keys'!~,~,30064771072,300000!~,~,38654705664,400000 } |
此处根据个人的实际业务情况，当使用的内存超过28G（30064771072 = 40 * 0.7 * 1024 * 1024 * 1024，以下类比）或者key个数超过30w个时会发出WARNING信息，而在当使用36G内存或者key个数超过40w个时，发出CRITICAL警报。
Nagios的check_command在参数前使用!，之后的数值针对每一个监控属性，~表示不关注，而对应位置的数值则标称各自的报警阈值。
最后
修改了配置之后，Nagios需要重启才能开始执行监控，那么为了防止因为修改配置而出错，需要通过Nagios先行检测配置文件的正确性：
|
1 |
sudo /nip/bin/nagios -v /nip/etc/nagios.cfg |
Nagios的报错信息非常详细，基本可以直接定位到出错的行数。
检查正确之后自然就是重启，等待数据的到来。