22 Dec 2014
需求：
使用shell定制各种个性化告警工具，但需要统一化管理、规范化管理。
思路：
指定一个脚本包，包含主程序、子程序、配置文件、邮件引擎、输出日志等。
主程序：
作为整个脚本的入口，是整个系统的命脉。
配置文件：
是一个控制中心，用它来开关各个子程序，指定各个相关联的日志文件。
子程序：
这个才是真正的监控脚本，用来监控各个指标。
邮件引擎：
是由一个php程序来实现，它可以定义发邮件的服务器、发邮件人以及收邮件人。
输出日志：
整个监控系统要有日志输出。
PS： 我们的机器角色多种多样，但是所有机器上都要部署同样的监控系统，也就说所有机器不管什么角色，整个程序框架都是一致的，不同的地方在于根据不同的角色，定制不同的配置文件。
# tree mon
mon
├── bin
│ └── main.sh
├── conf
│ └── mon.conf
├── log
│ ├── err.log
│ └── mon.log
├── mail
│ ├── mail.php
│ └── mail.sh
└── shares
├── 502.sh
└── load.sh
## main.sh：脚本入口 #!/bin/bash #Written by aming. export send=1 ## 声明全局变量send，值为1，用来控制是否发送邮件 export addr=`/sbin/ifconfig|grep -A1 'eth0'|grep addr:|awk '{print $2}'|awk -F: '{print $2}'` ## 声明全局变量addr，值为IP地址 dir=`pwd` ## 为dir变量赋值为当前所在路径 last_dir=`echo $dir|awk -F'/' '{print $NF}'` ## 为last_dir变量赋值为当前所在路径的最后一段目录 ## 其实可以basename `pwd`来获取 if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then conf_file="../conf/mon.conf" else echo "you shoud cd bin dir" exit fi ## 如果在bin目录里，指定它的配置文件mon.conf路径 exec 1>>../log/mon.log 2>>../log/err.log ## 指定此脚本输出日志文件路径 echo "`date +"%F %T"` load average" /bin/bash ../shares/load.sh ## 启动负载监控脚本，查看负载 if grep -q 'to_mon_502=1' $conf_file; then export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'` /bin/bash ../shares/502.sh fi ## 如果配置文件mon.conf中存在"to_mon_502=1"字符串（代表502监控启动） ## 将log变量赋值，并声明为全局变量；此变量502脚本需要
解释说明
此文件是整个监控的入口，主要起到了如下作用：
## mon.conf：脚本配置文件，定义该子脚本是否被执行 ## to config the options if to monitor ## cdb to_mon_cdb=0 ## 0 or 1, default 0,0 not monitor, 1 monitor cdb_ip=10.20.3.13 cdb_port=3315 cdb_user=username cdb_pass=passwd ## httpd to_mon_httpd=0 ## php to_mon_php_socket=0 ## http_code_502，502错误（一般是服务器php出了问题） to_mon_502=1 logfile=/data/log/xxx.xxx.com/access.log ## request_count to_mon_request_count=0 req_log=/data/log/www.discuz.net/access.log domainname=www.discuz.net ## analyse access log avoid wget or curl to_mon_log=0
解释说明
## load.sh：关于服务器负载情况的监控脚本 #! /bin/bash ##Writen by aming## load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1` ## 给load赋值为系统1分钟以内的平均负载（uptime命令最后面跟有负载信息） if [ $load -gt 20 ] && [ $send -eq "1" ] then echo "$addr `date +%T` load is $load" >../log/load.tmp ## 将ip、时间、负载过载警告写入一个临时文件，以待发送告警 /bin/bash ../mail/mail.sh $addr\_load $load ../log/load.tmp ## mail.sh中的$1、$2和$3在这里 fi echo "`date +%T` load is $load" ## 如果1分钟内的负载高了，调用mail.sh（调用mail.sh并不一定是发送邮件） ## 如果send变量为1（初始赋值为1）并且load（系统1分钟内平均负载）大于20
## 502.sh：502错误的监控脚本 #! /bin/bash d=`date -d "-1 min" +%H:%M` ## 取1分钟以前的时间 c_502=`grep :$d: $log |grep ' 502 '|wc -l` ## log变量中1分钟以前含502关键字的行数 if [ $c_502 -gt 10 ] && [ $send == 1 ]; then echo "$addr $d 502 count is $c_502">../log/502.tmp ## 将ip、时间、502错误警告写入一个临时文件，以待发送告警 /bin/bash ../mail/mail.sh $addr\_502 $c_502 ../log/502.tmp ## mail.sh中的$1、$2和$3在这里 fi ## 如果行数大于10并且send为1 ## 调用mail.sh脚本（并不代表发送邮件） echo "`date +%T` 502 $c_502"
解释说明：
如果1分钟以内502错误的出现次数大于10，则调用mail.sh
## mail.sh：邮件发送脚本（判断是否符合发送告警邮件的标准） #!/bin/bash ## 输入第一个变量赋值给log，load和502脚本都是本机IP地址 log=$1 ## 之所以赋值两小时以前的时间戳，是希望在第一次运行此脚本时，$v大于3600秒，确保邮件发送成功 t_s=`date +%s` t_s2=`date -d "2 hours ago" +%s` ## $1(主机IP)为名称的文件在tmp下是否存在，不存在意味着此脚本第一次运行，创建该文件，并输入内容为两小时以前的时间戳（此举是为了让脚本在第一次运行时发送邮件，只要大于3600秒就可以） if [ ! -f /tmp/$log ] then echo $t_s2 > /tmp/$log fi ## 给t_s2重新赋值为该文件里的最新的时间戳 t_s2=`tail -1 /tmp/$log|awk '{print $1}'` ## 然后把当前时间戳追加到该文件 echo $t_s>>/tmp/$log v=$[$t_s-$t_s2] ## 若两次调用mail脚本的时间差大于3600秒即1小时，则发送告警邮件 if [ $v -gt 3600 ] then /usr/bin/php ../mail/mail.php "$1 $2" "$3 " echo "0" > /tmp/$log.txt else ## 若两次调用mail脚本的时间差小于一小时，则检查log.txt是否存在 ## 不存在的话说明是一小时以内第一次告警，创建文件并记录数字0 if [ ! -f /tmp/$log.txt ] then echo "0" > /tmp/$log.txt fi ## 若计数器文件存在，即给log.txt里的数字加1。 nu=`cat /tmp/$log.txt` nu2=$[$nu+1] echo $nu2>/tmp/$log.txt ## 检查计数器文件中的数字是否大于10 ## 若数字大于10，意味着调用了十次mail脚本，需要再次告警 if [ $nu2 -gt 10 ] then /usr/bin/php ../mail/mail.php "trouble continue 10 min $1 $2 " "$3" echo "0" > /tmp/$log.txt fi fi
解释说明
发送邮件的两个条件：
## mail.php：邮件php引擎，不必掌握 <?php class Smtp { /* Public Variables */ var $smtp_port; var $time_out; var $host_name; var $log_file; var $relay_host; var $debug; var $auth; var $user; var $pass; /* Private Variables */ var $sock; /* Constractor */ function Smtp($relay_host = "", $smtp_port = 25,$auth = false,$user,$pass) { $this->debug = FALSE; $this->smtp_port = $smtp_port; $this->relay_host = $relay_host; $this->time_out = 30; //is used in fsockopen() # $this->auth = $auth;//auth $this->user = $user; $this->pass = $pass; # $this->host_name = "localhost"; //is used in HELO command $this->log_file = ""; $this->sock = FALSE; } /* Main Function */ function sendmail($to, $from, $subject = "", $body = "", $mailtype, $cc = "", $bcc = "", $additional_headers = "") { $mail_from = $this->get_address($this->strip_comment($from)); $body = ereg_replace("(^|(\r\n))(\.)", "\1.\3", $body); $header = "MIME-Version:1.0\r\n"; if($mailtype=="HTML"){ $header .= "Content-Type:text/html\r\n"; } $header .= "To: ".$to."\r\n"; if ($cc != "") { $header .= "Cc: ".$cc."\r\n"; } $header .= "From: $from<".$from.">\r\n"; $header .= "Subject: ".$subject."\r\n"; $header .= $additional_headers; $header .= "Date: ".date("r")."\r\n"; $header .= "X-Mailer:By Redhat (PHP/".phpversion().")\r\n"; list($msec, $sec) = explode(" ", microtime()); $header .= "Message-ID: <".date("YmdHis", $sec).".".($msec*1000000).".".$mail_from.">\r\n"; $TO = explode(",", $this->strip_comment($to)); if ($cc != "") { $TO = array_merge($TO, explode(",", $this->strip_comment($cc))); } if ($bcc != "") { $TO = array_merge($TO, explode(",", $this->strip_comment($bcc))); } $sent = TRUE; foreach ($TO as $rcpt_to) { $rcpt_to = $this->get_address($rcpt_to); if (!$this->smtp_sockopen($rcpt_to)) { $this->log_write("Error: Cannot send email to ".$rcpt_to."\n"); $sent = FALSE; continue; } if ($this->smtp_send($this->host_name, $mail_from, $rcpt_to, $header, $body)) { $this->log_write("E-mail has been sent to <".$rcpt_to.">\n"); } else { $this->log_write("Error: Cannot send email to <".$rcpt_to.">\n"); $sent = FALSE; } fclose($this->sock); $this->log_write("Disconnected from remote host\n"); } return $sent; } /* Private Functions */ function smtp_send($helo, $from, $to, $header, $body = "") { if (!$this->smtp_putcmd("HELO", $helo)) { return $this->smtp_error("sending HELO command"); } #auth if($this->auth){ if (!$this->smtp_putcmd("AUTH LOGIN", base64_encode($this->user))) { return $this->smtp_error("sending HELO command"); } if (!$this->smtp_putcmd("", base64_encode($this->pass))) { return $this->smtp_error("sending HELO command"); } } # if (!$this->smtp_putcmd("MAIL", "FROM:<".$from.">")) { return $this->smtp_error("sending MAIL FROM command"); } if (!$this->smtp_putcmd("RCPT", "TO:<".$to.">")) { return $this->smtp_error("sending RCPT TO command"); } if (!$this->smtp_putcmd("DATA")) { return $this->smtp_error("sending DATA command"); } if (!$this->smtp_message($header, $body)) { return $this->smtp_error("sending message"); } if (!$this->smtp_eom()) { return $this->smtp_error("sending <CR><LF>.<CR><LF> [EOM]"); } if (!$this->smtp_putcmd("QUIT")) { return $this->smtp_error("sending QUIT command"); } return TRUE; } function smtp_sockopen($address) { if ($this->relay_host == "") { return $this->smtp_sockopen_mx($address); } else { return $this->smtp_sockopen_relay(); } } function smtp_sockopen_relay() { $this->log_write("Trying to ".$this->relay_host.":".$this->smtp_port."\n"); $this->sock = @fsockopen($this->relay_host, $this->smtp_port, $errno, $errstr, $this->time_out); if (!($this->sock && $this->smtp_ok())) { $this->log_write("Error: Cannot connenct to relay host ".$this->relay_host."\n"); $this->log_write("Error: ".$errstr." (".$errno.")\n"); return FALSE; } $this->log_write("Connected to relay host ".$this->relay_host."\n"); return TRUE; } function smtp_sockopen_mx($address) { $domain = ereg_replace("^.+@([^@]+)$", "\1", $address); if (!@getmxrr($domain, $MXHOSTS)) { $this->log_write("Error: Cannot resolve MX \"".$domain."\"\n"); return FALSE; } foreach ($MXHOSTS as $host) { $this->log_write("Trying to ".$host.":".$this->smtp_port."\n"); $this->sock = @fsockopen($host, $this->smtp_port, $errno, $errstr, $this->time_out); if (!($this->sock && $this->smtp_ok())) { $this->log_write("Warning: Cannot connect to mx host ".$host."\n"); $this->log_write("Error: ".$errstr." (".$errno.")\n"); continue; } $this->log_write("Connected to mx host ".$host."\n"); return TRUE; } $this->log_write("Error: Cannot connect to any mx hosts (".implode(", ", $MXHOSTS).")\n"); return FALSE; } function smtp_message($header, $body) { fputs($this->sock, $header."\r\n".$body); $this->smtp_debug("> ".str_replace("\r\n", "\n"."> ", $header."\n> ".$body."\n> ")); return TRUE; } function smtp_eom() { fputs($this->sock, "\r\n.\r\n"); $this->smtp_debug(". [EOM]\n"); return $this->smtp_ok(); } function smtp_ok() { $response = str_replace("\r\n", "", fgets($this->sock, 512)); $this->smtp_debug($response."\n"); if (!ereg("^[23]", $response)) { fputs($this->sock, "QUIT\r\n"); fgets($this->sock, 512); $this->log_write("Error: Remote host returned \"".$response."\"\n"); return FALSE; } return TRUE; } function smtp_putcmd($cmd, $arg = "") { if ($arg != "") { if($cmd=="") $cmd = $arg; else $cmd = $cmd." ".$arg; } fputs($this->sock, $cmd."\r\n"); $this->smtp_debug("> ".$cmd."\n"); return $this->smtp_ok(); } function smtp_error($string) { $this->log_write("Error: Error occurred while ".$string.".\n"); return FALSE; } function log_write($message) { $this->smtp_debug($message); if ($this->log_file == "") { return TRUE; } $message = date("M d H:i:s ").get_current_user()."[".getmypid()."]: ".$message; if (!@file_exists($this->log_file) || !($fp = @fopen($this->log_file, "a"))) { $this->smtp_debug("Warning: Cannot open log file \"".$this->log_file."\"\n"); return FALSE;; } flock($fp, LOCK_EX); fputs($fp, $message); fclose($fp); return TRUE; } function strip_comment($address) { $comment = "\([^()]*\)"; while (ereg($comment, $address)) { $address = ereg_replace($comment, "", $address); } return $address; } function get_address($address) { $address = ereg_replace("([ \t\r\n])+", "", $address); $address = ereg_replace("^.*<(.+)>.*$", "\1", $address); return $address; } function smtp_debug($message) { if ($this->debug) { echo $message; } } } $file = $argv[2]; $smtpserver = "smtp.qq.com";//SMTP服务器 $smtpserverport =25;//SMTP服务器端口 $smtpusermail = "111111@qq.com";//SMTP服务器的用户邮箱 $smtpemailto = "someone@139.com";//发送给谁 $smtpuser = "111111";//SMTP服务器的用户帐号 $smtppass = "1212lss";//SMTP服务器的用户密码 $mailsubject = $argv[1];//邮件主题 $mailbody = file_get_contents($file);//邮件内容 $mailtype = "HTML";//邮件格式（HTML/TXT）,TXT为文本邮件 $smtp = new smtp($smtpserver,$smtpserverport,true,$smtpuser,$smtppass);//这里面的一个true是表示使用身份验证,否则不使用身份验证. //$smtp->debug = TRUE;//是否显示发送的调试信息 $smtp->sendmail($smtpemailto, $smtpusermail, $mailsubject, $mailbody, $mailtype); ?> #/etc/php.ini timezone 记得要修改成自己邮箱的地区，会有错误提示 要想发邮件的话，首先要有php支持，若你没有安装过lamp或者lnmp，则需要运行yum install -y php 安装。 然后运行 php mail.php "邮箱主题写在这里" "/tmp/test.txt" 。其中，/tmp/test.txt 内容为邮件内容。