HardBirch

远程服务器监控重启方案

时间:11-07-22 栏目:HTML5移动开发 作者:张飞不张,文采横飞 评论:1 点击: 1,619 次

    摘要:如果你的服务器主要服务不定期被kill掉,如何来尽可能保证服务正常?

    前几天某台服务器出现了问题,主要的进程(包括Web服务、top、vi这样的命令)都会不定期被kill掉,经过分析认为这台服务器的系统出现了问题,必须要进行重装。而这台服务器上面挂载了很重要的Web服务,要保证服务还能够正常的运行,必须要进行服务的迁移。

    但是新服务器到位还需要一定时间,这段时间内我们如何来保证服务的正常性呢?采用人工的方式费时费力,而且0点到8点全时段监控是不太可能的。采用crontab的方式可行,但是问题是crontab最小的运行间隔为1分钟,服务在1分钟内出现问题的几率很大,那么服务最长不可用的时间为1分钟,影响很大。用执行脚本的方式可行,但是也会被kill掉,无法起到一直监控的作用。有什么好的方式呢?

    解决问题的思路是我们在其他服务器上监控服务状态(这个很容易实现),并且通过远程执行脚本的方式来进行服务的重启。

1、  监控服务状态

    监控服务状态的方式有多种,例如远程获取系统进程列表分析和HTTP请求。我们用最简单的方式:通过HTTP请求的状态判断服务的可用性。

1)  先在被监控的服务器(下文用服务器1代替)上写一个简单的PHP页面,只需要输出固定的内容。

<?php
           echo “alive”;
?>

2)  在监控服务器(下文用服务器2代替)上用Perl脚本访问这个Web页面,如果取得的内容和确定的内容不一致,视为服务不可用(也可以使用HTTP状态码判断)。下面是check_down.pl代码:

use LWP::Simple;
use POSIX qw(strftime);

sub convert_format_time {
   my $time = shift;
   my $utc = strftime( "%z", localtime );
   $utc = substr( $utc, 0, -2 );
   return strftime( "%Y-%m-%d %H:%M:%S", localtime( ( 8 - $utc )* 60 * 60 + $time ) );
}

while(true) {
        open($FH,">>check_result.out") or die "$!";
        $result =LWP::Simple::get("http://xxx.xxx.xxx.xxx/check_down.php");
        $time = convert_format_time(time);

        if($result ne 'alive') { # server error
                print $FH "serverdown!-" . $result . "-" . $time . "n";
        }
       else  { # server alive
                print $FH "serveralive.-" . $time . "n";
        }

        close($FH);
        sleep(1);
}

2、  远程执行重启脚本

    检测到服务不可用,下面是最关键的步骤,远程执行重启脚本。

1)下面是服务器1上检测并重启的Shell脚本check_down.sh。

#!/bin/bash
php_procs=`psaux | grep php-fpm | grep -v grep | wc -l`

if [ $php_procs-lt 1 ]
then
        /etc/init.d/nginx start
        /etc/init.d/php5-fpm start
fi

2)我们要在服务器2上调用服务器1上的此脚本,可以采用ssh的方式,但是关键是执行ssh命令时不需要输入密码。

    执行ssh命令不需要密码的方式如下:

  •     在服务器2上执行"ssh-keygen-t rsa",一路回车即可。
  •     在服务器1进入/root/.ssh目录,执行“viauthorized_keys”,将服务器2上/root/.ssh/id_rsa.pub文件中的内容追加到此文件中。
  •     可以直接在服务器2上使用“ssh root@服务器1的ip”的方式登陆了,远程执行重启脚本的方式是“ssh root@服务器1的ip '/path/check_down.sh'”。

3)  调整Perl脚本,在服务器down掉的情况下加入远程执行重启脚本的调用。

if($result ne 'alive') { # server error
        $restart_result = `ssh root@ip'/usr/local/bin/check_down.sh'`;
        print $FH "serverdown!-" . $result . "-" . $time . "n";
        print$FH "$restart_result" . "n";
}

    大功告成!

    在服务器2上启动Perl脚本“perl check_down.pl&”,然后就可以在输出的日志文件里看到结果了:

server alive.-2011-07-10 21:05:25
server down!--2011-07-22 21:05:26
Starting nginx: nginx.
 * Starting PHP5 FPM...
   ...done.

server alive.-2011-07-10 21:05:29

    总结:

    如上的方案很简单,但是编写了Shell、Perl、PHP脚本,它们各自提供了不同的作用。另外重要的是解决问题的思路,如何在不可能的情况下绕过问题从另外一个方面考虑解决方案。

声明: 本文由( 张飞不张,文采横飞 )原创编译,转载请保留链接: 远程服务器监控重启方案

远程服务器监控重启方案:目前有1 条留言

  1. 沙发
    zozi99:

    = =不错。你用自己的一台服务器对另外一台发动了持续的DDOS攻击,并在主服务器上造成了大量的TIME_WAIT连接,加剧了服务器崩溃的频率,促使高层尽快更换好用的服务器……这才是隐藏主线啊。

    2011-07-24 00:38 [回复]

发表评论


QQ群互动

Linux系统与内核学习群:194051772

WP建站技术学习交流群:194062106

魔豆之路QR

魔豆的Linux内核之路

魔豆的Linux内核之路

优秀工程师当看优秀书籍

优秀程序员,要看优秀书!

赞助商广告

友荐云推荐