Fork me on GitHub
Suzf  Blog

Archive Linux

Nginx之基本配置

Nginx

1. 高性能的HTTP Server,支持高达20000并发访问
2. 反向代理服务器,给网站加速
3. 做为前端一个负载均衡器
========================================================

一、准备工作
# service httpd stop
# chkconfig httpd off
所需的软件: 开发库,openssl-devel

二、部署Nginx
1. pcre: 支持正则表达式,地址重写rewrite
# tar zxf pcre-8.31.tar.gz
# cd pcre-8.31
# ./configure && make && make install
# ldconfig

2. nginx
# useradd www
# tar xvf nginx-1.2.2.tar.gz
# cd nginx-1.2.2
[[email protected] nginx-1.2.2]# ./configure \
> --user=www \
> --group=www \
> --prefix=/usr/local/nginx-1.2.2 \
> --with-http_stub_status_module \
> --with-http_sub_module \
> --with-http_ssl_module \
> --with-pcre=/usr/src/pcre-8.31 #pcre源程序目录

#--with-pcre=/usr/src/pcre-8.31 指的是pcre-8.31 的源码路径。
#--with-zlib=/usr/src/zlib-1.2.7 指的是zlib-1.2.7 的源码路径。

# make && make install
# ln -s /usr/local/nginx-1.2.2/ /usr/local/nginx

# tree /usr/local/nginx/
/usr/local/nginx/
|-- conf
| |-- fastcgi.conf
| |-- fastcgi.conf.default
| |-- fastcgi_params
| |-- fastcgi_params.default
| |-- koi-utf
| |-- koi-win
| |-- mime.types
| |-- mime.types.default
| |-- nginx.conf //主配置文件
| |-- nginx.conf.default
| |-- scgi_params
| |-- scgi_params.default
| |-- uwsgi_params
| |-- uwsgi_params.default
| `-- win-utf
|-- html
| |-- 50x.html
| `-- index.html
|-- logs
`-- sbin
`-- nginx

3. 启动
[[email protected] ~]# /usr/local/nginx/sbin/nginx
[[email protected] ~]# netstat -tnlp |grep :80
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 10627/nginx

4. 测试
# links -dump 192.168.9.110
Welcome to nginx!
# echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local #开机运行

二、Nginx基本配置
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
CoreModule Nginx内核模块
EventsModule 事件驱动模块
HttpCoreModule http内核模块

# sed -i '/^[ \t]*#/d;/^[ \t]*$/d' /usr/local/nginx/conf/nginx.conf

# vim /usr/local/nginx/conf/nginx.conf
worker_processes 2; #初始启动的进程数(建议CPU的core数)
worker_connections 15000; #最大连接数
server {
listen 80; #监听的端口
server_name localhost; #站点名称
location / {
root html; #root指令指定网站主目录(相对于nginx的安装目录)
index index.html index.htm; #默认主页
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}

语法检查:
# /usr/local/nginx/sbin/nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

重新加载nginx:
[[email protected] ~]# pgrep nginx
5693
5757

[[email protected] ~]# kill -HUP 5693
[[email protected] ~]# pgrep nginx
5693
5787

# /usr/local/nginx/sbin/nginx -s reload

# /usr/local/nginx/html/ #站点默认主目录
# echo "Welcome to Jeffery Nginx" > /usr/local/nginx/html/index.html
[[email protected] ~]# elinks -dump 192.168.9.110
Welcome to Jeffery Nginx

========================================================

排错:
[[email protected] ~]# /usr/local/nginx/sbin/nginx -t
/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot
open shared object file: No such file or directory

编译nginx指定 --with-pcre=/usr/src/pcre-8.31 指定pcre-8.31 的源码路径。

========================================================

日志分析之LogAnalyzer+Rsyslog日志分析系统全

一、简介

LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的 syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据中看出问题的解决方案。

LogAnalyzer 获取客户端日志会有两种保存模式,一种是直接读取客户端/var/log/目录下的日志并保存到服务端该目录下,一种是读取后保存到日志服务器数据库中,推荐使用后者。

LogAnalyzer 采用php开发,所以日志服务器需要php的运行环境,本文采用LAMP。

Kickstart之为root自定义密码

linux kickstart之中root的密码可以使用明文,也可以使用加密过的值
rootpw –iscrypted $1$BYSimLw0$I515yLiKzudlwkIskBqQE1

就是读取加密后的值,但是这个值是怎么生成的呢?
这与linux系统的密码shadow一样,生成方法如下:
perl -e 'print crypt ("jeffery",q($1$VSmile07)),"\n"'

# 其中Jeffery 是为要给用户设置的密码,$1$VSmile07字符串是自定义字符串,shadow里一般用$1$后面跟8个字符这种格式。
生成的密码串样式如下:
$1$VSmile07$KXKn1fJznUJeTRLQx7duB/

中间有个$,前面算salt,后面的加密值,合在一起叫hash
crypt 本身默认用des算法
如果salt以$1$开头就使用md5算法

des算法命令如下:
perl -e 'print crypt ("jeffery","/g"),"\n"'

生成的密码串样式如下:
/gtivxtepbAM6

综上,如果你想设置自定义密码为"jefferypass-007"
则这样可以得到:

perl -e 'print crypt("jefferypass-007",q($1$BYJeffery)),"\n"'

你的密码为: $1$BYJeffer$lwi40dGdfhoenhqrSxwNG/
这里的$1$BYJeffer 是自定义字符串。

 

HTTP 返回状态代码详解

一、HTTP状态码

如果某项请求发送到您的服务器要求显示您网站上的某个网页(例如,用户通过浏览器访问您的网页或 Googlebot 抓取网页时),服务器将会返回 HTTP 状态代码以响应请求。

此状态代码提供关于请求状态的信息, 告诉 Googlebot 关于您的网站和请求的网页的信息。

DIY精简CentOS自动安装ISO

俗话说一瘦遮三丑,一胖全没有。原生的系统过于庞大和臃肿,工作中有很多组件和安装包根本是用不到的,只安装我们需要的组件,并实现自动安装,这样在产线批量布署服务器的时候,显的效率非常高。

Zabbix 之windows下安装agent

1.下载windows版zabbix-agent-2.2.5并解压
http://www.zabbix.com/downloads/2.2.5/zabbix_agents_2.2.5.win.zip
解压后有两个目录bin和conf,其中bin中又有两个目录win32和 win64,分别对应windows 32位和64位系统,请根据实际情况将相应目录拷贝到某个磁盘下(我的是64位系统,拷贝win64到C:/下,并重命名为zabbix),然后将另一个conf目录中的配置文件zabbix_agentd.conf也拷贝到c:/zabbix目录下,这样该目录下共有4个文件,分别 为:zabbix_sender.exe zabbix_get.exe zabbix_agentd.exe zabbix_agentd.conf

修改配置文件zabbix_agentd.conf:
Server=192.168.8.81 zabbix_ser/zabbix_proxy IP地址

ServerActive=192.168.8.81:10051
Hostname=Zabbix_windows 本地主机名/IP

2.注册zabbix agent服务
2.1 运行cmd进入windows命令行控制台
2.2 运行c:\zabbix\zabbix_agentd.exe -c c:\zabbix\conf\zabbix_agentd.conf -i
注:-c表示配置文件路径 -i表示安装

3.在命令行运行services.msc进入windows服务控制台,找到zabbix_agent服务,右键启动即可

测试出现入下信息 则安装正确

netstat -an|findstr 10050 查看运行状态
4.卸载zabbix agent
4.1 运行cmd进入windows命令行控制台
4.2 运行c:\zabbix\zabbix_agentd.exe -c c:\zabbix\zabbix_agentd.conf -d
注:-c表示配置文件路径 -d表示卸载

注意:关于agent的配置文件,请参考Linux配置进行修改

 

Zabbix之监控Oracle性能

Orabbix 是一个用来监控 Oracle 数据库实例的 Zabbix 插件。

下载地址:http://www.smartmarmot.com/product/orabbix/download/

官方参考:http://www.smartmarmot.com/wiki/index.php/Orabbix

Orabbix插件的安装与配置

确保安装jdk环境,java version查看

[[email protected] ~]# java -version

java version "1.6.0_28"

OpenJDK Runtime Environment (IcedTea6 1.13.0pre) (rhel-1.66.1.13.0.el6-x86_64)

OpenJDK 64-Bit Server VM (build 23.25-b01, mixed mode)

Apache的工作模式及切换

prefork的工作原理及配置
  如果不用“--with-mpm”显式指定某种MPM,prefork就是Unix平台上缺省的MPM。它所采用的预派生子进程方式也是Apache 1.3中采用的模式。prefork本身并没有使用到线程,2.0版使用它是为了与1.3版保持兼容性;另一方面,prefork用单独的子进程来处理不同的请求,进程之间是彼此独立的,这也使其成为最稳定的MPM之一。

  若使用prefork,在make编译和make install安装后,使用“httpd -l”来确定当前使用的MPM,应该会看到prefork.c(如果看到worker.c说明使用的是worker MPM,依此类推)。再查看缺省生成的httpd.conf配置文件,里面包含如下配置段:

 

StartServers 5

MinSpareServers 5

MaxSpareServers 10

MaxClients 150

MaxRequestsPerChild 0

 

  prefork的工作原理是,控制进程在最初建立“StartServers”个子进程后,为了满足MinSpareServers设置的需要创建一 个进程,等待一秒钟,继续创建两个,再等待一秒钟,继续创建四个……如此按指数级增加创建的进程数,最多达到每秒32个,直到满足 MinSpareServers设置的值为止。这就是预派生(prefork)的由来。这种模式可以不必在请求到来时再产生新的进程,从而减小了系统开销 以增加性能。

  MaxSpareServers设置了最大的空闲进程数,如果空闲进程数大于这个值,Apache会自动kill掉一些多余进程。这个值不要设得过 大,但如果设的值比MinSpareServers小,Apache会自动把其调整为MinSpareServers+1。如果站点负载较大,可考虑同时 加大MinSpareServers和MaxSpareServers。

  MaxRequestsPerChild设置的是每个子进程可处理的请求数。每个子进程在处理了“MaxRequestsPerChild”个请求后 将自动销毁。0意味着无限,即子进程永不销毁。虽然缺省设为0可以使每个子进程处理更多的请求,但如果设成非零值也有两点重要的好处:

  ◆ 可防止意外的内存泄漏;

  ◆ 在服务器负载下降的时侯会自动减少子进程数。

  因此,可根据服务器的负载来调整这个值。个人认为10000左右比较合适。

  MaxClients是这些指令中最为重要的一个,设定的是Apache可以同时处理的请求,是对Apache性能影响最大的参数。其缺省值150是 远远不够的,如果请求总数已达到这个值(可通过ps -ef|grep http|wc -l来确认),那么后面的请求就要排队,直到某个已处理请求完毕。这就是系统资源还剩下很多而HTTP访问却很慢的主要原因。系统管理员可以根据硬件配置 和负载情况来动态调整这个值。虽然理论上这个值越大,可以处理的请求就越多,但Apache默认的限制不能大于256。如果把这个值设为大于256,那么 Apache将无法起动。事实上,256对于负载稍重的站点也是不够的。在Apache 1.3中,这是个硬限制。如果要加大这个值,必须在“configure”前手工修改的源代码树下的src/include/httpd.h中查找 256,就会发现“#define HARD_SERVER_LIMIT 256”这行。把256改为要增大的值(如4000),然后重新编译Apache即可。在Apache 2.0中新加入了ServerLimit指令,使得无须重编译Apache就可以加大MaxClients。下面是prefork配置段:

 

StartServers 10

MinSpareServers 10

MaxSpareServers 15

ServerLimit 2000

MaxClients 1000

MaxRequestsPerChild 10000

 

  上述配置中,ServerLimit的最大值是2000,对于大多数站点已经足够。如果一定要再加大这个数值,对位于源代码树下server/mpm/prefork/prefork.c中以下两行做相应修改即可:

#define DEFAULT_SERVER_LIMIT 256

#define MAX_SERVER_LIMIT 2000

worker的工作原理及配置

  相对于prefork,worker是2.0 版中全新的支持多线程和多进程混合模型的MPM。由于使用线程来处理,所以可以处理相对海量的请求,而系统资源的开销要小于基于进程的服务器。但 是,worker也使用了多进程,每个进程又生成多个线程,以获得基于进程服务器的稳定性。这种MPM的工作方式将是Apache 2.0的发展趋势。

  在configure -with-mpm=worker后,进行make编译、make install安装。在缺省生成的httpd.conf中有以下配置段:

 

StartServers 2

MaxClients 150

MinSpareThreads 25

MaxSpareThreads 75

ThreadsPerChild 25

MaxRequestsPerChild 0

 

  worker的工作原理是,由主控制进程生成“StartServers”个子进程,每个子进程中包含固定的ThreadsPerChild线程数, 各个线程独立地处理请求。同样,为了不在请求到来时再生成线程,MinSpareThreads和MaxSpareThreads设置了最少和最多的空闲 线程数;而MaxClients设置了所有子进程中的线程总数。如果现有子进程中的线程总数不能满足负载,控制进程将派生新的子进程。

  MinSpareThreads和MaxSpareThreads的最大缺省值分别是75和250。这两个参数对Apache的性能影响并不大,可以按照实际情况相应调节。

  ThreadsPerChild是worker MPM中与性能相关最密切的指令。ThreadsPerChild的最大缺省值是64,如果负载较大,64也是不够的。这时要显式使用 ThreadLimit指令,它的最大缺省值是20000。上述两个值位于源码树server/mpm/worker/worker.c中的以下两行:

#define DEFAULT_THREAD_LIMIT 64

#define MAX_THREAD_LIMIT 20000

  这两行对应着ThreadsPerChild和ThreadLimit的限制数。最好在configure之前就把64改成所希望的值。注意,不要把这两个值设得太高,超过系统的处理能力,从而因Apache不起动使系统很不稳定。

  Worker模式下所能同时处理的请求总数是由子进程总数乘以ThreadsPerChild值决定的,应该大于等于MaxClients。如果负载 很大,现有的子进程数不能满足时,控制进程会派生新的子进程。默认最大的子进程总数是16,加大时也需要显式声明ServerLimit(最大值是 20000)。这两个值位于源码树server/mpm/worker/worker.c中的以下两行:

#define DEFAULT_SERVER_LIMIT 16

#define MAX_SERVER_LIMIT 20000

  需要注意的是,如果显式声明了ServerLimit,那么它乘以ThreadsPerChild的值必须大于等于MaxClients,而且 MaxClients必须是ThreadsPerChild的整数倍,否则Apache将会自动调节到一个相应值(可能是个非期望值)。下面是 worker配置段:

 

StartServers 3

MaxClients 2000

ServerLimit 25

MinSpareThreads 50

MaxSpareThreads 200

ThreadLimit 200

ThreadsPerChild 100

MaxRequestsPerChild 0

 

  通过上面的叙述,可以了解到Apache 2.0中prefork和worker这两个重要MPM的工作原理,并可根据实际情况来配置Apache相关的核心参数,以获得最大的性能和稳定性。

如何切换apache2的prefork和worker模式

问题

  在Prima/Plesk/Virtuozzo上,apache都使用了系统自带的httpd-2.0.5x的rpm包

  在redhat linux上,默认使用的是prefork模式,而不是worker模式

  如何在二者间切换?

解决方案

  Apache HTTP服务器被设计为一个强大的、灵活的能够在多种平台以及不同环境下工作的服务器。

  不同的平台和不同的环境经常产生不同的需求,或是为了达到同样的最佳效果而采用不同的方法。

  Apache凭借它的模块化设计很好的适应了大量不同的环境。

  这一设计使得网站管理员能够在编译时和运行时凭借载入不同的模块来决定服务器的不同附加功能。

  Apache2.0将这种模块化的设计延伸到了web服务器的基础功能上。

  这个版本带有多路处理模块(MPM)的选择以处理网络端口绑定、

  接受请求并指派子进程来处理这些请求。

  比如,需要更好伸缩性的可以选择象worker或event这样线程化的MPM,

  而需要更好的稳定性和兼容性以适应一些旧的软件可以用prefork 。

  在Redhat Linux的主要版本as4上,apache版本为httpd-2.0.5x,

  默认为prefork模式,主要是考虑到稳定性的原因。

  要切换到worker模式,则需要登录到linux上,进行如下操作:

  进入/usr/sbin目录

  cd /usr/sbin

  将当前的prefork模式启动文件改名

  mv httpd httpd.prefork

  将worker模式的启动文件改名

  mv httpd.worker httpd

  修改配置文件vi /etc/httpd/conf/httpd.conf

  找到里边的如下一段,可适当修改负载等参数:

  StartServers 5
ThreadLimit 200
ServerLimit 50
MaxClients 2000
MinSpareThreads 25
MaxSpareThreads 200
ThreadsPerChild 100
MaxRequestsPerChild 50

  重新启动服务

  /etc/init.d/httpd restart

  即可换成worker方式启动apache2

 

Zabbix之监控Mysql性能

Zabbix还可以监控mysql slow queries,mysql version,uptime,alive等。下面通过Zabbix Graphs实时查看的SQL语句操作情况和mysql发送接收的字节数。
1.Zabbix官方提供的监控mysql的模板Template App MySQL,可以看到相关的Items和key。

2. 把该模板Template App MySQL Link到相关的主机上面,发现Item的Status是不可用的,因为key的值是通过Mysql用户查看"show global status"信息或者用mysqladmin命令查看status或extended-status的信息而取的值。

mysql> show global status;


3.创建只读 账户zabbix

mysql> insert into mysql.user(Host,User,Password)values("localhost","zabbix",password("yourpasswd"));
mysql> update mysql.user set Select_priv="Y" where user="zabbix" and HOST="localhost";
mysql>flush privileges;
# mysqladmin -uzabbix -p status
Uptime: 3023456 Threads: 16 Questions: 941201 Slow queries: 0 Opens: 491 Flush tables: 1 Open tables: 90 Queries per second avg: 0.311

4.结合官方提供的key编写Shell脚本,从数据库中取出Items的key的值。

# cat /usr/local/zabbix/scripts/checkmysqlperformance.sh

#!/bin/sh

#Modified by Jeffery Aug,18 2014
MYSQL_SOCK="/var/lib/mysql/mysql.sock"
#MYSQL_PWD=`cat /var/lib/mysql/3306/.mysqlpassword`
MYSQL_PWD=yourpasswd

ARGS=1

if [ $# -ne "$ARGS" ];then
echo "Please input one arguement:"
fi

case $1 in
Uptime)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK status|cut -f2 -d":"|cut -f1 -d"T"`
echo $result
;;

Com_update)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Com_update"|cut -d"|" -f3`
echo $result
;;

Slow_queries)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK status |cut -f5 -d":"|cut -f1 -d"O"`
echo $result
;;

Com_select)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Com_select"|cut -d"|" -f3`
echo $result
;;

Com_rollback)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Com_rollback"|cut -d"|" -f3`
echo $result
;;

Questions)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK status|cut -f4 -d":"|cut -f1 -d"S"`
echo $result
;;

Com_insert)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Com_insert"|cut -d"|" -f3`
echo $result
;;

Com_delete)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Com_delete"|cut -d"|" -f3`
echo $result
;;

Com_commit)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Com_commit"|cut -d"|" -f3`
echo $result
;;

Bytes_sent)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Bytes_sent" |cut -d"|" -f3`
echo $result
;;

Bytes_received)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Bytes_received" |cut -d"|" -f3`
echo $result
;;

Com_begin)
result=`mysqladmin -uzabbix -p${MYSQL_PWD} -S $MYSQL_SOCK extended-status |grep -w "Com_begin"|cut -d"|" -f3`
echo $result
;;

*)
echo "Usage:$0(Uptime|Com_update|Slow_queries|Com_select|Com_rollback|Questions)"
;;

esac

4.在Zabbix_agentd.conf里面添加UserParameter,格式如下,对于Zabbix来说,脚本其实就是一个插件。

# cat /usr/local/zabbix/etc/zabbix_agentd.conf| grep -v "^$\|^#"

LogFile=/tmp/zabbix_agentd.log

Server=172.16.9.38

ServerActive=172.16.9.38:10051

Hostname=172.16.9.26

UnsafeUserParameters=1

UserParameter=mysql.version,mysql -V

UserParameter=mysql.ping,mysqladmin -uzabbix -p\[email protected] -S /var/lib/mysql/mysql.sock ping | grep -c alive

UserParameter=mysql.status[*],/usr/local/zabbix/scripts/checkmysqlperformance.sh $1

5.重启agentd服务器

/etc/init.d/zabbix_agentd restart

6.然后在zabbix server用zabbix_get就可以取到key的值。

# /usr/local/zabbix/bin/zabbix_get -s 172.16.9.26 -p10050 -k mysql.status[Uptime]
3386849

# /usr/local/zabbix/bin/zabbix_get -s 172.16.9.26 -p10050 -k mysql.status[Com_select]
275188

6.在zabbix前端可以实时查看SQL语句每秒钟的操作次数。

7.在zabbix前端可以实时查看mysql发送接收的字节数。其中bytes received表示从所有客户端接收到的字节数,bytes sent表示发送给所有客户端的字节数。

总结:
1)把该脚本放到要监控的服务器上面(Modify mysql user and password),修改UserParameter的参数并重启agentd,Link官方提供的Template App MySQL模板即可。
2)我这里是测试环境用的是新创建的只读账户zabbix,线上服务器安全期间可以给mysql用户授权readonly权限。

3)根据实际的需求,除了监控上述监控项之外,还可以监控mysql processlist,Innodb等。