【知行合一】-Poople's Blog » Linux

关于入侵那点破事

Mon, 11 Apr 2011 07:49:55 +0000

愚人节那天，被开了个玩笑，托管在电信机房的某台服务器被取得Web Shell，系统平均负载(Load Average高达100多)。

症状分析

程序漏洞被利用，入侵者上传了sucrack这个多线程root密码破解程序，耗尽系统计算资源

Tasks: 285 total, 115 running, 170 sleeping,   0 stopped,   0 zombie
Cpu(s): 84.7%us, 12.3%sy, 0.0%ni, 0.0%id, 0.0%wa, 1.0%hi, 2.0%si, 0.0%st
Mem:   4148472k total, 2808280k used, 1340192k free,   199496k buffers
Swap: 4096532k total,   311152k used, 3785380k free, 1081584k cached

PID USER      PR NI VIRT RES SHR S %CPU %MEM    TIME+ COMMAND
2460 apache    25   0 1007m 796m 476 R 6.6 19.7 549:12.50 sucrack
21856 apache    20   0 9476 4840 2588 S 5.0 0.1   0:00.15 python
21854 apache    19   0 9476 4820 2568 S 3.7 0.1   0:00.12 python
21868 apache    19   0 9232 4496 2408 R 3.7 0.1   0:00.11 python
21870 apache    20   0 8164 4388 2324 R 3.7 0.1   0:00.11 python
21850 apache    16   0 9480 4824 2568 R 3.3 0.1   0:00.10 python
21858 apache    15   0 9480 4816 2568 R 3.3 0.1   0:00.10 python
21860 apache    21   0 8052 4152 2212 R 3.0 0.1   0:00.09 python
19471 apache    15   0 9480 4824 2568 R 2.0 0.1   0:04.71 python
20370 apache    15   0 9480 4916 2596 R 2.0 0.1   0:03.22 python
20633 apache    15   0 9480 4836 2568 R 2.0 0.1   0:02.70 python
16534 apache    16   0 9480 4824 2568 R 1.7 0.1   0:09.57 python
16804 apache    15   0 9480 4828 2568 R 1.7 0.1   0:08.92 python
17061 apache    16   0 9480 4828 2568 R 1.7 0.1   0:08.36 python
17418 apache    16   0 9480 4916 2596 R 1.7 0.1   0:08.06 python
17420 apache    15   0 9480 4828 2568 R 1.7 0.1   0:08.04 python

处理过程：

1.操作系统几近卡死，考虑到该业务系统不重要，直接重启

2.查看access.log的异常记录，关掉受影响站点

以上措施都属于亡羊补牢，等空闲时间，再分析文件权限和日志，把真正的幕后黑手揪出来。

Linux获取程序编译参数

Thu, 02 Dec 2010 09:23:54 +0000

作为系统管理员，经常会碰到这样一个场景：刚接手应用系统不久，业务扩展迅速，老板要求你再搭建N个应用环境，并希望尽量与运行中的平台一致。
犯难的是，前同事留下的文档不详细，没有关于几个主要Service的编译参数。这时你就必须设法取得信息。

1.通过软件包自己的version参数或者debug工具
例如，MySQL软件包中的mysqlbug，执行该工具，将返回debug信息，过滤出其中的Configure command代码块即可

1
2
3
4
5
6
7
8
9
10

Configure command: ./configure '--disable-shared' '--with-server-suffix=-community' '--without-plugin-ndbcluster' '--with-plugin-innobase' '
--with-plugin-partition' '--with-plugin-csv' '--with-plugin-archive' '--with-plugin-blackhole' '--with-plugin-federated' '--without-plugin-da
emon_example' '--without-plugin-ftexample' '--without-plugin-example' '--with-embedded-server' '--without-bench' '--with-big-tables' '--enabl
e-assembler' '--enable-local-infile' '--with-mysqld-user=mysql' '--with-unix-socket-path=/var/lib/mysql/mysql.sock' '--with-pic' '--prefix=/'
'--with-extra-charsets=complex' '--with-ssl' '--exec-prefix=/usr' '--libexecdir=/usr/sbin' '--libdir=/usr/lib' '--sysconfdir=/etc' '--datadi
r=/usr/share' '--localstatedir=/var/lib/mysql' '--infodir=/usr/share/info' '--includedir=/usr/include' '--mandir=/usr/share/man' '--enable-th
read-safe-client' '--with-comment=MySQL Community Server (GPL)' '--with-readline' '--with-zlib-dir=bundled' 'CC=gcc' 'CFLAGS=-O2 -g -pipe -Wa
ll -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m32 -march=i386 -mtune=generic -fasynchronous-unwind-tab
les' 'LDFLAGS=' 'CXX=gcc' 'CXXFLAGS=-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m32
-march=i386 -mtune=generic -fasynchronous-unwind-tables -felide-constructors -fno-exceptions -fno-rtti '

附上其他常用service编译参数的查看方法

1
2
3
4

查看nginx编译参数：nginx -V
查看apache编译参数：cat /usr/local/apache/build/config.nice
查看mysql编译参数：mysqlbug
查看php编译参数：php -i | grep configure

All Tested OK！

2.利用SRPM包的spec文件获取build信息
以上查看Apache编译的方法，只能service是采用tar.gz安装的环境。如果是rpm安装，利用该方法是行不通的，rpm安装的service，并不会留下config.nice。
解决办法就是搜索该软件是否有发布SRPM(.src.rpm后缀)，将其解压，查看spec文件中的%build代码块。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

%build
......
../configure -C \
--prefix=%{_sysconfdir}/httpd \
--with-apr=/usr/bin/apr-config \
--with-apr-util=/usr/bin/apu-config \
--exec-prefix=%{_prefix} \
--bindir=%{_bindir} \
--sbindir=%{_sbindir} \
--mandir=%{_mandir} \
--libdir=%{_libdir} \
--sysconfdir=%{_sysconfdir}/httpd/conf \
--includedir=%{_includedir}/httpd \
--libexecdir=%{_libdir}/httpd/modules \
--datadir=%{contentdir} \
--with-mpm=$mpm \
--enable-suexec --with-suexec \
--with-suexec-caller=%{suexec_caller} \
--with-suexec-docroot=%{contentdir} \
--with-suexec-logfile=%{_localstatedir}/log/httpd/suexec.log \
--with-suexec-bin=%{_sbindir}/suexec \
--with-suexec-uidmin=500 --with-suexec-gidmin=500 \
--with-devrandom \
--with-ldap --enable-ldap --enable-auth-ldap \
--enable-cache --enable-disk-cache --enable-mem-cache --enable-file-cache \
--enable-ssl --with-ssl \
--enable-deflate --enable-cgid \
--enable-proxy --enable-proxy-connect \
--enable-proxy-http --enable-proxy-ftp \

释放僵死的Apach进程

Tue, 30 Nov 2010 09:39:13 +0000

服务器某次故障，重启httpd出现如下错误提示

1
2
3
4
5
6

# /etc/init.d/httpd restart
Stopping httpd: [ OK ]
Starting httpd: (98)Address already in use: make_sock: could not bind to address [::]:80
(98)Address already in use: make_sock: could not bind to address 0.0.0.0:80
no listening sockets available, shutting down
Unable to open logs

利用fuser揪出占用该端口的进程ID，并kill掉

1	$ sudo fuser -k -n tcp 80

发送apache启动信号

1	$ sudo /etc/init.d/httpd -k start

参考资料

1	fuser命令详解 http://www.91linux.com/html/article/cmd/20080818/13235.html

Linux Server时间校对 – 优雅式

Thu, 15 Jul 2010 08:36:58 +0000

在《解决Linux Server时间不准确的问题》一文中，使用了crontab定期执行ntpdate来校对时间。之后恰巧某博客上的文章，提出一个观点“时钟的跃变，有时候会导致很严重的问题。许多应用程序依赖连续的时钟——毕竟，这是一项常见的假定，即，取得的时间是线性的，一些操作，例如数据库事务，通常会地依赖这样的事实：时间不会往回跳跃。”时间的瞬变，对于crontab等对时间敏感的系统任务，也是很容易造成错乱的。

优雅的解决方案是，在机器刚开机时，执行ntpupdate直接修改系统时间，然后启动ntpd守护进程，渐进式逼近地调整系统时间，基本可以做到分毫不差。

误差小的时候，ntpd不会直接修改系统时间的，只是对时钟频率进行校正。这种方式好处是系统时间不会有跳变，不会影响像crontab这样程序的运行，缺点是校正需要一定的时间。

RHEL系统上，我们常用ntpd来完成该任务；而在Ubuntu系统里，我们则用openntpd来替代它。相对ntpd，openntpd是轻量级的网络时间协议，设置比较简单。
关于ntpd和openntpd的设置，参考以下2篇文章

1 2	NTP 時間伺服器 http://linux.vbird.org/linux_server/0440ntp.php 设定 OpenNTPD http://wiki.debian.org.hk/w/Setup_OpenNTPD

Linux时间校对-起手式

Tue, 13 Jul 2010 11:29:56 +0000

服务器每隔好几个月，总会差那么几分钟。应对措施，就是每隔段时间，进行网络对时。

以下摘自《鸟哥的私房菜》，可解读为什么会有偏差的问题。

1
2
3
4
5
6
7

事實上，在我們的身邊就有很多的原子鐘，例如石英表，還有電腦主機上面的 BIOS 內部就含有一個原子鐘在
紀錄與計算時間的進行吶！不過由於原子鐘主要是利用計算晶片 (crystal) 的原子震盪週期去計時的，
這是因為每種晶片都有自己的獨特的震盪週期之故。然而因為這種晶片的震盪週期在不同的晶片之間多多少少都會有點差異性,
甚至同一批晶片也可能會或多或少有些許的差異(就連溫度也可能造成這樣的誤差呢！)，
因此也就造成了BIOS的時間會三不五時的給他快了幾秒或者慢了幾秒。
或許您會認為，BIOS 計時器每天快個五秒也沒有什麼了不起的，不過如果您再仔細的算一算，會發現，一天快五秒，那麼一個月快2.5分鐘，
一年就快了 75 分鐘了！所以說，呵呵！時間差是真的會存在的！（依据该原理，只要关机或者重启次数越多，时间就会差得越离谱）

1.挑选最快最稳定的ntp上层服务器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

C:\Documents and Settings\linqp>ping ntp.api.bz -n 100
Approximate round trip times in milli-seconds:
Minimum = 67ms, Maximum = 89ms, Average = 80ms

C:\Documents and Settings\linqp>ping t3.hshh.org -n 50
Approximate round trip times in milli-seconds:
Minimum = 18ms, Maximum = 22ms, Average = 19ms

C:\Documents and Settings\linqp>ping t1.hshh.org -n 50
Approximate round trip times in milli-seconds:
Minimum = 22ms, Maximum = 27ms, Average = 24ms

C:\Documents and Settings\linqp>ping 1.cn.pool.ntp.org -n 50
Ping statistics for 122.226.192.4:
Packets: Sent = 50, Received = 50, Lost = 0 (0% loss),
Approximate round trip times in milli-seconds:
Minimum = 18ms, Maximum = 24ms, Average = 21ms

2.使用ntpdate同步系统时间

1	root@krc:~# /usr/sbin/ntpdate t3.hshh.org

修改前

1
2
3
4

root@krc:~# date
Tue Jul 13 16:22:42 CST 2010
root@krc:~# hwclock -r
Tue 13 Jul 2010 04:21:23 PM CST -0.001126 seconds

修改后

1
2
3
4

root@krc:~# date
Tue Jul 13 16:26:33 CST 2010
root@krc:~# hwclock -r
Tue 13 Jul 2010 04:26:45 PM CST -0.001124 seconds

3.建立计划任务

1
2
3
4
5
6
7
8
9
10

root@krc:~#crontab -e
# m h dom mon dow command
00 00 * * * /bin/bash /usr/local/webserver/nginx/sbin/cut_nginx_log.sh
28 23 * * * /etc/webmin/cron/tempdelete.pl
1 0 * * 1 find /data1/backup_zone/data_www/* -mtime +28 |xargs rm -f
10 00 * * 1 cat /dev/null > /data1/backup_zone/data_www/snapfile
11 00 * * * bash /root/script-bak/bak_www.sh
1 1 * * * bash /root/script-bak/bak_conf.sh
11 1 * * 1 find /data1/backup_zone/data_conf/* -mtime +28 |xargs rm -f
*/10 * * * * /usr/sbin/ntpdate t3.hshh.org && /sbin/hwclock -w

4.参考资料

1
2
3

鸟哥的教程 http://linux.vbird.org/linux_server/0440ntp.php
Public NTP Server http://support.ntp.org/bin/view/Servers/StratumTwoTimeServers
Asia Public NTP Server http://www.pool.ntp.org/zone/asia

[Collection]Vmware环境下，克隆Linux系统引发的网卡配置丢失问题

Fri, 18 Jun 2010 07:48:59 +0000

系统环境 – Vmware WorkStation 7(同系列其他产品，如ESX/Esxi类似)

客户机操作系统 – Ubunt Linux Server 9.10

搭建测试环境，为了快速部署，使用Vmware的Clone功能，快速复制出许多客户机。

启动后发现个问题，除了源客户机，其他副本客户机，网络功能都不正常，具体表现为

ifconfig输出的网络配置，只有lo，没有eth0
“ifconfig –a”输出的网络配置中,eth0已经被自动修改为eth1了
/etc/udev/rules.d/70-persistent-net.rules中，有eth0和eth1的详细定义。eth0为源客户机copy过来的；eth1为虚拟机自动生成的新网卡，定义区块的ATTR{address}记录着新网卡的mac(在虚拟机目录的VMX文件中，也能找到该mac地址)

故障分析

为了避免同网段相同mac地址引发的广播风暴，Vmware自动添加了一块新网卡。Ubuntu识别并驱动了该网卡，却没有自动配置它，因此，出现上文那一幕。解决步骤Ubuntu Linux相关的网络配置

/etc/udev/rules.d/70-persistent-net.rules
/etc/network/interfaces

解决的思路有2个

删除/修改/etc/udev/rules.d/70-persistent-net.rules，事实证明，一般情况下，删除最方便，在networking服务重启的时候，会正确识别，并生成新的/etc/udev/rules.d/70-persistent-net.rules
修改interfaces，将其中的eth1统统替换为eth0(未验证)

[Collection]Adding Date And Time To Your Bash History

Fri, 11 Jun 2010 03:45:00 +0000

多人管理同一台Linux Server，为了方便审计，最好在history内加入操作时间。

It comes in handy particularly if there are multiple people maintaining a given server (so you can see when a command was performed) or even if you are the sole maintainer, but can’t remember exactly when you did or changed something.

Edit your /etc/bashrc and append to the bottom:

export HISTTIMEFORMAT="%h/%d – %H:%M:%S "

From next login instead of:

574 tail -f /var/log/maillog
575 mailq | tail -15
576 tail -f /var/log/maillog
577 less /var/log/maillog

you get:

1002 Apr/30 – 11:46:16 grep duncan /var/log/maillog
1003 Apr/30 – 14:17:40 passwd jduncan
1004 Apr/30 – 14:18:02 smbpasswd jduncan
1005 Apr/30 – 14:50:28 history 10

Hope this helps someone;)

To make it global and permanent to all users, edit /etc/profile and append to the bottom(已测试通过)
It works also in my Ubuntu box. The file to modify is $HOME/.bashrc(已测试通过)

[Original]有进程僵死,长期驻留在后台,杀不了

Thu, 10 Jun 2010 07:13:36 +0000

故障现象

某Web服务器，突然出现以下问题，php-cgi僵死在进程里，无法重启

www 9463 0.0 0.3 41996 13612 ? D Apr19 1:22 /usr/local/php/bin/php-cgi –fpm
www 20858 0.0 0.3 40408 12932 ? D May05 1:55 /usr/local/php/bin/php-cgi –fpm
www 20866 0.0 0.3 40688 13296 ? D May05 1:53 /usr/local/php/bin/php-cgi –fpm
www 20878 0.0 0.3 40932 13604 ? D May05 1:51 /usr/local/php/bin/php-cgi –fpm
www 24288 0.0 0.3 40436 12880 ? D Apr15 2:36 /usr/local/php/bin/php-cgi –fpm
www 26881 0.0 0.3 41596 13712 ? D Apr16 6:11 /usr/local/php/bin/php-cgi –fpm
www 26921 0.0 0.3 43224 15848 ? D Apr16 5:57 /usr/local/php/bin/php-cgi –fpm
www 26983 0.0 0.3 42736 14524 ? D Apr16 6:01 /usr/local/php/bin/php-cgi –fpm
www 27007 0.0 0.3 42608 14248 ? D Apr16 6:01 /usr/local/php/bin/php-cgi –fpm
www 27023 0.0 0.3 42464 15172 ? D Apr16 5:57 /usr/local/php/bin/php-cgi –fpm

处理过程

1. “killall –9 php-cgi”无效

2. “pkill –9 php-cgi”无效

3. reboot操作系统，成功，D状态的php-cgi进程消失

故障分析

D state 不是zombie进程，Z是zombie

D是uninterruptable sleep，看看dmesg里面是不是io driver出现问题了

~网上的几篇参考文章

1. How to kill an `uninterruptible sleep` process

2.Linux进程的Uninterruptible sleep(D)状态

[Original]主WEB服务器web service中断以及自动启动项不会up的问题

Thu, 06 May 2010 01:53:04 +0000

# 查看默认的运行级别,Debian系默认运行级别为2,Redhat系默认运行级别为3

[11:34:29.9] root@webserver:/usr/local/webserver/nginx# runlevel

[11:34:31.8] N 2webserverwebserver

#运行开机启动项管理器,详细截图见sysv-rc-conf.png

[13:01:32.4] root@webserver:~# sysv-rc-conf

#可以看到存在一些不必要的启动服务,其中包含apache,该服务与nginx冲突

#确保rc.local服务在runlevel2被启用

#之前推测,nginx的https服务和kerio mailserver的https服务相冲突.结合了需求,该WebServer不会挂其他https站点.保留kerio mailserver,重新编译nginx,去掉https选项

[14:13:45.5] root@webserver:~/download/nginx-0.7.61# ./configure –user=www –group=www –prefix=/usr/local/webserver/nginx –with-http_stub_status_module

[14:14:04.9] root@webserver:~/download/nginx-0.7.61# make

#关闭有冲突的Apache Service

[13:07:10.1] root@webserver:~# /etc/init.d/apache2 stop

#关闭进程,重新安装nginx

[00:16:02.5] root@webserver:~# killall nginx

[00:16:12.6] root@webserver:~# cd /root/download

[00:16:28.7] root@webserver:~/download# cd nginx-0.7.61

[00:16:34.0] root@webserver:~/download/nginx-0.7.61# make install

[00:18:28.7] root@webserver:/usr/local/webserver/nginx/conf# nginx

#启动,测试rc.local是否成功执行

[00:26:00.2] root@webserver:/usr/local/webserver/nginx/conf# reboot

#查看nginx和php进程是否启动

[00:29:42.8] root@webserver:~# ps -aux|grep ngin

[00:29:55.9] www 6401 0.0 0.2 14764 11672 ? S 00:28 0:00 nginx: worker process

[00:29:55.9] root@webserver:~# ps -aux|grep php

[00:29:59.9] root 6256 0.0 0.0 88624 3708 ? Ss 00:28 0:00 /usr/local/webserver/php/bin/php-cgi –fpm –fpm-config /usr/local/webserver/php/etc/php-fpm.conf

#陷阱1

The Mysterious — MARK –

All newbie admins asks what this means in /var/log/messages:

Jul 1 16:04:53 windbag — MARK –

Jul 1 16:24:53 windbag — MARK –

Jul 1 16:44:53 windbag — MARK –

That’s just the syslog daemon letting you know that it is alive and well. You may set the interval to anything you like on Debian by editing /etc/init.d/sysklogd. This sets it to 60 minutes:

SYSLOGD=”-m 60″

Then restart the syslog daemon:

# /etc/init.d/sysklogd restart

On Red Hat and derivatives, edit /etc/sysconfig/syslog :

SYSLOGD_OPTIONS=”-m 60″

Restart syslogd with service syslog restart. Then watch it happen in realtime on any Linux with tail -f /var/log/messages. (You can monitor the changes in any text file with tail.)

#陷阱2

exiting due to signal 15

yslogd: exiting on signal 15 这个看上去是syslogd正常的退出信息

[Original]不能利用php的mail函数发送邮件的解决

Thu, 29 Apr 2010 07:45:38 +0000

程序员反映在sun.xmnn.cn(192.168.96.55)不能利用PHP的mail()函数发送邮件。已解决。

设置步骤如下，

1.启动sendmail服务 /etc/init.d/sendmail start

2.将sendmail服务加入开机启动项 chkconfig sendmail on

3.编辑access文件,加入以下域

vim /etc/mail/access

Connect:xmnn.cn RELAY

4.编辑php-fpm.conf文件，去除sendmail_path键值的注释符号

vim /data/php/etc/php-fpm.conf

/usr/sbin/sendmail -t -i

5.编辑php.ini文件，设置sendmai_path变量

vim /data/php/etc/php.ini

sendmail_path = /usr/sbin/sendmail -t -i

6.该台服务器有设置nameserver。如没有的话，请编辑/etc/resolv.conf

加入以下内容

nameserver 202.101.103.55

nameserver 202.101.103.54

7.另，利用命令行测试系统sendmail是否可用，请参考此文章中“Linux 下使用 telnet 功能”小节。

附部分测试程序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

if ($_SERVER['REQUEST_METHOD']=='POST'){

$email=$_POST['email'];

$to="hery78567650@163.com";

$subject = "Test Mail Send by XMNN.Apps";

$message = "Hello! This is a test sent by php.apps on sunbbs. Poople".$email;

$from = "sun@xmnn.cn";

$headers = "From: $from"."\r\n" .

"CC: 7215030@qq.com";

if (mail($to,$subject,$message,$headers)){

echo "????";

}

}

?>