【知行合一】-Poople's Blog » 系统架构

[Original]Linux Server时间校对之优雅式

Thu, 15 Jul 2010 08:36:58 +0000

在《解决Linux Server时间不准确的问题》一文中，使用了crontab定期执行ntpdate来校对时间。之后恰巧某博客上的文章，认为“时钟的跃变，有时候会导致很严重的问题。许多应用程序依赖连续的时钟——毕竟，这是一项常见的假定，即，取得的时间是线性的，一些操作，例如数据库事务，通常会地依赖这样的事实：时间不会往回跳跃。”时间的瞬变，对于crontab等对时间敏感的系统任务，也是很容易造成错乱的。

优雅的解决方案是，在机器刚开机时，执行ntpupdate直接修改系统时间，然后启动ntpd守护进程，渐进式逼近地调整系统时间，基本可以做到分毫不差。

误差小的时候，ntpd不会直接修改系统时间的，只是对时钟频率进行校正。这种方式好处是系统时间不会有跳变，不会影响像crontab这样程序的运行，缺点是校正需要一定的时间。

RHEL系统上，我们常用ntpd来完成该任务；而在Ubuntu系统里，我们则用openntpd来替代它。相对ntpd，openntpd是轻量级的网络时间协议，设置比较简单。关于ntpd和openntpd的设置，参考以下2篇文章

NTP 時間伺服器 http://linux.vbird.org/linux_server/0440ntp.php
设定 OpenNTPD http://wiki.debian.org.hk/w/Setup_OpenNTPD

[Original]有进程僵死,长期驻留在后台,杀不了

Thu, 10 Jun 2010 07:13:36 +0000

故障现象

某Web服务器，突然出现以下问题，php-cgi僵死在进程里，无法重启

www 9463 0.0 0.3 41996 13612 ? D Apr19 1:22 /usr/local/php/bin/php-cgi –fpm
www 20858 0.0 0.3 40408 12932 ? D May05 1:55 /usr/local/php/bin/php-cgi –fpm
www 20866 0.0 0.3 40688 13296 ? D May05 1:53 /usr/local/php/bin/php-cgi –fpm
www 20878 0.0 0.3 40932 13604 ? D May05 1:51 /usr/local/php/bin/php-cgi –fpm
www 24288 0.0 0.3 40436 12880 ? D Apr15 2:36 /usr/local/php/bin/php-cgi –fpm
www 26881 0.0 0.3 41596 13712 ? D Apr16 6:11 /usr/local/php/bin/php-cgi –fpm
www 26921 0.0 0.3 43224 15848 ? D Apr16 5:57 /usr/local/php/bin/php-cgi –fpm
www 26983 0.0 0.3 42736 14524 ? D Apr16 6:01 /usr/local/php/bin/php-cgi –fpm
www 27007 0.0 0.3 42608 14248 ? D Apr16 6:01 /usr/local/php/bin/php-cgi –fpm
www 27023 0.0 0.3 42464 15172 ? D Apr16 5:57 /usr/local/php/bin/php-cgi –fpm

处理过程

1. “killall –9 php-cgi”无效

2. “pkill –9 php-cgi”无效

3. reboot操作系统，成功，D状态的php-cgi进程消失

故障分析

D state 不是zombie进程，Z是zombie

D是uninterruptable sleep，看看dmesg里面是不是io driver出现问题了

~网上的几篇参考文章

1. How to kill an `uninterruptible sleep` process

2.Linux进程的Uninterruptible sleep(D)状态

[Colletcion]上亿个小文件如何备份或拷贝？

Wed, 21 Apr 2010 03:05:16 +0000

CCF的讨论,有参考价值,转过来研究一下

服务器上有上亿的25k~40k小文件约4T左右（每天还在不停增加），但磁盘马上要满了

磁盘结构NTFS

用treesize 列目录用了一个晚上，大概8小时

用killcopy拷贝到NAS，在收集信息时就崩溃了

现在还没有好的方法处理这些文件

打开磁盘并不慢，因为这些文件被分在不同的目录下，目录也很多

A1:

RAR 估计够呛，我感觉 RAR 是先收集文件列表然后开始压缩的，而且还会故意把不同路径文件名相同的放在一起压。我们算一下，假如每个文件路径和相关信息存放在内存里平均需要 512 字节空间，那么收集 10 亿个文件列表就需要 476.8GB 内存，就算更乐观的情况——256 字节一个 file path entry，1 亿文件的列表也需要 23.84GB 内存空间。

这显然不具备实际意义。所以要是真想备份出去就只能用 ghost 之类的磁盘镜像工具了。ghost 出来以后要是想恢复部分文件，可以使用官方的 ghost Explorer。

A2:

这么多小文件，只能用block的方式去操作

以上的思路应该是正解,继续关注此帖,等待更好的解决思路.

[Original]sqweb2的502.bad.gateway处理

Thu, 15 Apr 2010 08:46:16 +0000

故障现象

访问页面出现(502)bad gateway,或者(403)Access Forbid错误.

部分错误日志

Apr 15 00:30:41 sqweb2 kernel: lockd: server 192.168.96.50 not responding, timed out

Apr 15 00:31:21 sqweb2 last message repeated 10 times

Apr 15 00:32:31 sqweb2 last message repeated 21 times

Apr 15 00:33:41 sqweb2 last message repeated 17 times

主交换 CPU在10%左右,MEM在20-30%之间波动

RedHat的bugzilla有提到该错误

https://bugzilla.redhat.com/show_bug.cgi?id=453094

采取的措施

1.在sqweb1和sqweb2之间,新加了一条线.NFS共享只走该线路,不经过主交换机.避免在大流量情况下,引起的NFS丢包现象.

IP配置分别为

sqweb1 eth1 192.168.96.201 netmask 255.255.255.252

sqweb2 eth2 192.168.96.202 netmask 255.255.255.252

2.升级内核

原内核

Linux sqweb2 2.6.18-92.el5PAE #1 SMP Tue Jun 10 19:22:41 EDT 2008 i686 i686 i386 GNU/Linux

新内核

Linux sqweb2 2.6.18-164.15.1.el5PAE #1 SMP Wed Mar 17 12:14:29 EDT 2010 i686 i686 i386 GNU/Linux

3.在NFS Client的/etc/fstab挂载参数中,#加入了nolock,udp参数,#关闭nfslock service

192.168.96.201:/data/wwwroot /data/wwwroot nfs hard,intr,bg,nolock,udp,ti meo=50 0 0

P.S.调试过程中,有发现NFS的缺陷一,不能应用于单网卡多IP,以及单机多网段环境.

处理结果

#NFS相关资料

http://www.517sou.net/Article/419.aspx

http://linux.vbird.org/linux_server/0330nfs.php

[Original]测试Netapp与Windows Server域扩展（基于Linux+NetApp Simulator）

Sun, 14 Mar 2010 08:18:25 +0000

详细方法官方文档说得很清楚，请移步文章末尾的附件。

#文中提到Data Ontap为Netapp存储的操作系统，基于*Nix定制

几个注意点：

1.需要域控制器上面同时有DNS server。对域控制器不熟的兄弟，可以利用“Windows2003 EE – 管理工具 – 管理您的服务器 – 添加删除角色 -第一台服务器”模式安装。这会把常用的Service都装上，然后移除不需要的服务即可。

2.需要保持Data Ontap和DC服务器时间误差在5分钟以内。否则，客户机登陆CIFS共享时，将会有“权限不足”等的错误提示。同时，NetApp的console界面返回如下信息

NTN3600A> Sat Mar 13 11:30:18 GMT [cifs.trace.GSS:error]: AUTH: Unable to acquire filer credentials: (0×96c73a25) Filer and domain time differ by more than 5 minutes.

在Netapp WebUI中调整时间，注意，时区必须选择“PRC”。Data Ontap的内核有点诡异，时区选择GMT+8也是不行的。

3.Netapp首次安装，除了3张系统盘，额外的虚拟磁盘，均是不可用。具体表现如下

a.启动时，显示如下信息：

“Disk v4.40 Shelf ? Bay ? [NETAPP VD-1000MB-FZ-520 0042] S/N [18084922] has no valid labels. It will be taken out of service to prevent possible data loss.”

b.在“Data Ontap – Storage – Disk”里显示这几张盘为Broken

c.做Aggregates时，会提示“at least 2 spare disks”

可以做如下操作来解决这个问题

>priv set diag
*>disk unfail -s v4.19 (where v4.19 is your disk,maybe 4.20,4.21…)
*>disk zero spares

2.模拟器：Netapp Simulator v7.1

3.模拟器使用文档：Netapp Simulator User Guide v7.1

[Original]NetAPP的负载均衡

Wed, 10 Mar 2010 13:37:41 +0000

NetAPP存储支持以下三种端口聚合方式：

a.single-mode 端口工作在active和standby状态，只有一个端口处于actvie状况。当active端口失效,系统自动从standby中选择一个端口成为active口。不需要交换机支持aggre，也不需要在交换机上做任何相关配置。所有端口具有相同的ＭＡＣ地址，实现最基本的链路冗余。

b.multi-mode(static) 与IEEE 802.3ad(static)兼容，所有端口处于active状态，具有相同的mac地址；能够检测端口的链路状态，但不能数据的丢失；交换机需要支持 LAC；;在multimode(包括static和dynamic)下，存储系统对outbound traffic支持三种load-balance算法:IP-based/MAC-based/Round robin;。

c.multi-mode(dynamic) 与IEEE 802.3ad(dynamic)兼容，即lLACP协议(cisco叫做PAgP)，所有端口均处于active状态，具有相同的mac地址。交换机需要支持LACP。在lacp下,vif接口必须配置为 first-level，并且LB应该配置为IP-based(这也是默认方式)；在lacp下，存储系统不仅能检测链路的丢失,还能检测数据流的丢失，因此该模式与HA环境相兼容。此种模式有其局限性，只能使用IP Balance算法。

三种load-balance算法的比较：

a. ip balance 根据来源IP动态负载均衡，得出的结果不会太平均。故障切换，会有一个丢包。在故障恢复后，会将流量重定向回该端口。

b. mac balance 多个不同mac地址的端口，平均分配负载。比较有意思的是，长期测试之后，会发现，其中接收包都集中在一个端口，发送包集中在另一个端口。在拔掉一个接口的情况下，另一个接口会接管所有流量。在网络断掉的一瞬间，会有一个丢包。

c. rr balance （Round-Robin Scheduling） 轮询调度算法的原理是每一次把来自用户的请求轮流分配给内部中的服务器，从1开始，直到N(内部服务器个数)，然后重新开始循环。适用于请求方软硬件条件和请求数差不多的情况。

d. port balance方式下，所有流量由两个端口均衡，得出的结果平均。在网络断掉的一瞬间，会有一个丢包。从端口和带宽利用率来考虑，这是最佳方式。

以上所说丢包，都是基于连续ping测试。

以下是IBM NS3600做VIF的一个实例

NTN3600B> ifconfig e0a down
NTN3600B> ifconfig e0b down
NTN3600B> ifconfig vif1 down
ifconfig: vif1: no such interface
NTN3600B> vif destroy vif1
vif1 is not a valid vifname
NTN3600B> vif create multi vif1 -b port e0a e0b
NTN3600B> ifconfig vif1 192.168.125.2
NTN3600B> ifconfig vif1 up
NTN3600B> ping 192.168.125.2
192.168.125.2 is alive

NTN3600B> vif stat vif1
Virtual interface (trunk) vif1
        e0b                 e0a
Pkts In   Pkts Out Pkts In   Pkts Out
1         83        66        23
0         3         3         0
1         5         4         0
0         4         4         0
0         4         4         0
0         4         4         0
0         4         4         0
0         4         4         0
0         4         4         0
0         4         4         0

NTN3600B> vif status
default: transmit ‘IP Load balancing’, VIF Type ‘multi_mode’, fail ‘log’
vif1: 2 links, transmit ‘IP+port Load balancing’, VIF Type ‘multi_mode’ fail ‘default’
         VIF Status     Up      Addr_set
        up:
        e0b: state up, since 10Mar2010 14:02:01 (00:02:45)
                mediatype: auto-1000t-fd-up
                flags: enabled
                input packets 2, input bytes 128
                output packets 131, output bytes 9414
                up indications 1, broken indications 0
                drops (if) 0, drops (link) 0
                indication: up at 10Mar2010 14:02:01
                        consecutive 164, transitions 1
        e0a: state up, since 10Mar2010 14:02:01 (00:02:45)
                mediatype: auto-1000t-fd-up
                flags: enabled
                input packets 113, input bytes 9006
                output packets 23, output bytes 1576
                up indications 1, broken indications 0
                drops (if) 0, drops (link) 0
                indication: up at 10Mar2010 14:02:01
                        consecutive 164, transitions 1

[Collection]Linux+subversion+apache+openssl部署

Mon, 25 Jan 2010 16:08:54 +0000

前几天通宵做完，已经投入使用了。还来不及做下总结，先Mark一下，占个位置，有空再编辑。

几个参考链接

http://subversion.tigris.org/ds/viewMessage.do?dsMessageId=2364143&dsForumId=445

http://blog.csdn.net/mynamesucks/archive/2007/12/03/1913835.aspx

http://blog.csdn.net/jlnuboy/archive/2009/10/25/4725140.aspx

[Collection]Patch For Oracle

Wed, 06 Jan 2010 12:16:27 +0000

■ Oracle Database常用补丁集Patch号

9.2.0.4 = 3095277
9.2.0.5 = 3501955
9.2.0.6 = 3948480
9.2.0.7 = 4163445
9.2.0.8 = 4547809（9i最终）
10.1.0.3 = 3761843
10.1.0.4 = 4163362
10.1.0.5 = 4505133
10.2.0.2 = 4547817
10.2.0.3 = 5337014
10.2.0.4 = 6810189

■ 下载链接，用metalink账号登陆，即可多线程下载

[Original]企业NAS存储方案设计和部署

Wed, 06 Jan 2010 03:22:24 +0000

一、硬件选择
存储系统，容易出现瓶颈的子系统，分别是网络、内存、磁盘，最不容易出现瓶颈的子系统为CPU。更多详情参照《服务器性能瓶颈分析》。

参考配置
CPU            双核酷睿处理器E7400,2.8GHz及以上
内存            2GB 内存, 1×1GB, 667MHz, DDR-2
硬盘            1000GB 3.5英寸, 7200RPM SATA 硬盘*3
网络适配器   Broadcom 5722 千兆以太网集成控制卡*2（或者同级别Intel系列）
Raid级别     Raid 5
管理系统      FreeNAS 0.69及以上

二、相关说明

■文件服务是关键服务，宕机一小时，都会有很大的压力，建议选择品牌服务器。

■Raid5不建议使用板载Raid，俗称BIOS Raid，功能不够完善。一个功能完善的Raid控制器，应该包括创建/删除，状态监控，故障恢复(Rebuild)功能，板载Raid一般缺乏后二者功能，采用此方案是相当冒险的。(注：Linux主要是使用dmraid 套件搭配 device-mapper 功能，来存取BIOS RAID硬盘。对Raid0和1支持较好)

因此，推荐外置SATA/SCSI Raid扩展卡。

■一定要上Raid5，最低要求是hdd×3，但还是建议插满阵列卡的所有slot。
●raid 5只保障了磁盘的安全；如果文件被删除了，怎么办？如果文件被清空保存了，又怎么办？
建议每天做备份（完全备份/增量备份），磁带或者远程都可以。

●如果文件系统撑满了怎么办？
建议上LVM，这是一项在企业级Unix上应用多年的管理机制了，相当成熟了。

●要兼顾安全和灵活，可以尝试SUN Solaris的ZFS文件系统，目前Solaris、FreeBSD、FreeNAS都已经支持该文件系统了，其中FreeBSD和FreeNAS的ZFS Support都还未release，建议要采用该文件系统的兄弟，直接上Solaris For x86或者OpenSolaris。ZFS文件系统占用内存稍大，建议上更大的内存。

■一定要多网卡冗余，单块G网卡有时候会在吞吐量大的时候假死。
多网卡捆绑一个IP，Intel已有软件可以实现，或者是交换机上面做端口捆绑。

■存储管理系统的话，如果有较好的*Nix基础，可以采用Linux或者FreeBSD做SoftRaid(mdadm套件)+LVM。 1U的机器的话，LVM就不用做了。1U机器最大只能塞下4张盘，1张放存储管理系统，只有3张可以用于Raid5，相当于实际上只有一个PV，实施LVM是没有什么意义的。

没有较好的*nix基础的话，推荐使用FreeNAS系统。这是一个定制过的FreeBSD系统，有友好的WEB管理界面，功能丰富。事实上，笔者也是用这个系统来管理存储的。

三、FreeNAS安装和配置
■配置手册
■过程截图

四、挂载和测试

■如果是使用iSCSI协议(支持*nix及Win系统)
■如果是使用NFS协议(只支持*nix系统)

五、其他参考

■Linux中建立和模拟raid故障 http://bbs.zdnet.com.cn/archiver/tid-199958.html
■FreeNAS中设置默认路由

配置文件方式
/etc/rc.conf
defaultrouter="10.20.30.1"
CLI方式
# route add default 10.20.30.1

df   -    文件系统的使用情况
dd     -     转换和输出数据
hdparm -    显示和设置硬盘参数
bonnie++ – 系统IO性能测试
iozone   - 系统IO性能测试

[Collection]How To Set Up Software RAID1 On A Running System

Thu, 24 Dec 2009 08:09:56 +0000

HowToForge上有篇很好的文章，这里就不累述了，详情参考

http://www.howtoforge.com/software-raid1-grub-boot-debian-etch

http://hi.baidu.com/enjoyunix/blog/item/4f152e3d820dfc0abba167ca.html

已在RHEL 5.3试验成功。

过程和日志看blog_raid_boot。

有一些稍微的不同，在调整的Ramdisk的时候

Debian系列：

#update-initramfs -u

RHEL系列：

#mv /boot/initrd-`uname -r`.img /boot/initrd-`uname -r`.img_orig

#mkinitrd /boot/initrd-`uname -r`.img `uname -r`