flyinweb's blog

ttserver 应用与部署

shanyiwan@live.com(flyinweb) — Fri, 18 May 2012 06:36:12 GMT

第一部分应用篇 -- 利用Tokyo Tyrant构建兼容Memcached协议、支持故障转移、高并发的分布式key-value持久存储系统

Tokyo Cabinet 是日本人平林幹雄开发的一款 DBM 数据库，该数据库读写非常快，哈希模式写入100万条数据只需0.643秒，读取100万条数据只需0.773秒，是 Berkeley DB 等 DBM 的几倍。

Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。

　　Tokyo Tyrant 加上 Tokyo Cabinet，构成了一款支持高并发的分布式持久存储系统，对任何原有Memcached客户端来讲，可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。这一点，跟新浪的Memcachedb性质一样。

相比Memcachedb而言，Tokyo Tyrant具有以下优势：

　　1、故障转移：Tokyo Tyrant支持双机互为主辅模式，主辅库均可读写，而Memcachedb目前支持类似MySQL主辅库同步的方式实现读写分离，支持“主服务器可读写、辅助服务器只读”模式。

　　这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器，是因为当 Memcache 客户端使用 addServer 服务器池时，是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的，PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制，当 addserver 了2台 Memcached 服务器，而其中1台宕机了，那么 current_server_num 会由原先的2变成1。

　　引用 memcached 官方网站和 PHP 手册中的两段话：

引用

http://www.danga.com/memcached/
If a host goes down, the API re-maps that dead host's requests onto the servers that are available.

http://cn.php.net/manual/zh/function.Memcache-addServer.php
Failover may occur at any stage in any of the methods, as long as other servers are available the request the user won't notice. Any kind of socket or Memcached server level errors (except out-of-memory) may trigger the failover. Normal client errors such as adding an existing key will not trigger a failover.

　　2、日志文件体积小：Tokyo Tyrant用于主辅同步的日志文件比较小，大约是数据库文件的1.3倍，而Memcachedb的同步日志文件非常大，如果不定期清理，很容易将磁盘写满。

　　3、超大数据量下表现出色：

　　但是，Tokyo Tyrant 也有缺点：在32位操作系统下，作为 Tokyo Tyrant 后端存储的 Tokyo Cabinet 数据库单个文件不能超过2G，而64位操作系统则不受这一限制。所以，如果使用 Tokyo Tyrant，推荐在64位CPU、操作系统上安装运行。

一、安装
　　1、首先编译安装tokyocabinet数据库

wget http://www.1978th.net/tokyocabinet/tokyocabinet-1.4.45.tar.gz
tar zxvf tokyocabinet-1.4.45.tar.gz
cd tokyocabinet-1.4.45/
./configure
#注：在32位Linux操作系统上编译Tokyo cabinet，请使用./configure --enable-off64代替./configure，可以使数据库文件突破2GB的限制。
#./configure --enable-off64
make
make install
cd ../

　　2、然后编译安装tokyotyrant

wget http://www.1978th.net/tokyotyrant/tokyotyrant-1.1.40.tar.gz
tar zxvf tokyotyrant-1.1.40.tar.gz
cd tokyotyrant-1.1.40/
./configure
make
make install
cd ../

二、配置
1、创建tokyotyrant数据文件存放目录

mkdir -p /ttserver/

2、启动tokyotyrant的主进程（ttserver）
(1)、单机模式

ulimit -SHn 51200
ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

(2)、双机互为主辅模式
　　服务器192.168.1.91：

ulimit -SHn 51200
ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 91 -mhost 192.168.1.92 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

　　服务器192.168.1.92：

ulimit -SHn 51200
ttserver -host 192.168.1.92 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 92 -mhost 192.168.1.91 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

(3)、参数说明
　　ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [dbname]

　　-host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
　　-port num : 指定需要绑定的端口号。默认端口号为1978
　　-thnum num : 指定线程数。默认为8个线程。
　　-tout num : 指定每个会话的超时时间（单位为秒）。默认永不超时。
　　-dmn : 以守护进程方式运行。
　　-pid path : 输出进程ID到指定文件（这里指定文件名）。
　　-log path : 输出日志信息到指定文件（这里指定文件名）。
　　-ld : 在日志文件中还记录DEBUG调试信息。
　　-le : 在日志文件中仅记录错误信息。
　　-ulog path : 指定同步日志文件存放路径（这里指定目录名）。
　　-ulim num : 指定每个同步日志文件的大小（例如128m）。
　　-uas : 使用异步IO记录更新日志（使用此项会减少磁盘IO消耗，但是数据会先放在内存中，不会立即写入磁盘，如果重启服务器或ttserver进程被kill掉，将导致部分数据丢失。一般情况下不建议使用）。
　　-sid num : 指定服务器ID号（当使用主辅模式时，每台ttserver需要不同的ID号）
　　-mhost name : 指定主辅同步模式下，主服务器的域名或IP地址。
　　-mport num : 指定主辅同步模式下，主服务器的端口号。
　　-rts path : 指定用来存放同步时间戳的文件名。

　　如果使用的是哈希数据库，可以指定参数“#bnum=xxx”来提高性能。它可以指定bucket存储桶的数量。例如指定“#bnum=1000000”，就可以将最新最热的100万条记录缓存在内存中：

ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tch#bnum=1000000

　　如果大量的客户端访问ttserver，请确保文件描述符够用。许多服务器的默认文件描述符为1024，可以在启动ttserver前使用ulimit命令提高这项值。例如：

ulimit -SHn 51200

3、停止tokyotyrant（ttserver）

ps -ef | grep ttserver

　　找到ttserver的进程号并kill，例如：

kill -TERM 2159

三、调用
1、任何Memcached客户端均可直接调用tokyotyrant。

2、还可以通过HTTP方式调用，下面以Linux的curl命令为例，介绍如何操作tokyotyrant：
　　(1)、写数据，将数据“value”写入到“key”中：

curl -X PUT http://127.0.0.1:11211/key -d "value"

　　(2)、读数据，读取“key”中数据：

curl http://127.0.0.1:11211/key

　　(3)、删数据，删除“key”：

curl -X DELETE http://127.0.0.1:11211/key

附：文章修改历史

　　● [2008年08月07日] [Version 1.0] 撰写本文

　　● [2008年10月16日] [Version 1.1] Tokyo Cabinet 版本升级到 1.3.12；Tokyo Tyrant 版本升级到 1.1.5

　　● [2008年12月04日] [Version 1.2] Tokyo Cabinet 版本升级到 1.3.22；Tokyo Tyrant 版本升级到 1.1.8

　　● [2008年07月06日] [Version 1.3] Tokyo Cabinet 版本升级到 1.4.28；Tokyo Tyrant 版本升级到 1.1.29

　　● [2010年06月11日] [Version 1.4] Tokyo Cabinet 版本升级到 1.4.45；Tokyo Tyrant 版本升级到 1.1.40；默认示例改为B+Tree数据库；增加32位Linux操作系统上编译Tokyo cabinet的configue配置。

第二部分部署篇 -- ttserver的几种部署方式

可以把ttserver理解成一种key-value形式的数据库，在运营中就像管理数据库一样去管理ttserver，使得性能和数据安全都能得到较好的保障。
部署ttserver的方式，可以根据访问量和数据规模循序渐进地这样部署：

1、单机：数据量不大，访问量不大
ttserver -host 192.168.0.100 -port 20001 -thnum 128 -dmn -ulim 1024m -ulog /home/ahfu/temp/test_data/test_ulog_01 -log /home/ahfu/temp/test_data/log/test_data_01.log -pid /home/ahfu/temp/test_data/log/test_data_01.pid -sid 1 /home/ahfu/temp/test_data/test_data_01.tch#bnum=10000000#rcnum=100000#xmsiz=256m
如果希望提高查询的性能，可以把hash的桶设置得再大些，然后缓存的记录多一些。
同时，设置-uas参数异步写入日志，可提高写入的性能。不过这样可能导致日志丢失，降低了数据安全性。

2、一主一备：数据量不大，访问量不大，且对数据安全性有要求
主服务器：(与上面一致)
ttserver -host 192.168.0.100 -port 20001 -thnum 128 -dmn -ulim 1024m -ulog /home/ahfu/temp/test_data/test_ulog_01 -log /home/ahfu/temp/test_data/log/test_data_01.log -pid /home/ahfu/temp/test_data/log/test_data_01.pid -sid 1 /home/ahfu/temp/test_data/test_data_01.tch#bnum=10000000#rcnum=100000#xmsiz=256m
备份服务器：在另一个机器上启动，不需要缓存
ttserver -host 192.168.0.101 -port 20002 -mhost 192.168.0.100 -mport 20001 -rcc -rts /home/ahfu/temp/test_data/test_data_01.rts -thnum 5 -dmn -ulim 1024m -ulog /home/ahfu/temp/test_data/test_ulog_02 -log /home/ahfu/temp/test_data/log/test_data_02.log -pid /home/ahfu/temp/test_data/log/test_data_02.pid -sid 2 /home/ahfu/temp/test_data/test_data_02.tch#bnum=10000000#rcnum=0#xmsiz=0m
备份服务器可以找性能不高的旧服务器，这种设置也只是为了保障数据安全而做的设置。

3、互为主备：数据量增大，访问量也增大，对数据安全有要求，且希望避免单点故障
第一个服务器：
ttserver -host 192.168.0.100 -port 20001 -mhost 192.168.0.101 -mport 20002 -rcc -rts /home/ahfu/temp/test_data/test_data_01.rts -thnum 128 -dmn -ulim 1024m -ulog /home/ahfu/temp/test_data/test_ulog_01 -log /home/ahfu/temp/test_data/log/test_data_01.log -pid /home/ahfu/temp/test_data/log/test_data_01.pid -sid 1 /home/ahfu/temp/test_data/test_data_01.tch#bnum=10000000#rcnum=100000#xmsiz=256m
第二个服务器：
ttserver -host 192.168.0.101 -port 20002 -mhost 192.168.0.100 -mport 20001 -rcc -rts /home/ahfu/temp/test_data/test_data_02.rts -thnum 128 -dmn -ulim 1024m -ulog /home/ahfu/temp/test_data/test_ulog_02 -log /home/ahfu/temp/test_data/log/test_data_02.log -pid /home/ahfu/temp/test_data/log/test_data_02.pid -sid 2 /home/ahfu/temp/test_data/test_data_02.tch#bnum=10000000#rcnum=100000#xmsiz=256m
应用程序可以访问任意一个服务器进行读写，且应用程序发现某服务器不能访问后，可立即转到另一台服务器。

4、读写分离：写量猛增，读量猛增
TokyoCabinet支持六种数据引擎，其中on-memory hash database和on-memory b+ database两种是将数据存放在内存中的，不对数据做持久化。
因此，可以使用on-memory hash database引擎的ttserver作为写服务器，然后采用复制的方式将on-memory hash database上的数据复制到hash database的多个ttserver上去，然后将多个hash database ttserver作为读服务器。这实际上是通过降低一致性来提高性能。
on-memory hash database的配置：缓存的记录数和内存都配置得很小
ttserver -host 192.168.0.99 -port 20000 -thnum 128 -dmn -ulim 1024m -ulog /data/home/game/temp/test_data/test_ulog_01 -log /data/home/game/temp/test_data/log/test_data_01.log -pid /data/home/game/temp/test_data/log/test_data_01.pid -sid 0 "*#bnum=10000000#capnum=100#capsiz=10m"
hash database ttserver 1 的配置：从on-memory hash database复制数据
ttserver -host 192.168.0.100 -port 20001 -mhost 192.168.0.99 -mport 20000 -rcc -rts /home/ahfu/temp/test_data/test_data_01.rts -thnum 128 -dmn -ulim 1024m -ulog /home/ahfu/temp/test_data/test_ulog_01 -log /home/ahfu/temp/test_data/log/test_data_01.log -pid /home/ahfu/temp/test_data/log/test_data_01.pid -sid 1 "/home/ahfu/temp/test_data/log/test_data_01.tch#bnum=10000000#rcnum=100000#xmsiz=256m"
hash database ttserver 2 的配置：从on-memory hash database复制数据
ttserver -host 192.168.0.101 -port 20002 -mhost 192.168.0.99 -mport 20000 -rcc -rts /home/ahfu/temp/test_data/test_data_02.rts -thnum 128 -dmn -ulim 1024m -ulog /home/ahfu/temp/test_data/test_ulog_02 -log /home/ahfu/temp/test_data/log/test_data_02.log -pid /home/ahfu/temp/test_data/log/test_data_02.pid -sid 2 "/home/ahfu/temp/test_data/log/test_data_02.tch#bnum=10000000#rcnum=100000#xmsiz=256m"
配置为读写分离后，客户端写入的时候连接on-memory hash database，读取的时候连接其他的ttserver。

5、客户端实现分布，分库：海量数据
数据量再大，靠几台服务器已经无法支撑的时候，分库仍然是无奈的选择。将数据按照业务划分，或者按照某一数值划分，存在在多个ttserver群集中去。
客户端程序在写入或者读取的时候，自动根据业务规则去访问对应的群集即可。

Name-Based VirtualHosts and SSL

shanyiwan@live.com(flyinweb) — Fri, 18 May 2012 03:33:23 GMT

Name-Based VirtualHosts and SSL

As a rule, it is impossible to host more than one SSL virtual host on the same IP address and port. This is because Apache needs to know the name of the host in order to choose the correct certificate to setup the encryption layer. But the name of the host being requested is contained only in the HTTP request headers, which are part of the encrypted content. It is therefore not available until after the encryption is already negotiated. This means that the correct certificate cannot be selected, and clients will receive certificate mismatch warnings and be vulnerable to man-in-the-middle attacks.

In reality, Apache will allow you to configure name-based SSL virtual hosts, but it will always use the configuration from the first-listed virtual host (on the selected IP address and port) to setup the encryption layer. In certain specific circumstances, it is acceptable to use a single SSL configuration for several virtual hosts. In particular, this will work if the SSL certificate applies to all the virtual hosts. For example, this will work if:

All the VirtualHosts are within the same domain, eg: one.example.com and two.example.com.
You have a wildcard SSL certificate for that domain (one where the Common Name begins with an asterix: i.e *.example.com)

Here is the config snippet for two SSL NameVirtualHost's, using a single wildcard SSL certificate. Remember that the SSL directives from the second virtual host will be ignored when setting up the initial SSL connection.

Listen 192.168.1.1:443
LoadModule ssl_module   modules/mod_ssl.so
SSLPassPhraseDialog     builtin
AcceptMutex             flock
SSLSessionCache         shmcb:/var/cache/httpd/mod_ssl/ssl_scache(512000)
SSLSessionCacheTimeout  300
SSLMutex                default
SSLRandomSeed           startup /dev/urandom  256
SSLRandomSeed           connect builtin
NameVirtualHost 192.168.1.1:443
<VirtualHost 192.168.1.1:443>
        SSLEngine on
        SSLCipherSuite ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP
        SSLCertificateFile      /etc/ssl/star.example.com.crt
        SSLCertificateKeyFile   /etc/ssl/star.example.com.key
        ServerName      "one.example.com"
        DocumentRoot    "/var/www/html/one"
        CustomLog       "/var/log/httpd/one-access.log" combined
        ErrorLog        "/var/log/httpd/one-error.log"
        <Directory /var/www/html>
                AllowOverride none
                Order Allow,Deny
                Allow from all
        </Directory>
</VirtualHost>
<VirtualHost 192.168.1.1:443>
        SSLEngine on
        SSLCipherSuite ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP
        SSLCertificateFile      /etc/ssl/star.example.com.crt
        SSLCertificateKeyFile   /etc/ssl/star.example.com.key
        ServerName      "two.example.com"
        DocumentRoot    "/var/www/html/two"
        CustomLog       "/var/log/httpd/two-access.log" combined
        ErrorLog        "/var/log/httpd/two-error.log"
        <Directory /var/www/html>
                AllowOverride none
                Order Allow,Deny
                Allow from all
        </Directory>
</VirtualHost>

In addition to this configuration, you should still be able to do the following:

SSL VirtualHost for a different domain (example2.com), as long as you use a different IP Address or port (i.e. one that is not used by the wildcard sites):

<VirtualHost 192.168.1.2:443>
ServerName www.example2.com
...
</VirtualHost>

NameVirtualHost <IP>:443 for a different domain (*.example2.com), where <IP> is different from the IP Address used for *.example.com

NameVirtualHost 192.168.1.2:443
<VirtualHost 192.168.1.2:443>
ServerName one.example2.com
...
</VirtualHost>
<VirtualHost 192.168.1.2:443>
ServerName two.example2.com
...
</VirtualHost>

However you cannot do the following:

SSL VirtualHost for a different ServerName (three.example2.com), where the IP address is the same as that used for *.example.com.

<VirtualHost 192.168.1.1:443>
ServerName three.example2.com
...
</VirtualHost>

SSL自签署证书生成脚本

shanyiwan@live.com(flyinweb) — Fri, 18 May 2012 03:29:30 GMT

启用 apache 的 mod_ssl 之后需要有证书才能正常运作。写了个脚本来操作。首先要确定机器上已经有 openssl 。

#!/bin/sh
#

# ssl 证书输出的根目录。
sslOutputRoot="/etc/apache_ssl"
if [ $# -eq 1 ]; then
sslOutputRoot=$1
fi
if [ ! -d ${sslOutputRoot} ]; then
mkdir -p ${sslOutputRoot}
fi

cd ${sslOutputRoot}

echo "开始创建CA根证书..."
#
# 创建CA根证书，稍后用来签署用于服务器的证书。如果是通过商业性CA如
# Verisign 或 Thawte 签署证书，则不需要自己来创建根证书，而是应该
# 把后面生成的服务器 csr 文件内容贴入一个web表格，支付签署费用并
# 等待签署的证书。关于商业性CA的更多信息请参见：
# Verisign - http://digitalid.verisign.com/server/apacheNotice.htm
# Thawte Consulting - http://www.thawte.com/certs/server/request.html
# CertiSign Certificadora Digital Ltda. - http://www.certisign.com.br
# IKS GmbH - http://www.iks-jena.de/produkte/ca /
# Uptime Commerce Ltd. - http://www.uptimecommerce.com
# BelSign NV/SA - http://www.belsign.be
# 生成CA根证书私钥
openssl genrsa -des3 -out ca.key 1024

# 生成CA根证书
# 根据提示填写各个字段, 但注意 Common Name 最好是有效根域名(如 zeali.net ),
# 并且不能和后来服务器证书签署请求文件中填写的 Common Name 完全一样，否则会
# 导致证书生成的时候出现
# error 18 at 0 depth lookup:self signed certificate 错误
openssl req -new -x509 -days 365 -key ca.key -out ca.crt
echo "CA根证书创建完毕。"

echo "开始生成服务器证书签署文件及私钥 ..."
#
# 生成服务器私钥
openssl genrsa -des3 -out server.key 1024
# 生成服务器证书签署请求文件, Common Name 最好填写使用该证书的完整域名
# (比如: security.zeali.net )
openssl req -new -key server.key -out server.csr
ls -altrh ${sslOutputRoot}/server.*
echo "服务器证书签署文件及私钥生成完毕。"

echo "开始使用CA根证书签署服务器证书签署文件 ..."
#
# 签署服务器证书，生成server.crt文件
# 参见 http://www.faqs.org/docs/securing/chap24sec195.html
# sign.sh START
#
# Sign a SSL Certificate Request (CSR)
# Copyright (c) 1998-1999 Ralf S. Engelschall, All Rights Reserved.
#

CSR=server.csr

case $CSR in
*.csr ) CERT="`echo $CSR | sed -e 's/\.csr/.crt/'`" ;;
* ) CERT="$CSR.crt" ;;
esac

# make sure environment exists
if [ ! -d ca.db.certs ]; then
mkdir ca.db.certs
fi
if [ ! -f ca.db.serial ]; then
echo '01' >ca.db.serial
fi
if [ ! -f ca.db.index ]; then
cp /dev/null ca.db.index
fi

# create an own SSLeay config
# 如果需要修改证书的有效期限，请修改下面的 default_days 参数.
# 当前设置为10年.
cat >ca.config <<EOT
[ ca ]
default_ca = CA_own
[ CA_own ]
dir = .
certs = ./certs
new_certs_dir = ./ca.db.certs
database = ./ca.db.index
serial = ./ca.db.serial
RANDFILE = ./ca.db.rand
certificate = ./ca.crt
private_key = ./ca.key
default_days = 3650
default_crl_days = 30
default_md = md5
preserve = no
policy = policy_anything
[ policy_anything ]
countryName = optional
stateOrProvinceName = optional
localityName = optional
organizationName = optional
organizationalUnitName = optional
commonName = supplied
emailAddress = optional
EOT

# sign the certificate
echo "CA signing: $CSR -> $CERT:"
openssl ca -config ca.config -out $CERT -infiles $CSR
echo "CA verifying: $CERT <-> CA cert"
openssl verify -CAfile ./certs/ca.crt $CERT

# cleanup after SSLeay
rm -f ca.config
rm -f ca.db.serial.old
rm -f ca.db.index.old
# sign.sh END
echo "使用CA根证书签署服务器证书签署文件完毕。"

# 使用了 ssl 之后，每次启动 apache 都要求输入 server.key 的口令，
# 你可以通过下面的方法去掉口令输入(如果不希望去掉请注释以下几行代码)：
echo "去除 apache 启动时必须手工输入密钥密码的限制:"
cp -f server.key server.key.org
openssl rsa -in server.key.org -out server.key
echo "去除完毕。"

# 修改 server.key 的权限，保证密钥安全
chmod 400 server.key

echo "Now u can configure apache ssl with following:"
echo -e "\tSSLCertificateFile ${sslOutputRoot}/server.crt"
echo -e "\tSSLCertificateKeyFile ${sslOutputRoot}/server.key"

# die gracefully
exit 0

Adding Vista Sidebar and Aero to Windows Server 2008 Desktop

shanyiwan@live.com(flyinweb) — Wed, 02 May 2012 05:56:06 GMT

Windows Sidebar
There are a number of cool gadgets for the Windows Sidebar that are useful on a server, so I really wanted to get the sidebar working on my Windows Server 2008 boxes. The solution is as follows.
1.Copy the "Windows Sidebar" folder from a Windows Vista SP1 installations Program Files folder that is the same architecture as the Windows Server 2008 box you intend to enable Windows Sidebar on. (i.e., if I'm running Windows Server 2008 64-bit, then I need to copy from a 64-bit Windows Vista SP1 installation.)
2.Copy the "Windows Sidebar" copy into the Program Files folder of the Windows Server 2008 installation. (If 64-bit Windows Server 2008, copy to the "Program Files" folder and NOT the "Program Files (x86)" folder.)
3.Run the following commands from a prompt with administrative credentials
o Regsvr32 atl.dll (如果引组件未注册，在注册下面的组件时，可能会出现类似错误：模块“C:\Program Files\windows sidebar\sbdrop.dll”已加载，但对 DllRegisterServer 的调用失败，错误代码为 0x8007007e。)
o regsvr32 "C:\Program Files\Windows Sidebar\sbdrop.dll"
o regsvr32 "C:\Program Files\Windows Sidebar\wlsrvc.dll"
o "C:\Program Files\Windows Sidebar\sidebar.exe" /RegServer
4.Copy the content of the Sidebar registry area from your Vista box to the 2008 box (HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Sidebar). The registry content is the same for 32-bit and 64-bit, so you can just paste the following into sidebar.reg and execute (by double clicking) to save any copying between machines.

Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Sidebar]
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Sidebar\Compatibility]
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Sidebar\Settings]
"SidebarDockedPartsOrder"="0x1,0x2,0x3,0x4

5.We can now launch sidebar with the "C:\Program Files\Windows Sidebar\sidebar.exe" command.
6.Sidebar will launch, and now access the Properties of Sidebar (right click on a blank area of sidebar and select Properties) and check the "State Sidebar when Windows starts" option.

Adding Vista Sidebar and Aero to Windows Server 2008 Desktop

Do the following steps in your target Windows Server 2008 x64 box.

To get the sidebar,

From a Vista SP1 x64, copy in the content of C:\Program Files\Windows Sidebar. And place the folder in the same location.
Run sidebar.exe /regserver
Register (regsvr32) the 2 sidebar dlls, sbdrop.dll and wlsrvc.dll
Clone the sidebar registry settings of the Vista box, HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Sidebar\Settings, to the target Windows Server 2008 registry.
Run C:\Program Files\Windows Sidebar\Sidebar.exe to bring up the sidebar and set the properties to start Siderbar when Windows starts.

Now to get the Aero, assuming your graphic card is sufficient

In Server Manager, add Desktop Experience feature.
In Services applet, set the service, Themes, to autostart.
In Personalization, set Theme to Windows Vista and Windows Colors and Appearance to Aero.

Then spend the next hour to add/remove all the gadgets you like/dislike, which is the fun part. After all is done, here's what a Windows Server 2008 desktop may look like.

Convert your Windows Server 2008 to a Workstation!

1. Download the zip-package with files needed to use the Vista Sidebar. If you use the 32bit version of Server 2008, download Windows Sidebar.zip from Rapidshare or 4shared. If you use the 64bit version of Server 2008 download Windows Sidebar x64.zip from Rapidshare or 4shared. The files inside this package are taken from a clean installation of Windows Server 2008 x86/x64 BETA 3 where the Windows Sidebar is still included when installing the Desktop Experience Feature. It is also possible to just copy the C:\Program Files\Windows Sidebar\ folder from an other Vista SP1 installation.

2. Open Windows Sidebar (x64).zip and in the toolbar click Extract all files. Click the Browse button, expand Computer –> Local Disk (C:), and click Program Files. Select your destination by clicking OK.

3. Your Extract Compressed (Zipped) Folders window will now look like this. Click Extract to extract the files and folders of Windows Sidebar (x64).zip to your C:\Program Files directory.

4. After the extraction has completed, click Run in the Start menu and enter the following command: "C:\Program Files\Windows Sidebar\sidebar.exe" /RegServer. You won’t see anything happen but in the background the SideBar is being installed. To enable the automatic installation of custom gadgets, also run the commands regsvr32 "C:\Program Files\Windows Sidebar\sbdrop.dll" and regsvr32 "C:\Program Files\Windows Sidebar\wlsrvc.dll".

5. Once again open the Run dialog by clicking Start –> Run, now enter: "C:\Program Files\Windows Sidebar\sidebar.exe", and click OK. The taskbar will now show up! Let’s configure that it will automatically start with Windows Server 2008!

6. To configure it to automatically start with Windows right click the SideBar icon in the system tray and click Properties.

7. Check the box Start Sidebar when Windows starts, then click OK. Your taskbar is now fully functioning! You can add Gadgets by right clicking Add Gadgets in the systemtray icon menu or remove them by clicking Close Gadget in the contextmenu of a Gadget. To get help with installing gadgets go to the post Installing Custom Gadgets.

Troubleshooting

Question: I get a Open File- Security Warning message dialog every time I start Windows.

Answer: Follow these steps to remove this message.

1. Browse via My Computer to C:\Program Files\Windows Sidebar\, right clicksidebar.exe and click Properties.

2. In the General tab click Unblock, then click Apply and/or OK. Now you won’t see that message again!

coreseek 安装测试说明文档

shanyiwan@live.com(flyinweb) — Wed, 02 May 2012 02:34:54 GMT

简介

1.1 什么是Sphinx/Coreseek

Sphinx是一个在GPLv2下分发的全文检索引擎；Coreseek 是一个可供企业使用的、基于Sphinx（可独立于Sphinx原始版本运行）的中文全文检索引擎，按照GPLv2协议发行，商业使用（例如, 嵌入到其他程序中）需要获得商业授权。

一般而言，Sphinx是一个独立的全文搜索引擎；而Coreseek是一个支持中文的全文搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的中文全文搜索能力。Sphinx/Coreseek可以非常容易的与SQL数据库和脚本语言集成。

当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从管道标准输入读取入特定格式的XML数据。通过修改源代码，用户可以自行增加新的数据源（例如：其他类型的DBMS的原生支持）。在最新的版本中，用户还可以使用Python脚本作为数据源来获取任何已知世界和未知世界的数据，这极大的扩展了数据源的来源。

搜索API支持PHP、Python、Perl、Rudy和Java，并且也可以用作MySQL存储引擎。搜索API非常简单，可以在若干个小时之内移植到新的语言上。

Sphinx 是SQL Phrase Index的缩写，但不幸的和CMU的Sphinx项目重名。

1.2. Sphinx/Coreseek 的特性

高速的建立索引(在当代CPU上，峰值性能可达到10 MB/秒);
高性能的搜索(在2 – 4GB 的文本数据上，平均每次检索响应时间小于0.1秒);
可处理海量数据(目前已知可以处理超过100 GB的文本数据, 在单一CPU的系统上可处理100 M 文档);
提供了优秀的相关度算法，基于短语相似度和统计（BM25）的复合Ranking方法;
支持分布式搜索;
提供文档片段（摘要以及高亮）生成功能;
可作为MySQL的存储引擎提供搜索服务;
支持布尔、短语、词语相似度等多种检索模式;
文档支持多个全文检索字段(缺省配置下，最大不超过32个);
文档支持多个额外的属性信息(例如：分组信息，时间戳等);
停止词查询;
支持单一字节编码和UTF-8编码，以及对GBK和BIG5的完善支持;
支持英语、俄语词词干化和Soundex，以便进行词形学处理;
原生的MySQL支持(同时支持MyISAM 和InnoDB );
原生的PostgreSQL 支持;
支持直接模拟为MySQL服务端运行;
支持MMSeg分词引擎，用户可自定义词典;
Python数据源支持，得以获取任何已知世界和未知世界的数据.

1.3. 如何得到Sphinx/Coreseek

Sphinx原始版本可以从Sphinx官方网站 http://www.sphinxsearch.com/，Coreseek可以从Coreseek官方网站 http://www.coreseek.cn/下载.

目前，Sphinx/Coreseek的发布包包括如下软件:

indexer: 用于创建全文索引;
search: 一个简单的命令行(CLI) 的测试程序，用于测试全文索引;
searchd: 一个守护进程，其他软件可以通过这个守护进程进行全文检索;
sphinxapi: 一系列searchd 的客户端API 库，用于流行的Web脚本开发语言(PHP, Python, Perl, Ruby, Java).
spelldump: 一个简单的命令行工具，用于从 ispell 或 MySpell (OpenOffice内置绑定) 格式的字典中提取词条。当使用 wordforms 时可用这些词条对索引进行定制.
indextool: 工具程序，用来转储关于索引的多项调试信息。此工具是从版本Coreseek 3.1(Sphinx 0.9.9-rc2)开始加入的。
mmseg: 工具程序和库，Coreseek用于提供中文分词和词典处理。

注：以下安装测试在Cent OS 5.x(5.4/5.6/5.8)x86、x86_64下环境测试通过

一、基础安装：
##完成后：提供xml数据源支持，中文检索支持
##
# wget http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.13.tar.gz
# tar xzvf coreseek-3.2.13.tar.gz

#cd coreseek-3.2.13
##确保可以正常显示，否则请检查当前环境的locale配置，以及当前环境或者客户端已设置好支持UTF-8中文字符显示
# cat testpack/var/test/test.xml

*******************************************************************************************
##安装coreseek开发的mmseg，为coreseek提供中文分词功能
# cd mmseg-3.2.13
[root@localhost mmseg-3.2.13]# ./bootstrap
+ aclocal -I config
config/sys_siglist.m4:20: warning: underquoted definition of SIC_VAR_SYS_SIGLIST
run info '(automake)Extending aclocal'
or see http://sources.redhat.com/automake/automake.html#Extending-aclocal
config/sys_errlist.m4:20: warning: underquoted definition of SIC_VAR_SYS_ERRLIST
config/readline.m4:20: warning: underquoted definition of SIC_WITH_READLINE
aclocal:configure.in:26: warning: macro `AM_PROG_LIBTOOL' not found in library
+ libtoolize --force --copy
./bootstrap: line 24: libtoolize: command not found
+ autoheader
+ automake --add-missing --copy
src/Makefile.am:37: Libtool library used but `LIBTOOL' is undefined
src/Makefile.am:37:
src/Makefile.am:37: The usual way to define `LIBTOOL' is to add `AC_PROG_LIBTOOL'
src/Makefile.am:37: to `configure.in' and run `aclocal' and `autoconf' again.
+ autoconf
configure.in:26: error: possibly undefined macro: AM_PROG_LIBTOOL
If this token and others are legitimate, please use m4_pattern_allow.
See the Autoconf documentation.

上面出错
./bootstrap: line 24: libtoolize: command not found
*******************************************************************************************
[root@localhost mmseg-3.2.13]# yum install libtool
[root@localhost mmseg-3.2.13]# ./bootstrap
[root@localhost mmseg-3.2.13]# ./configure --prefix=/usr/local/mmseg3
...

------------------------------------------------------------------------
Configuration:

Source code location:       .
Compiler:                   gcc
Compiler flags:             -g -O2
Host System Type:           x86_64-redhat-linux-gnu
Install path:               /usr/local/mmseg3

See config.h for further configuration information.
------------------------------------------------------------------------

[root@localhost mmseg-3.2.13]# make
[root@localhost mmseg-3.2.13]# make install

##安装完成后，mmseg使用的词典和配置文件，将自动安装到/usr/local/mmseg3/etc中

##中文分词测试，如果显示不正常，请检查当前环境下的locale和UTF-8中文字符显示设置
[root@localhost mmseg-3.2.13]# /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc src/t1.txt
中文/x 分/x 词/x 测试/x
中国人/x 上海市/x

Word Splite took: 1 ms.

#安装coreseek：
# cd ../csft-3.2.13
***************************************************************************************************
##执行configure，进行编译配置：
# ./configure --prefix=/usr/local/coreseek --without-python --without-mysql --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/
# make
# make install

##配置测试，测试是否可以正确运行
# /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx-min.conf.dist
##以下为正常测试时的提示信息：
    Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
    Copyright (c) 2007-2010,
    Beijing Choice Software Technologies Inc (http://www.coreseek.com)

     using config file '/usr/local/coreseek/etc/sphinx-min.conf.dist'...
    total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
    total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg

##至此，coreseek基础环境可以正常安装，我们可以开始后续的工作啦。
***************************************************************************************************

二、数据源支持：支持MySQL数据源
##重新编译安装coreseek，以支持mysql数据源和xml数据源
# make clean
[root@localhost csft-3.2.13]# yum install libxml2-devel expat-devel
# ./configure --prefix=/usr/local/coreseek --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql
# ./configure --prefix=/usr/local/coreseek --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql --with-mysql-includes=/usr/local/mysql/include/mysql/ --with-mysql-libs=/usr/local/mysql/lib/mysql/
##以上configure参数请正确拷贝，不要遗漏或者随意修改

# make过程中如果出现如下错误（方法二通过）
#如果出现undefined reference to `libiconv'的类似错误，可以按照如下方法处理：
方法一：（Linux使用）
#直接执行：export LIBS="-liconv"
##然后再次configure后，进行编译安装
#方法二：
#首先configure，然后vim src/makefile
#在其中搜索lexpat，在其后加上 -liconv
#修改后该行应该为：-lexpat -liconv -L/usr/local/lib
#然后再次make
#方法三：
#首先configure，然后vim config/config.h
#在其中搜索USE_LIBICONV，将其后的1修改为0
#然后再次make
#

# make
# make install

三、coreseek中文全文检索测试
[root@localhost csft-3.2.13]# cd ../testpack/
*******************************************************************************************
[root@localhost testpack]# /usr/local/coreseek/bin/indexer -c etc/csft.conf
/usr/local/coreseek/bin/indexer: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directory

[root@localhost csft-3.2.13]# /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx-min.conf.dist
/usr/local/coreseek/bin/indexer: error while loading shared libraries: libiconv.so.2: cannot open shared object file: No such file or directory
*******************************************************************************************
# 连接对应的文件（注意操作系统版本）
# cd /usr/lib64
[root@localhost lib64]# ln -s /usr/local/mysql/lib/mysql/libmysqlclient.so.16
[root@localhost lib64]# ln -s /usr/local/lib/libiconv.so.2

[root@localhost testpack]# /usr/local/coreseek/bin/indexer -c etc/csft.conf
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)

using config file 'etc/csft.conf'...
total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg

[root@localhost testpack]# /usr/local/coreseek/bin/indexer -c etc/csft.conf --all
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)

using config file 'etc/csft.conf'...
indexing index 'xml'...
WARNING: source 'xml': xmlpipe2 support NOT compiled in. To use xmlpipe2, install missing XML libraries, reconfigure, and rebuild Sphinx
ERROR: index 'xml': failed to configure some of the sources, will not index.
total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
没有安装一些依赖包

[root@localhost testpack]# /usr/local/coreseek/bin/indexer -c etc/csft.conf xml
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)

using config file 'etc/csft.conf'...
indexing index 'xml'...
collected 3 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 3 docs, 7585 bytes
total 0.010 sec, 699723 bytes/sec, 276.75 docs/sec
total 2 reads, 0.000 sec, 4.2 kb/call avg, 0.0 msec/call avg
total 7 writes, 0.000 sec, 3.1 kb/call avg, 0.0 msec/call avg

[root@localhost testpack]# /usr/local/coreseek/bin/search -c etc/csft.conf
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)

using config file 'etc/csft.conf'...
index 'xml': query '': returned 3 matches of 3 total in 0.006 sec

displaying matches:
1. document=1, weight=1, published=Thu Apr 1 22:20:07 2010, author_id=1
2. document=2, weight=1, published=Thu Apr 1 23:25:48 2010, author_id=1
3. document=3, weight=1, published=Thu Apr 1 12:01:00 2010, author_id=2

words:

[root@localhost testpack]# /usr/local/coreseek/bin/search -c etc/csft.conf -a Twittter和Opera都提供了搜索服务
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)

using config file 'etc/csft.conf'...
index 'xml': query 'Twittter和Opera都提供了搜索服务 ': returned 3 matches of 3 total in 0.021 sec

displaying matches:
1. document=3, weight=24, published=Thu Apr 1 12:01:00 2010, author_id=2
2. document=1, weight=4, published=Thu Apr 1 22:20:07 2010, author_id=1
3. document=2, weight=3, published=Thu Apr 1 23:25:48 2010, author_id=1

words:
1. 'twittter': 1 documents, 3 hits
2. '和': 3 documents, 15 hits
3. 'opera': 1 documents, 25 hits
4. '都': 2 documents, 4 hits
5. '提供': 0 documents, 0 hits
6. '了': 3 documents, 18 hits
7. '搜索': 2 documents, 5 hits
8. '服务': 1 documents, 1 hits

# /usr/local/coreseek/bin/searchd -c etc/csft.conf
##以下为正常开启搜索服务时的提示信息：
    Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
    Copyright (c) 2007-2010,
    Beijing Choice Software Technologies Inc (http://www.coreseek.com)

using config file 'etc/csft.conf'...
listening on all interfaces, port=9312
##如要停止搜索服务，请使用/usr/local/coreseek/bin/searchd -c etc/csft.conf --stop
##如要已启动服务，要更新索引，请使用/usr/local/coreseek/bin/indexer -c etc/csft.conf --all --rotate

四、参考资源：
1. http://www.coreseek.cn/products/products-install/install_on_bsd_linux/

2. Sphinx 0.9.9/Coreseek 3.2 参考手册

httpd configure error: APR not found

shanyiwan@live.com(flyinweb) — Mon, 23 Apr 2012 07:28:45 GMT

症状：

Cent OS安装httpd-2.4.2时出错：

configure: error: APR not found

背景：

Compiling and Installing Requirements

The following requirements exist for building Apache httpd:

APR and APR-Util: Make sure you have APR and APR-Util already installed on your system. If you don't, or prefer to not use the system-provided versions, download the latest versions of both APR and APR-Util from Apache APR, unpack them into ./srclib/apr and ./srclib/apr-util (be sure the domain names do not have version numbers; for example, the APR distribution must be under ./srclib/apr/) and use ./configure's --with-included-apr option. On some platforms, you may have to install the corresponding -dev packages to allow httpd to build against your installed copy of APR and APR-Util.
Perl-Compatible Regular Expressions Library (PCRE): This library is required but not longer bundled with httpd. Download the source code from http://www.pcre.org, or install a Port or Package. If your build system can't find the pcre-config script installed by the PCRE build, point to it using the --with-pcre parameter. On some platforms, you may have to install the corresponding -dev package to allow httpd to build against your installed copy of PCRE.
Disk Space: Make sure you have at least 50 MB of temporary free disk space available. After installation the server occupies approximately 10 MB of disk space. The actual disk space requirements will vary considerably based on your chosen configuration options, any third-party modules, and, of course, the size of the web site or sites that you have on the server.
ANSI-C Compiler and Build System: Make sure you have an ANSI-C compiler installed. The GNU C compiler (GCC) from the Free Software Foundation (FSF) is recommended. If you don't have GCC then at least make sure your vendor's compiler is ANSI compliant. In addition, your PATH must contain basic build tools such as make.
Accurate time keeping: Elements of the HTTP protocol are expressed as the time of day. So, it's time to investigate setting some time synchronization facility on your system. Usually the ntpdate or xntpd programs are used for this purpose which are based on the Network Time Protocol (NTP). See the NTP homepage for more details about NTP software and public time servers.
Perl 5 [OPTIONAL]: For some of the support scripts like apxs or dbmmanage (which are written in Perl) the Perl 5 interpreter is required (versions 5.003 or newer are sufficient). If you have multiple Perl interpreters (for example, a systemwide install of Perl 4, and your own install of Perl 5), you are advised to use the --with-perl option (see below) to make sure the correct one is used by configure. If no Perl 5 interpreter is found by the configure script, you will not be able to use the affected support scripts. Of course, you will still be able to build and use Apache httpd.

解决办法：

1、下载软件

http://apr.apache.org/download.cgi

# wget http://apache.etoak.com//apr/apr-1.4.6.tar.gz
# wget http://apache.etoak.com//apr/apr-util-1.4.1.tar.gz

2、安装

1） apr

# tar zxvf apr-1.4.6.tar.gz
# cd apr-1.4.6
# ./configure --prefix=/usr
# make
# make install

2） apr-util

# tar zxvf apr-util-1.4.1.tar.gz
# cd apr-util-1.4.1
# ./configure --prefix=/usr --with-apr=/usr/bin/apr-1-config
# make && make install

PowerShell:How to Batch Change File Extensions

shanyiwan@live.com(flyinweb) — Mon, 16 Apr 2012 14:10:49 GMT

#Rename-FileExtension.ps1 Function Rename-FileExtension($path,$oldExtension, $newExtension) { Get-ChildItem -path $path -Filter $oldExtension | Foreach-Object { if($_.extension.length -gt 0) { $baseName = $_.name.remove($_.name.length - $_.extension.length) } ELSE { $baseName = $_.name } Rename-Item -Path $_.fullname -newname ($baseName + $newExtension) } } #end functionp Rename-FileExtension -path "C:\download\" -oldExtension "*.php" -newExtension ".htm"

How to free memory and drop caches

shanyiwan@live.com(flyinweb) — Mon, 16 Apr 2012 03:05:09 GMT

Kernels 2.6.16 and newer provide a mechanism to have the kernel drop the page cache and/or inode and dentry caches on command, which can help free up a lot of memory. Now you can throw away that script that allocated a ton of memory just to get rid of the cache…

To use /proc/sys/vm/drop_caches, just echo a number to it.

To free pagecache:

# echo 1 > /proc/sys/vm/drop_caches

To free dentries and inodes:

# echo 2 > /proc/sys/vm/drop_caches

To free pagecache, dentries and inodes:

echo 3 > /proc/sys/vm/drop_caches

As this is a non-destructive operation and dirty objects are not freeable, the user should run “sync” command first!

正确识别五类双绞线

shanyiwan@live.com(flyinweb) — Fri, 13 Apr 2012 07:43:47 GMT

随着快速以太网标准的推出和实施，五类双绞线开始广泛地应用于网络布线。但是由于个别厂商和网络公司在宣传上的误导，以及部分网络用户对有关标准缺乏必要的了解，致使在选用五类双绞线时真假难辨，不知所措。然而，一旦选用了不符合标准的五类双绞线，一方面会使网络整体性能下降，另一方面为将来网络的升级埋下了隐患。本文结合技术和应用，介绍标准五类双绞线的正确识别方法。

为了让大家对双绞线有个较全面的了解，我们先来介绍双绞线的常见类型及特性。计算机局域网中的双绞线可分为非屏蔽双绞线(UTP)和屏蔽双绞线(STP) 两大类：STP外面由一层金属材料包裹，以减小辐射，防止信息被窃听，同时具有较高的数据传输速率，但价格较高，安装也比较复杂;UTP无金属屏蔽材料，只有一层绝缘胶皮包裹，价格相对便宜，组网灵活。除某些特殊场合(如受电磁辐射严重、对传输质量要求较高等)在布线中使用STP外，一般情况下我们都采用 UTP。现在使用的UTP可分为3类、4类、五类和超五类四种。其中：3类UTP适应了以太网(10Mbps)对传输介质的要求，是早期网络中重要的传输介质;4类UTP因标准的推出比3类晚，而传输性能与3类UTP相比并没有提高多少，所以一般较少使用;五类UTP因价廉质优而成为快速以太网 (100Mbps)的首选介质;超五类UTP的用武之地是千兆位以太网(1000Mbps)。根据目前网络布线的实际需要，本文主要介绍五类UTP的正确识别和选择方法。

1.传输速度
双绞线质量的优劣是决定局域网带宽的关键因素之一。某些厂商在五类UTP电缆中所包裹的是3类或4类UTP中所使用的线对，这种制假方法对一般用户来说很难辨别。这种所谓的“五类UTP”无法达到100Mbps的数据传输率，最大为10Mbps或16Mbps。一个简单的鉴别办法是用一条双绞线连接两台 100Mbps的设备(网卡到网卡或网卡到HUB)，通信时用Windows 95/98自带的monitor检测工具对其数据传输率进行监测。方法为:①选择“开始→程序→附件→系统工具→系统监视器”，将出现“系统监视器”窗口。如果在“系统工具”中没有“系统监视器”工具时，可通过“我的电脑→添加/删除程序→Windows安装程序→系统工具→系统监视器”建立。②在“系统监视器”窗口中设置监视对象。选择“编辑”菜单中的“添加项目”选项，在出现的对话框的“类别”列表中选择“Microsoft网络服务器”或 “Microsoft网络客户”(注意:在保证网络连接正常的情况下)，在下一个对话框中选择“写入的字节数/秒”或“读取的字节数/秒”。至于选择 “Microsoft网络服务器”或“Microsoft网络客户”，还是“写入的字节数/秒”或“读取的字节数/秒”，读者可任意选择，因为在网络中一个节点发送出的数据应该等于另一个节点接收到的数据。③设置测试数据的输出方式。系统提供了折线图、条形图和数字图三种输出方式，可通过窗口工具栏内的按钮来选择。④进行测试。最有效的办法是从服务器向你进行测试的工作站上拷贝大量的文件(为了测试的准确性，所拷贝的内容一定要足够多)。一般来说，显示的峰值数值在4M/s以上，就基本可以肯定是五类网线了(3类线所能达到的峰值数值大约为2.5M/s)。

2.电缆中双绞线对的扭绕应符合要求
为了降低信号的干扰，双绞线电缆中的每一线对都是由两根绝缘的铜导线相互扭绕而成，而且同一电缆中的不同线对具有不同的扭绕度(就是扭绕线圈的数量多少)，如图3所示。同时，标准双绞线电缆中的线对是按逆时针方向进行扭绕。但某些非正规厂商生产的电缆线却存在许多问题:①为了简化制造工艺，电缆中所有线对的扭绕密度相同;②线对中两根绝缘导线的扭绕密度不符合技术要求;③线对的扭绕方向不符合要求。如果存在以上问题，将会引起双绞线的近端串扰(指 UTP中两线对之间的信号干扰程度)，从而使传输距离达不到要求。双绞线的扭绕度在生产中都有较严格的标准，实际选购时，在有条件的情况下可用一些专业设备进行测量，但一般用户只能凭肉眼来观察。需说明的是，五类UTP中线对的扭绕度要比三类密，超五类要比五类密。
除组成双绞线线对的两条绝缘铜导线要按要求进行扭绕外，标准双绞线电缆中的线对之间也要按逆时针方向进行扭绕。否则将会引起电缆电阻的不匹配，限制了传输距离。这一点一般用户很少注意到。有关五类双绞线电缆的扭绕度和其他相关参数，有兴趣的读者可查阅TIA/EIA 568A(TIA/EIA 568是ANSI于1996年制定的布线标准，该标准给出了网络布线时有关基础设施，包括线缆、连接设备等的内容。字母“A”表示为IBM的布线标准，而AT&T公司用字母“B”表示。)中的具体规定。

3.五类双绞线应该是多少对？
以太网在使用双绞线作为传输介质时只需要2对(4芯)线就可以完成信号的发送和接收。在使用双绞线作为传输介质的快速以太网中存在着三个标准： 100Base-TX、100Base-T2和100Base-T4。其中：100Base-T4标准要求使用全部的4对线进行信号传输，另外两个标准只要求2对线。而在快速以太网中最普及的是100Base-TX标准，所以你在购买100M网络中使用的双绞线时，不要为图一点小便宜去使用只有2个线对的双绞线。在美国线缆标准(AWG)中对3类、4类、五类和超五类双绞线都定义为4对，在千兆位以太网中更是要求使用全部的4对线进行通信。所以，标准五类线缆中应该有4对线。

4.仔细观察
在具备了以上知识后，识别五类UTP时还应注意以下几点：①查看电缆外面的说明信息。在双绞线电缆的外面包皮上应该印有像“AMP SYSTEMS CABLE……24AWG……CAT5”的字样，表示该双绞线是AMP公司(最具声誉的双绞线品牌)的五类双绞线，其中24AWG表示是局域网中所使用的双绞线，CAT5表示为五类；此外还有一种NORDX/CDT公司的IBDN标准五类网线，上面的字样就是“IBDN PLUS NORDX/CDX……24 AWG……CATEGORY 5”，这里的“CATEGORY 5”也表示五类线(CATEGORY是英文“种类”的意思)。笔者曾经用过一箱没有标明类别的所谓五类线，经实测只能达到3类线的标准;②是否易弯曲。双绞线应弯曲自然，以方便布线;③电缆中的铜芯是否具有较好的韧性。为了使双绞线在移动中不致于断线，除外皮保护层外，内部的铜芯还要具有一定的韧性。同时为便于接头的制作和连接可靠，铜芯既不能太软，也不能太硬，太软不易接头的制作，太硬则容易产生接头处断裂;④是否具有阻燃性。为了避免受高温或起火而引起的线缆损坏，双绞线最外面的一层包皮除应具有很好的抗拉特性外，还应具有阻燃性(可以用火来烧一下测试:如果是正品，胶皮会受热松软，不会起火;如果是假货，一点就着)。为了降低制造成本，非标准双绞线电缆一般采用不符合要求的材料制作电缆的包皮，不利于通信安全。

双绞线分为屏蔽双绞线STP（Shielded Twisted-Pair）和非屏蔽双绞线UTP（Unshielded wisted-Pair）。屏蔽双绞线STP与非屏蔽双绞线UTP 的差异在于在双绞线和外皮之间增加了一个铅箔屏蔽层，目的是提高双绞线的抗干扰性能，其价格是非屏蔽双绞线UTP的一倍以上，主要是用于安全性要求比较高的网络环境中，如军事网络、股票网络等，而且使用屏蔽双绞线STP的网络为了达到屏蔽的效果，要求所有的插口和配套设施均需使用屏蔽的设否则就达不到真正的屏蔽效果，所以整个网络的造价会比使用非屏蔽双绞线UTP的网络高出很多，因此从性价比和可维护性出发，大多数局域网使用非屏蔽双绞线UTP。UTP是最普通的一种铜质电话线，用于连接家庭、公司和电话公司之间的普通铜线。UTP非屏蔽双绞线具有如下特点：

(1) 无屏蔽外套,直径小,节省所占用的空间

(2) 重量轻、易弯曲、易安装

(3) 将串扰减至最小或加以消除

(4) 具有阻燃性

(5) 具有独立性和灵活性,适用于结构化综合布线

为了降低信号的干扰程度（使电磁辐射和外部电磁干扰减到最小），电缆中的每一对双绞线一般是由两根绝缘铜导线相互扭绕而成，每根线加绝缘层并有色标来标记，双绞线也因此而得名。在EIA／TIA－568标准中，将UTP按电气特性分为3类、4类、5类、超5类、6类、7类线，5类以下的双绞线传输速度较慢已经很少用了，一般购买5类以上的线。5类线
上标有CAT5字样，而超5类线上标有5e字样。3类线里的线是二对四根，5类线里的线是四对八根。目前局域网中常用到的双绞线一般都是非屏蔽的5类4对（即8根导线）的电缆线。随着传输介质的发展，近年来在局域网中又出现了超5类双绞线。超5类双绞线属非屏蔽双绞线，与普通5类双绞线比较，超5类双绞线在传送信号时衰减更小，抗干扰能力更强，所以被认为是“为将来应用提供的解决方案”。双绞线视频传输一般采用非屏蔽双绞线UTP中的5类线或超5类双绞线。

双绞线由8种（橙白、橙、绿白、蓝、蓝白、绿、棕白、棕）不同颜色的线分成4对绞合在一起。成对扭绞的作用是尽可能减少电磁辐射与外部电磁干扰的影响。在EIA／TIA布线标准中规定了双绞线的两种线序568A与568B。

568A标准：　　绿白—１，绿—２，橙白—３，蓝—４，蓝白—５，橙—６，棕白—７，棕—８　　

568B标准：　　橙白—１，橙—２，绿白—３，蓝—４，蓝白—５，绿—６，棕白—７，棕—８

（注：这里的1、2、3、4、5、6、7、8分别是指RJ-45水晶头上引脚序号）

　为了保证最佳的兼容性，普遍采用EIA／TIA 568B标准来制作网线。当然，在两端都有RJ-45插口的网络中，连线无论是采用568A标准，还是568B标准，在网络中都是可行的。但双绞线的线序与RJ-45水晶头的引脚序号要一一对应。

直通线与交叉线的区别

　　正线，即直通线，（标准568B）：两端线序一样，从左至右线序是：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。
　　反线，即交叉线，（标准568A）：一端为正线的线序，另一端为从左至右：白绿，绿，白橙，蓝，白蓝，橙，白棕，棕。
　　以下是各种设备的连接情况下，正线和反线的正确选择。其中HUB代表集线器，SWITCH代表交换机，ROUTER代表路由器：
　　PC-PC:反线
　　PC-HUB:正线
　　HUB-HUB普通口:反线
　　HUB-HUB级连口-级连口：反线
　　HUB-HUB普通口-级连口：正线
　　HUB-SWITCH:反线
　　HUB(级联口）-SWITCH:正线
　　SWITCH-SWITCH:反线
　　SWITCH-ROUTER:正线
　　ROUTER-ROUTER:反线
　　100BaseT连接双绞线，以100Mb/S的EIA/TIA 568B作为标准规格。

Informix dbaccess 常用执行方式及常见技巧

shanyiwan@live.com(flyinweb) — Fri, 13 Apr 2012 06:37:25 GMT

假设：

A.数据库servername： testserver

B.数据库名：testdb

C.SQL脚本文件：

sqlfile.sql

create table test_table(c1 integer);  
insert into test_table(c1) values(12);  
update test_table set c1=0;  
delete test_table where 1=1;  
drop table test_table;

sqlfile2.sql

create table test_table(c1 integer);  
insert into test_table(c2) values(12);  
insert into test_table(c1) values(12);  
update test_table set c1=0;  
delete test_table where 1=1;  
drop table test_table;

--------------------------------------------------------------------------------

一、执行SQL脚本文件方式

1.调用dbaccess执行SQL脚本文件

A、简单执行SQL文件

$ dbaccess testdb sqlfile.sql

或者

$ dbaccess testdb@testserver sqlfile.sql

Database selected.
Table created.
1 row(s) inserted.
1 row(s) updated.
1 row(s) deleted.
Table dropped.
Database closed.

B、执行输出打印执行语句及执行结果

$ dbaccess -e testdb sqlfile.sql

create table test_table(c1 integer);
Table created.
insert into test_table(c1) values(12);
1 row(s) inserted.
update test_table set c1=0;
1 row(s) updated.

delete test_table where 1=1;
1 row(s) deleted.

drop table test_table;
Table dropped.
Database closed.

C、将执行结果重定向到文件(shell: bash)

$ dbaccess -e testdb sqlfile.sql > output.log > 2&1

$ cat output.log

create table test_table(c1 integer);
Table created.
insert into test_table(c1) values(12);
1 row(s) inserted.
update test_table set c1=0;
1 row(s) updated.

delete test_table where 1=1;
1 row(s) deleted.

drop table test_table;
Table dropped.
Database closed.

二、交互模式执行语句

$ dbaccess - -
> database testdb;

Database selected.

> create table test_table(c1 integer);
Table created.

> insert into test_table(c1) values(12);
1 row(s) inserted.
> update test_table set c1=0;
1 row(s) updated.

> delete test_table where 1=1;
1 row(s) deleted.

> drop table test_table;
Table dropped.

>^D

$ dbaccess dbname << !

select count(*) from systables ;

select count(*) from systables;

三、菜单模式执行

进入数据库

dbaccess 选择数据库

或者

dbaccess testdb

dbaccess testdb@testserver

按菜单操作执行SQL语句,其中可以使用vi进行脚本文件的编辑

四、几个小技巧

1、执行SQL脚本文件时，当出错时打印详细的错误信息

dbaccess -e -m testdb sqlfile2.sql

Database selected.

create table test_table(c1 integer);
Table created

insert into test_table(c2) values(1212);
217: Column (c2) not found in any table in the query (or SLV is undefined).
Error in line 2
Near character position 26

insert into test_table(c1) values(12);
1 row(s) inserted.
update test_table set c1=0;
1 row(s) updated.
delete test_table where 1=1;
1 row(s) deleted.
drop table test_table;
Table dropped.
Database closed.

2、执行SQL脚本文件时，当出错时打印详细的错误信息并在出现第一个错误时，停止继续执行后续的语句

$ dbaccess -e -m -a testdb sqlfile2.sql

Database selected.

create table test_table(c1 integer);
Table created.

insert into test_table(c2) values(1212);
217: Column (c2) not found in any table in the query (or SLV is undefined).
Error in line 2
Near character position 26

Database closed.

3、使用shell操作dbaccess

$ cat IfxSQLGet.sh

################################################## #功能:执行 Informix SQL语句并返回一行结果 #参数:<数据库名称> <SQL语句> #返回:查询结果的第一列第一行 #说明:如果运行过程有错误会打印错误信息 ################################################## if [ $# -ne 2 ] then echo "[$0][参数:<数据库名称> <SQL语句>]" return fi DB=$1 SQL=$2 DBAccessPath=~informix/bin/dbaccess #产生消息临时文件名 TmpName=`date +%Y%m%d%H%M%S` TmpName=`echo $TmpName|awk 'BEGIN{srand(int(rand()*1000000))} {print $0"_"int(rand()*100000000)}'` MsgFile="/tmp/"$TmpName"_Msg.txt" OutFile="/tmp/"$TmpName"_Out.txt" #执行SQL语句 echo $SQL | $DBAccessPath $DB 1>$OutFile 2>$MsgFile #判断执行是否成功 ConnDBOK=`awk 'BEGIN{cnt=0} !/^$/{ if($0=="Database selected.") cnt++; if($0=="Database closed.") cnt++;} END{ if(cnt==2) print 1 else print 0 }' $MsgFile` if [ $ConnDBOK -eq 0 ] then #连接数据库不成功，打印错误信息 ConnDBErr=`awk '!/^$/{ if($0!="Database selected." || $0=="Database closed.") print "(" $0 ")"; }' $MsgFile` echo "["$0"]["$DB"]["$SQL"]["$ConnDBErr"]" rm -f $MsgFile rm -f $OutFile return else ExecDBOK=`awk 'BEGIN{cnt=0} $1~/[0-9]:/{cnt++;} END{ if(cnt==0) print 1; else print 0; }' $MsgFile` if [ $ExecDBOK -eq 0 ] then #执行语句不成功，打印错误信息 ExecDBErr=`awk '$1~/[0-9]:/{print "(" $0 ")"}' $MsgFile` echo "["$0"]["$DB"]["$SQL"]["$ExecDBErr"]" rm -f $MsgFile rm -f $OutFile return fi fi #判断返回数据的格式 HeadRows=`head -3 $OutFile|awk 'BEGIN{Rows=0} /^$/{Rows+=1} END{print Rows}'` case $HeadRows in 2) #垂直显示 awk 'NR==5{print $1}' $OutFile ;; 3) #水平显示 awk 'NR==4{print $2}' $OutFile ;; *) echo "["$0"]["$DB"]["$SQL"][无法识别查询结果]" cat $OutFile ;; esac rm -f $MsgFile rm -f $OutFile

$ cat OptLogInf.sh

################################################## #功能:打印操作日志 #参数:<日志文件名> <日志内容> ################################################## if [ $# -ne 2 ] then echo "[$0][参数:<日志文件名> <日志内容>]" return fi StrNow=`date "+%Y-%m-%d %H:%M:%S"` echo "["$StrNow"]"$2 >> $1

$ cat demo.sh

#[demo.sh] #一般来讲，在shell dbaccess代码段中不能象存储过程中那样使用判断语句，因此只能顺 #序执行 #以下示例通过调用IfxSQLGet.sh实现在Shell中调用 dbaccess 也可以使用判断语句，则时 #调用 ./OptLogInf.sh 记录操作日志 LogFile=./demo.log OutFile=./demo.unl DB="test" SQL="select count(*) from systables where tabname='tabtest'" Tabs=`./IfxSQLGet.sh "$DB" "$SQL"` ./OptLogInf.sh "$LogFile" "[demo.sh示例开始]\n\n" #注意，在 dbaccess 代码段中的!不能缩进 if [ $Tabs -eq 0 ] then #表未创建 dbaccess $DB 1>>$LogFile 2>>$LogFile <<! !./OptLogInf.sh "$LogFile" "未创建表，现在创建..." create table tabtest ( f1 int, f2 char(10) ); !./OptLogInf.sh "$LogFile" "创建表完毕" ! else #表已创建 dbaccess $DB 1>>$LogFile 2>>$LogFile <<! !./OptLogInf.sh "$LogFile" "表已创建，删除数据..." delete from tabtest; !./OptLogInf.sh "$LogFile" "删除数据完毕" ! fi dbaccess $DB 1>>$LogFile 2>>$LogFile <<! !./OptLogInf.sh "$LogFile" "插入数据..." insert into tabtest(f1,f2) values(1,'aaa'); insert into tabtest(f1,f2) values(2,'bbb'); insert into tabtest(f1,f2) values(3,'ccc'); !./OptLogInf.sh "$LogFile" "导出数据到[$OutFile]..." unload to $OutFile select * from tabtest; !./OptLogInf.sh "$LogFile" "导出结束" ! ./OptLogInf.sh "$LogFile" "[Demo4.sh示例结束]\n\n"

4、截取dbaccess操作日志

dbaccess -e test <<! > logfile.log 2>&1 select * from table; !

5、 informix的shll函数及其使用示例
#!/bin/sh #查数据库的函数selectDB，及其使用示例 nameDB="nameDB" #数据库名 logDir="$HOME/log" #日志文件目录 if [ ! -d "$logDir" ];then mkdir -p $logDir fi logFile="$logDir/selectDB.log" #日志文件名 :>$logFile #清日志 #查数据库的函数 #input:sqlStr #output: dataFile 数据文件名 # 0 -- OK 1 -- ERROR #注意: # 1.需要informix的dbaccess支持 # 2.需要定义外部变量nameDB(数据库名)、logFile(日志文件名)并赋值 # 3.取数据是从文件[dataFile=`selectDB $sqlStr`]读取，一行数据为一条记录，字段以"|"分隔 selectDB() { #检查相关变量有没有值 if [ "$nameDB" = "" ];then echo "<ERROR>数据库名nameDB=[$nameDB]外部变量没有赋值!" exit 1; fi if [ "$logFile" = "" ];then echo "<ERROR>日志文件名logFile=[$logFile]外部变量没有赋值!" exit 1; fi _sqlStr="$*" if [ "$_sqlStr" = "" ];then echo "<ERROR>[$0]没有传入参数SQL查询语句![示例: $0 SQLstring]" exit 1; fi #临时目录 _tmpDir="$HOME/tmp/selectDB" if [ ! -d "$_tmpDir" ];then mkdir -p $_tmpDir fi #将双引号替换成单引号 _sqlStr=`echo $_sqlStr | sed "s/\"/\'/g"` _nowDir="`pwd`" #保存当前路径 cd $_tmpDir _dataFile="data" #取唯一文件名 i=0 _tmpStr="$_dataFile" while [ -f "${_tmpStr}_$$.txt" ] do i=`expr $i + 1` _tmpStr="${_dataFile}$i" done _dataFile="${_tmpStr}_$$.txt" echo "\n\n==================查数据库===================" >> $logFile echo "sqlStr:[$_sqlStr]\ndataFile:[$_dataFile]" >> $logFile echo "unload to $_dataFile $_sqlStr" | dbaccess $nameDB>> $logFile 2>&1 _dataFile="$_tmpDir/$_dataFile" if [ ! -f $_dataFile ];then echo "<ERROR>数据文件[$_dataFile]不存在!" >> $logFile echo "-------------------------------------------" >> $logFile return 1 fi echo " OVER--------------------dbaccess-----------------------OVER" >> $logFile cd $_nowDir echo "$_dataFile" return 0 } #SQL语句 sqlStr="select first 10 unique id,name from tableName where name like '429006%';" dataFile="`selectDB $sqlStr`" if [ $? -ne 0 ];then echo "<ERROR>程序运行出错!请查看日志[$logFile]" exit 1; fi lineNum=`cat $dataFile | wc -l` lineNum=`expr $lineNum` #去空格 echo "查出的数据条数[$lineNum]" #列出数据 i=0 while [ $i -lt $lineNum ] do i=`expr $i + 1` lineData=`sed -n "${i}p" $dataFile` if [ "$lineData" = "" ];then echo "<ERROR>第($i)行数据是空的!" break; fi id=`echo $lineData | awk -F"|" '{print $1}'` name=`echo $lineData | awk -F"|" '{print $2}'` echo "第[$i]条记录: 保单号=[$id],险种=[$name]" done echo "<日志>[$logFile]"