目前系统提供了分词、词性标注训练和测试功能,但是不提供训练语料
系统测试时支持多线程，默认设置为单线程使用，可在调用时设置thread参数来设置线程数
分词训练和测试命令可参考目录下的seg.train.sh和seg.test.sh文件
词性标注训练和测试命令可参考目录下的pos.train.sh和pos.test.sh文件
目前训练算法只提供Average Perceptron，后续将增加新的训练算法
在每次迭代的时候，都会保存当前模型，并使用开发集对当前模型进行性能测试，用户可根据训练的log文件直接选择性能最优的模型

在sample.java文件中是调用相关分词和词性标注程序的示例
所有输入输出文件均使用UTF-8编码

文件说明：
data目录：
(1)pos
	conll06.pos.dic：conll06训练语料中抽取的词性标注词典，词典获取的方法是将语料中出现次数大于等于3次的词语及相关词性保存为词典
	dev.conll06.pos.gold：conll06语料词性标注开发集gold文件，在训练的时候做为模型的性能评价文件
	test.conll06.seg：conll06语料词性标注测试集测试文件
	test.conll06.pos:conll06语料词性标注测试集gold文件
	pos.tran.sample：词性标注训练语料格式样例
（2）seg
	pku.seg.dic： 北大词典
	pku.test.gold：pku语料测试集gold文件
	pku.test：pku语料测试集文件
	seg.train.sample：分词训练语料格式样例
model目录：
	conll06.pos.model：使用conll06语料训练的词性标注模型，目前模型在开发集上的性能为94.3%，测试集性能为93.7%
	pku.seg.model：使用pku语料训练的分词模型，目前模型在测试集上分词性能： P: 96.36% R: 96.23% F：96.29%

lib目录：
	包含引用的jar包

config目录：
	存放相关的配置文件。目前只包含log4j的配置文件。

log目录：
	存放系统运行的log文件，词性标注日志文件为pos.log，分词日志文件为seg.log

程序中使用的词性标注特征：
词语的n_gram特征：	
	w_i (i = -2,-1,0,1,2)
	w_i,w_i+1 (i = -1,0)
	w_-1,w_1
词边界特征：
	last_char(w_-1)w_0
	first_char(w_0)w_1
	其中first_char和last_char表示词语的第一个和最后一个字
词前后缀信息：
	first_char(w_0)last_char(w_0)
	prefix(w_0,i) (i =1,2,3)
	suffix(w_0,i) (i = 1,2,3)
	prefix代表词长度为i的前缀，suffix代表词长度为i的后缀
词长度信息：
	len(w_0)
	词的长度大于五的时候，统一使用五表示
词典信息：
	postag_lexicon(w_0)
	表示词语在词典中的候选词性
叠字信息：
	词语中每一个字和词语中的第一个字的组合
	词语中的每一个字和词语的最后一个字的组合
	词语中的第i个字和第i+1个字是否相同
	词语中的第i个字和第i+2个字是否相同
词语类别信息：
	digit，letter，punctuation以及other

程序中使用的分词特征：
字符n_gram特征：
	c_i (i = -2,-1,-,1,2)
	c_i,c_i+1 (i = -2,-1,0,1)
	c_i,c_i+2 (i = -2,-1,0)
	c_i,c_i+1,c_i+2 (i = -1)
叠字信息：
	dup(c_i,c_i+1): c_i和c_i+1是否是相同字
	dup(c_i,c_i+2)： c_i和c_i+2是否是相同字
	chartype(c_0): c_0的字符类别，包括字母、标点、数字和其他
	prefix(c_0,D): 以c_0开始的在词典D中的最长前缀的长度
	middle(c_0,D): c_0位于中间的存在于词典中的最长子串的长度
	suffix(c_0,D): 以c_0结束的存在于词典中的最长后缀的长度