本书综合介绍了现代语音处理的研究与进展。内容包括语音学基础、方法及应用，是一本论述现代语音处理的专著。 全书共分8章。第1章概述语音处理研究的问题和方向；第2章介绍数字信号处理和语音信号处理基础。第3章从工程的角度出发简单介绍了语音基础知识和语料库有关内容；第4章介绍语音编码的算法和国际标准；第5章介绍语音合成的原理和文语转换系统；第6章介绍语音识别基础；第7章介绍可视语音和汉语视位；第8章介绍典型语音系统及其应用。语音信号处理是计算机应用的重要研究方向。本书主要介绍语音信号处理的基础知识以及相关的新方法和新技术。 本书内容精心挑选，叙述深入浅出、基础理论和实际应用并重。本书可供语音处理和相关学科的研究生和本科生作为教材，也可作为研究人员和工程技术人员的参考书。第1章 绪论 1
1.1 言语过程 2
1.2 语音技术的研究范围 3
1.3 数字信号处理与数字语音信号
处理 4
第2章 语音信号处理基础 5
2.1 数字信号处理基础 5
2.1.1 离散时间信号与系统 5
2.1.2 离散傅立叶变换 7
2.1.3 Z变换 8
2.1.4 离散余弦变换 10
2.1.5 卷积和滤波 11
2.2 语音信号产生模型 14
2.2.1 语音的产生机理 14
2.2.2 级联声管模型 17
2.2.3 语音生成模型 22
2.3 语音信号的时域处理 23
2.3.1 语音信号的抽样和量化 23
2.3.2 语音信号的短时 分析和预处理 24
2.3.3 短时能量、短时平均幅度 和短时平均过零率 26
2.3.4 语音的端点检测 27
2.3.5 短时自相关函数 29
2.3.6 短时基音周期估计 30
2.4 语音信号的频谱分析 32
2.4.1 短时傅立叶变换和语谱图 32
2.4.2 同态信号处理的基本原理 34
2.4.3 复倒谱和倒谱 35
2.5 语音信号的线性预测编码分析 37
2.5.1 线性预测的基本原理 38
2.5.2 线性预测方程组的解法 40
2.5.3 线谱对参数 45
2.6 语音信号的矢量量化 47
2.6.1 矢量量化的基本原理 47
2.6.2 失真测度 49
2.6.3 量化器和码本的设计 50
2.6.4 量化系统的复杂度控制 52
2.7 听觉特性和语音感知 54
2.7.1 听阈与听域 55
2.7.2 音调(pitch) 55
2.7.3 响度级、响度与遮掩效应 56
第3章 语音基础知识与语料库 58
3.1 语音基础知识 58
3.1.1 国际音标 58
3.1.2 音素的分类和特点 58
3.2 汉语的特点 62
3.2.1 汉语拼音方案 63
3.2.2 汉语音素及其分类 65
3.3 汉语的音节 66
3.4 汉语的声调 70
3.4.1 汉语的声调的特点 70
3.4.2 声调的标记 71
3.4.3 声调的声学特性 72
3.4.4 动态声调 75
3.5 汉语的语调 78
3.5.1 关于语调 78
3.5.2 语调的模式 78
3.6 语音语料库 79
3.6.1 概述 79
3.6.2 语音语料库的设计与建设 81
3.6.3 TIMIT 87
3.7 基于语料库的语音学研究 92
3.7.1 声学参数的统计分析 93
3.7.2 音节聚类研究 96
3.7.3 音域模型初探 100
第4章 语音编码 107
4.1 语音编码基础 107
4.1.1 信息论基础 107
4.1.2 语音编码分类 108
4.1.3 语音编码与其他语音 处理领域 109
4.2 语音编码的评价方法和依据 110
4.2.1 语音编码的评价方法 110
4.2.2 语音编码的评价依据 112
4.3 波形编码及其国际标准 113
4.3.1 标量量化 113
4.3.2 瞬时压扩 116
4.3.3 自适应差值脉冲编码 117
4.3.4 G.721-32 kbps自适应差值脉 冲编码调制(ADPCM) 119
4.4 参数编码与混合编码 124
4.4.1 编码参数及其量化 125
4.4.2 LPC-10声码器 126
4.4.3 编码结构的改进 129
4.4.4 低延时CELP 16 kbps 语音编码标准 131
4.4.5 G.723.1双速率多媒体通信 传输语音编码器 137
4.5 码本设计与生成 150
4.5.1 G.728激励码本 151
4.5.2 G.729激励码本 152
4.6 感知编码 154
4.6.1 感知编码原理 155
4.6.2 感知编码算法 158
第5章 语音合成 166
5.1 语音合成研究的历史和现状 167
5.2 语音合成方法 168
5.2.1 共振峰合成 169
5.2.2 波形拼接合成 174
5.3 TTS系统的文本分析和韵律 预测 180
5.3.1 文本分析概述 180
5.3.2 文档结构分析 184
5.3.3 文本规范化(text normalization) 186
5.3.4 语法分析 190
5.3.5 韵律分析 201
5.3.6 字音转换 203
5.3.7 小结 205
5.4 韵律建模 206
5.4.1 韵律的描述 206
5.4.2 韵律与句法 214
5.4.3 韵律建模 215
5.5 文语转换系统 222
5.5.1 汉语TTS系统 Sonic 223
5.5.2 基于大语料库的TTS 系统 225
5.5.3 基于匹配代价函数的 基元选取 227
5.5.4 权重的设定和训练 229
5.6 语音合成技术展望 230
第6章 语音识别 232
6.1 语音识别基础 232
6.1.1 语音识别基本原理 233
6.1.2 语音识别分类 233
6.2 特征表示与提取 234
6.2.1 LPC倒谱系数(LPCC) 234
6.2.2 Mel频率倒谱系数 (MFCC) 236
6.2.3 特征提取的具体问题 238
6.3 模板匹配技术 239
6.3.1 相似性度量 239
6.3.2 动态时间规整(DTW) 240
6.3.3 特征模板训练 242
6.4 隐马尔可夫模型(HMM) 244
6.4.1 HMM基本概念与原理 245
6.4.2 前向概率与后向概率 247
6.4.3 HMM模型的三个问题 249
6.4.4 HMM模型的训练 252
6.4.5 HMM求解具体问题 258
6.4.6 HMM的结构和类型 260
6.4.7 HMM模型相似性比较 262
6.5 孤立词及连接词识别 262
6.5.1 孤立词识别 262
6.5.2 HMM模型参数选择 264
6.5.3 HMM模型参数训练—— 分段K均值算法 264
6.5.4 连接词识别 265
6.6 连续语音识别 268
6.6.1 连续语音识别整体模型 269
6.6.2 声学模型 269
6.6.3 语言模型 272
6.7 说话人识别 273
6.7.1 说话人识别的基本原理 与系统性能评价 274
6.7.2 说话人识别的特征选择 276
6.7.3 说话人识别的基本方法 278
第7章 可视语音 282
7.1 概述 282
7.2 看得见的语音 283
7.2.1 语音波形图 283
7.2.2 语谱图 284
7.2.3 可视发音器官的运动 286
7.3 视位 288
7.3.1 视位的定义 288
7.3.2 视位的参数表示方法 289
7.3.3 视位的非参数表示方法 290
7.3.4 汉语视位 294
7.4 动态视位模型 296
7.4.1 基于权值融合的动 态视位模型 296
7.4.2 视位数据的自动提取 298
7.4.3 动态视位模型的参数 估计 302
7.5 文本-可视语音转换 303
7.5.1 基于参数控制的方法 304
7.5.2 基于数据驱动的方法 306
7.6 机器自动唇读 308
7.6.1 视觉特征 308
7.6.2 实现方法 308
7.7 双模态语音识别 310
7.7.1 双模态信息融合的时间 311
7.7.2 双模态信息的同步 311
7.7.3 确定双模态信息的 融合权重 312
7.8 音视频映射 313
7.8.1 语音特征选取 314
7.8.2 基于矢量量化分类 的方法 314
7.8.3 基于混合高斯模型的 方法 315
7.8.4 基于神经网络的方法 316
7.8.5 基于隐马尔可夫模型 的方法 317
7.8.6 基于支持向量回归的 方法 317
第8章 系统与应用 321
8.1 多模态三语种分布式口语 对话系统ISIS 321
8.1.1 概述 321
8.1.2 对KQML软件代理的 授权 325
8.1.3 ISIS中的多模态 327
8.1.4 小结 330
8.2 人机口语对话系统与应用 330
8.2.1 口语对话系统 330
8.2.2 清华大学校园导游 系统EasyNav 336
8.2.3 电话航班订票与信息查询 系统EasyFlight 341
8.3 炎黄之声语音合成服务器 SinoSonic 346
8.3.1 语音合成服务器概述 347
8.3.2 语音合成服务器体系 结构 347
8.3.3 SinoSonic语音合成 服务器的应用 350
8.3.4 Monternet(移动梦网)统一消息 平台语音技术应用TTS 352
8.3.5 TTS在其他领域的应用和 今后的工作 353
8.4 IBM语音解决方案简介 353
8.4.1 桌面听写机系统(ViaVoice Desktop) 354
8.4.2 电话语音识别系统(ViaVoice Telephony) 355
8.4.3 嵌入式ViaVoice技术 356
8.4.4 WebSphere Voice Server 356
