智能语音识别技术在临床医疗的应用研究与实践

中国卫生信息管理

doi:10.3969/j.issn. 1672-5166.2019.02.022

CHINESE JOURNAL OF HEALTH INFORMATICS AND MANAGEMENT

智能语音识别技术在临床医疗的

应用研究与实践

李金苗①⋯李⋯鹏①②⋯刘庆金①⋯陈军伟①⋯辛海燕⋯①△

文章编号：1672-5166（2019)02-0218-04 中图分类号：R-34 ；R319 文献标志码：A

摘 要 聚焦研究语音识别技术在临床医疗领域的探索与应用，基于医疗人工智能技术和大数据分析技术，提出了医疗领域智能语音识别软硬件一体的解决方案，并介绍了智能语音技术在青岛大学附属医院的应用效果。

关键词 人工智能 语音识别 医院 大数据

Research and Practice of Intelligent Speech Recognition Technology in Clinical ApplicationLI Jinmiao, LI Peng, LIU Qingjin, CHEN Junwei, XIN Haiyan

The Affiliated Hospital Of Qingdao University, Qingdao 266003, Shandong, China

Abstract This paper focuses on the development and application of speech recognition technology in medical field, proposes an integrated solution of hardware and software for intelligent speech recognition based on artificial intelligence and big data analysis technology in medical field. The application effects in the affiliated hospital of Qingdao University are introduced.

Key words artificial intelligence; speech recognition; hospital; big data

0 引言

随着医院信息化建设的不断完善，医院整体运行效率得到明显提升，临床业务总量不断增长，医务人员的工作负荷也随之加重。工作量的增加，迫使医生将大量精力用在书写文书上。比如：放射科阅片后医师书写检查报告、病房医生书写病程记录、门诊医生书写门诊病历等，都占用医生大量的时间[1]。为医生提供高效率的撰写工具是医疗信息化建设者急需解决的问题。人工智能技术的发展，带动了智能语音识别技术从理论走向应用，借助语音识别技术，突破传统医疗报告输入或记录模式的限制。用语音录入代替键盘输入，可以明显提高医生书写电子病历等文书的效率，降低工作强度[2]。

基金项目：山东省智慧矿山信息技术重点实验室开放基金子课题（项目编号：2018-1）基于医疗大数据的临床路径挖掘与优化研究① 青岛大学附属医院，青岛市，266003

② 山东科技大学计算机科学与工程学院，青岛市，266500作者简介：李金苗（1987—），女，硕士，工程师；研究方向：结构化电子病历，智能语音识别；E-mail：289302695@qq.com 通信作者： 辛海燕（1973—），女，本科，主任，高级工程师；研究方向：数字化医院，信息管理等；E-mail:935872485@qq.com△通信作者

218

Chinese Journal of Health Informatics and Management, Apr. 2019, Vol.16, No.2 中国卫生信息管理杂志2019年4月第16卷第2期

APPLICATION OF NEW TECHNOLOGY新技术应用1 语音识别技术在医疗领域中的应用

1.1 国外应用情况

语音识别技术已经在美国等西方国家成功运用到医院放射科、病理科、急诊室等部门中。临床中使用语音识别录入的比例已达到20%以上，并明显降低医生工作强度，提高工作效率，降低了医院日常运作成本。美国Nuance公司的英语语音识别技术及电脑辅助病历抄写系统，将患者看病状况口述下来，存成语音档案，再直接传送到语音识别服务器。它使处理病历的时间从原本的5天，降到低于1个小时。自2003年以来，该方案已替某医学中心节省数千万美元。 皇家飞利浦电子公司已推出面向医疗保健领域的语音识别系统SpeechMagic，并且已经有500多家医疗报告解决方案，供应商无缝整合SpeechMagic，实现医疗行业的语音—文本转换。此外，西门子医疗系统集团针对维也纳Kaise Franz Josef医院提供的个性化客户解决方案中，成功借助语音识别系统，优化了该院的医疗护理工作，该院医护人员提交报告的时间由原来的10.5小时减少到6.5小时，节省了38%的工作量[3]。

1.2 国内应用探索

当前，中文语音识别技术已经取得快速发展，它能够让机器通过识别和理解过程把语音信号转变为相应的文本或命令。中文语音识别引擎已经可以将诊断医师口述的语音转换成准确度高、完全格式化的初步文件，再快速加以核对、编辑，不需要医生将资料逐字键入电脑，就能轻松地把资料转换成电子档案。语音识别技术的临床应用将大大节约医生的宝贵时间，从总体上提高医院收容病人的能力，缩短病人的无效等待时间，提高病人的就诊满意度[3]。

2 技术原理

语音识别技术是指将人说话的语音信号转换为可被计算机程序所识别的信息，如同给计算机安装上“耳朵”，能识别人说话的内容及语音指令的技术[4]。一个完整的语音识别过程主要包括语音特征提取、声学模型

和模式匹配、语言模型以及语言处理4个部分。语音识别技术原理见图1。

图1 语音识别技术原理

智能语音识别技术能让声音在秒级时间内变成文字。在这个极短的时间内，机器内的语音识别系统经历了一个极为复杂的分析和处理过程[5]。首先，当用户说话时，目标语音被数字化并送入系统的前端模块，前端模块主要包含语音信号处理和语音特征处理2部分。信号处理部分是为了改善识别效果，降低环境噪声、信道畸变等因素的影响；语音特征处理是将输入的语音进行某种符合语音识别需求的“转换”，即让机器听懂“人话”。其次，在确定了上述语音特征处理等规则之后，接下来就是进行模型训练。模型训练包括声学模型训练和语言模型训练，即教会机器学会“哪个字词发什么音”“该怎么连在一起读”， 以及“什么样的命令或文字组合是合理的”。如果想要提高语音的识别率和准确率，需要让机器在没有人工干预的情况下，进行无监督模型训练，在用户使用机器时，机器会结合用户个性化的发音特点，优化模型，提升识别率[6]。

3 系统设计

在医疗行业建设智能语音识别系统，除了要解决语音识别技术的通用问题，还要保障系统能够听懂医疗用语以及适应医疗环境，这就需要为系统建立医疗领域语言模型，以及有系统的自学习机制，让系统越来越聪

219

中国卫生信息管理杂志2019年4月第16卷第2期 Chinese Journal of Health Informatics and Management, Apr. 2019, Vol.16, No.2

中国卫生信息管理

CHINESE JOURNAL OF HEALTH INFORMATICS AND MANAGEMENT

明。同时，还要保护患者信息安全，3.1 建立医疗领域语言模型

方便医务人员使用等[5]。系统整体为了保障语音识别系统在医设计架构见图2。

院应用中的效果，需要建立起垂直

图2 系统架构

医疗行业的知识库语言模型。该医或不理想的词汇和句子进行手工修学知识语言模型所涵盖的范围要改，系统会自动记录该操作行为，足够广，能够针对疾病的症状、体并以此作为反馈数据，即训练数征、诊断、处理等内容进行分类处据，交付“自学习引擎”，进行学理。在智能语音识别系统建库过程习和优化，从而完善识别模型，使中，通过对大量医疗文本资料进行系统在使用过程中越来越聪明，越分类、检索等处理，并参考大量医来越完善。为了解决医生的口音问疗专家意见，从而使定制语音模型题，智能语音识别系统采用了无监覆盖了各个科室常用的病症、药品督自适应技术。医生正常使用系统名称、操作步骤等关键信息，显著过程中，在医生无感知、系统无需提升了语音识别的准确率[7]。

人工干预的情况下，让系统对医生3.2 基于自学习模式的识别的识别率持续提高，从而有效地解率提升

决了医生的口音问题。智能语音识别系统的自学习机制是针对特定科智能语音识别系统建立“自学室、特定用户的学习，这就排除了习机制”，以提高语音识别率和个科室间、用户间的习惯冲突和相互性化水平。用户使用语音录入时，干扰，使得系统能够更加智能和个系统自动将极少数无法识别的专业性化[8-9]。

词汇存入知识库，作为对通用“医疗领域语言模型”的补充和完善手3.3 基于分布式计算平台的段。在下次语音录入时能自动识别，效率提升

从而提高识别率。医务人员在使为了训练出高精度的声学模型用语音录入过程中，针对识别错误

和语言模型，需要大量的训练数据

220

作为支撑。随着系统投入临床使用，积累的训练数据量迅速飙升。为提高系统响应性能，本系统采用分布式计算来支撑高性能。其基本思路是：把语音识别计算任务分成多个子任务并行处理，把识别引擎分成若干个功能独立的模块，通过定义模块之间的交互接口，使分布在网络各处的功能模块协同工作，共同完成语音识别任务，提高语音识别系统整体性能，包括系统响应时间与语音识别准确度等。

3.4 患者信息安全保护与可用性

由于电子病历、诊断报告等医疗信息涉及患者个人隐私，这就要求任何接入医院信息系统的第三方医疗应用程序都要有严格的信息安全保护机制。因此，智能语音识别系统采用院内局域网私有环境部署的方式，并且语音录入过程结合负载均衡、存储原始音频文件等机制保障系统的信息安全和高可用性等[10]。

3.5 系统外设硬件的性能提升

麦克风作为智能语音识别系统的唯一外设硬件，其性能和质量对语音识别准确率有重要影响。面向医疗行业的不同岗位应用场景，分别提供手持、台式、无线麦克风等多种形态的硬件。这些麦克风需要具有高信噪比，环境适应性强，性能稳定，音质流程清晰等特点，以满足临床用户的多样化需求[11]。

Chinese Journal of Health Informatics and Management, Apr. 2019, Vol.16, No.2 中国卫生信息管理杂志2019年4月第16卷第2期

APPLICATION OF NEW TECHNOLOGY新技术应用4 应用效果

青岛大学附属医院自2017年4月开始在临床试用智能语音识别系统。试用2个月后，分别在门诊、住院病房及医技科室等上线使用。医生在准备写病历或编辑检查报告时，只需打开语音录入系统，对着麦克风说话即可，说话的内容会被转录成文字并显示在医生工作站系统、电子病历系统、医技报告系统等希望输入文字的位置。

经过使用，医生普遍反映，相比于传统的手动录入，使用智能语音识别系统可以明显提高录入速度，节省大量时间。以放射科医师为例，他们每天都需要审阅近百份影像并出具报告，语音录入给他们带来了方便快捷，极大提高了工作效率。用常规方法编辑1份检查报告需要7分钟左右，应用智能语音识别系统编辑1份报告需要3分钟左右。病房医生反馈，通过语音录入书写电子病历比通过键盘书写可以提高接近3倍的效率，有效节约了医生书写病历的时间，提高了医生的工作效率，使医生能有更多时间为患者服务。

5 结语

实践证明，智能语音识别技术在临床的应用取得了很好的效果，一定程度上提高了医生的工作效率，降低了工作强度。通过医生反馈和调查研究也发现一些问题：

（1）对噪音的敏感性问题。即说话者非常接近麦克风而且环境不嘈杂时，系统识别效果很好，如果说话的声音距离麦克风比较远或者环境很嘈杂，系统的识别能力会迅速下降；

（2）目前智能语音识别系统作为独立的应用还不能与结构化电子病历结合使用，没有充分体现出语音识别技术带来的便利。

下一步，我们将继续努力，进一步提高识别率。要将语音识别系统与医院其他信息系统深度融合作为未来努力方向。■

参考文献

[1] 孙国强,赵从朴,朱雯,等. 智能语音识别技术在医院应用

中的探索与实践[J].中国数字医学, 2016, 11(9)：35-37.[2] 张海波,周民伟,刘晓辉,等 智能语音识别技术在医院

临床的探索与应用[J].中国卫生信息管理杂志, 2017, 14(5): 660-663.

[3] 刘文华,邵尉. 数字化医院语音录入系统的设计与应用[J].

中国数字医学, 2017, 12(10): 78-80.

[4] 张晓丹, 黄丽霞, 张雪英. 关于在噪声环境下语音识别优化

研究[J]. 计算机仿真, 2016, 33(8): 172-176, 291.

[5] 过冰. 智能语音对话系统中基于规则和统计的语义识别

[D].北京:北京邮电大学, 2014.

[6] 杨洋,汪毓铎.深度学习在语音识别声学建模中的应用[J].

电脑知识与技术, 2018, 25(18): 190-192.

[7] 栗小艳,唐杰,王旸,等.超声语音识别系统的研发及临床

应用[J].临床医学工程, 2015, 22(9): 1133-1135.

[8] 李伟.放射科语音识别系统中环境自适应技术的研究与实

现[D].杭州市: 浙江大学, 2013.

[9] 李建华.基于语音识别技术的影像科诊断报告生成系统的

研究及设计[J].中国医疗器械信息, 2011, 17(8): 18-19.[10] 肖强,周民伟,张海波,等. 语音识别技术在电子病历中

应用的难点及对策[J].中国数字医学, 2018, 13(3): 55-56, 85.

[11] 徐冬,陶石,刘雨生.基于语音云的电子病历研究与实践

[J].中国数字医学, 2012, 7(3): 15-18.

[收稿日期：2019-03-07 修回日期：2019-04-10]

221