中华预防医学杂志    2020年06期 基于哨点医院电子病历计算机自动识别技术的流感样病例试点监测评价    PDF     文章点击量:125    
中华预防医学杂志2020年06期
中华医学会主办。
0

文章信息

朱爱琴 刘建华 徐承中 张皓 杨孝坤 赵宏婷 李志丽 王丽萍 冯录召 郑亚明 秦颖 李中杰
ZhuAiqin,LiuJianhua,XuChengzhong,ZhangHao,YangXiaokun,ZhaoHongting,LiZhili,WangLiping,FengLuzhao,ZhengYaming,QinYing,LiZhongjie
基于哨点医院电子病历计算机自动识别技术的流感样病例试点监测评价
Pilot surveillance and evaluation of influenza-like illness based on automatic computer analysis of electronic medical record in sentinel hospital
中华预防医学杂志, 2020,54(6)
http://dx.doi.org/10.3760/cma.j.cn112150-20200225-00186
引用本文:

文章历史

投稿日期: 2020-02-25
上一篇:青少年艾滋病防治投放的核心知识宣传信息与“百度知道”文本挖掘词频对比分析
下一篇:2017年山东省戊型肝炎病毒基因型分布及分子流行病学特征
基于哨点医院电子病历计算机自动识别技术的流感样病例试点监测评价
朱爱琴 刘建华 徐承中 张皓 杨孝坤 赵宏婷 李志丽 王丽萍 冯录召 郑亚明 秦颖 李中杰     
朱爱琴 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
刘建华 湖北省宜昌市疾病预防控制中心 443003
徐承中 湖北省宜昌市疾病预防控制中心 443003
张皓 湖北省宜昌市疾病预防控制中心 443003
杨孝坤 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
赵宏婷 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
李志丽 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
王丽萍 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
冯录召 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
郑亚明 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
秦颖 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
李中杰 中国疾病预防控制中心传染病监测预警重点实验室 传染病管理处,北京 102206
摘要: 目的  比较基于病历资料的医生报告与计算机自动识别方式对门急诊流感样病例(ILI)监测的准确性。方法  2019年4—10月在宜昌市中心医院发热门诊、呼吸内科门诊及急诊内科门诊就诊的患者中,选取国际疾病分类第10版诊断编码属于J00-J22范围且病历症状信息完整的病例,共3 542例,以流感监测专业人员根据ILI病例定义的判断结果为金标准,绘制受试者工作特征(ROC)曲线,计算灵敏度、特异度、诊断一致率,分析计算机自动识别与医生报告两种方式对ILI病例监测的准确性。结果  病例年龄MP25P75)为30(24,38)岁;其中符合定义标准ILI病例为1 179例(33.29%),医生报告ILI 为1 306例(36.87%),计算机自动识别ILI为 1 150例(32.47%);男性为1 391例(39.27%)。计算机自动识别和医生报告与金标准判断的结果一致性Kappa值分别为0.97和0.66,ROC曲线下面积分别为0.98和0.84。计算机自动识别方式的灵敏度和特异度(分别为96.95%和99.70%)均高于医生报告方式(灵敏度和特异度分别为82.27%和85.78%)(P值均<0.001)。结论  基于电子病历的计算机自动识别方式开展ILI病例监测,具有良好的灵敏度和特异度。
关键词 :流感样病例;计算机自动识别;电子病历;监测方法评价
Pilot surveillance and evaluation of influenza-like illness based on automatic computer analysis of electronic medical record in sentinel hospital
ZhuAiqin,LiuJianhua,XuChengzhong,ZhangHao,YangXiaokun,ZhaoHongting,LiZhili,WangLiping,FengLuzhao,ZhengYaming,QinYing,LiZhongjie     
Division of Infectious Disease, Key Laboratory of Infectious Disease Surveillance and Early Warning, Chinese Center for Disease Control and Prevention, Beijing 102206, China
Corresponding author: Li Zhongjie, Email:lizj@chinacdc.cn
Abstract:Objective  To compare the accuracy of influenza-like illness (ILI) surveillance by automatic computer analysis based on electronic medical records and by doctor’s report.Methods  A total of 3 542 patients who presented to Yichang Central Hospital fever clinic, respiratory department or emergency department between April to October 2019 with an ICD-10 code for acute respiratory illness (J00-J22) and complete electronic medical information of ILI related syndromes were drawn as the study sample. Taking the classification of the study sample according to the ILI case definition by influenza surveillance professionals as the gold standard, draw the receiver operating characteristic (ROC) curve and calculate sensitivity, specificity, diagnostic consistency to compared the accuracy of ILI surveillance by automatic computer analysis and by doctor's report.Results  Median age of 3 542 cases was 30 (24, 38) years old; 1 179 cases (33.29%) compliance with the case definition, ILI reported by doctors was 1 306 cases (36.87%), and computer automatic identification ILI were 1 150 cases (32.47%); 1 391 (39.27%) cases were men. The results of automatic computer analysis and doctor report consistency of kappa values with gold standard judgment were 0.97 and 0.66 respectively; area under the ROC curve was 0.98 and 0.84, respectively. And the sensitivity and specificity of automatic computer analysis were higher than that of doctor's report (all P values were <0.001), the sensitivity was 96.95% and 82.27%, and the specificity was 99.70% and 85.78%, respectively.Conclusion  The automatic computer analysis based on electronic medical records can identified ILI cases with good sensitivity and specificity in ILI case surveillance.
Key words :Influenza-like illness;Automatic computer analysis;Electronic medical record;Surveillance methodology evaluation
全文

流感是疾病负担严重的一种急性呼吸道传染病[1, 2, 3, 4, 5]。我国流感监测中,哨点医院的门急诊监测采用流感样病例(influenza-like illness,ILI)作为监测病例[6, 7, 8]。ILI病例中流感阳性比例相对较高,以ILI病例为监测病例可增加采样阳性率,便于为病毒研究提供毒株[9, 10]。但是,由于ILI不是国际疾病分类中的诊断,ILI病例的监测多依赖于门急诊医生的计数和报告,给临床工作增加了额外的负荷,使ILI病例存在漏报或错报的可能,一些就诊量大的医院或科室也因临床工作繁忙而难以高质量完成流感监测工作[11, 12, 13]。随着医院电子病历的普及和信息平台建成,基于计算机程序或算法的自动诊断技术有望解决这一问题[14, 15, 16, 17, 18]。当前,计算机能力与日益完善的电子健康数据使得利用计算机辅助诊疗成为可能,基于计算机程序或算法的医疗诊断系统在临床上已有应用[14,19, 20, 21]。如果在流感监测中也应用计算机程序自动识别ILI病例,那么确保计算机识别的准确性非常重要,但是计算机自动识别ILI病例的诊断价值如何,是否优于医生实际报告,尚缺乏量化研究结果。本研究将评价和比较这两种ILI病例诊断方法,为改进流感监测手段提供科学依据。

资料与方法  

一、资料来源  从湖北省宜昌市中心医院2019年4—10月呼吸内科、发热门诊、急诊内科门诊内获取国际疾病分类第10版(International Classification of Diseases 10th Revision,ICD-10)诊断编码属于J00-J22范围的病例(即急性呼吸道感染的所有病例)的病历资料,根据现病史、主诉及查体记录筛选出症状信息完整的病历。病历包括有无咳嗽、有无咽痛、是否发热及发热具体体温数值等信息。本研究采用全国流感监测方案的ILI病例定义:发热(体温≥38 ℃),伴咳嗽或咽痛之一者。由流感监测专业人员按照ILI病例定义判断症状信息完整的病例是否为ILI,并将其判定结果作为金标准。研究期间3个科室共发现J00-J22范围的病例9 058例,其中,病历症状信息不完整5 516例,最后研究共纳入3 542例具有完整症状信息的病例。

二、医生报告ILI病例  在呼吸内科、发热门诊、急诊内科门诊,对就诊ICD-10诊断编码为J00-J22的所有病例,采用弹窗方式由医生判断是否符合ILI病例定义。

三、计算机自动识别ILI病例  对流感样症状分咳嗽、咽痛和发热三部分分别进行识别。对于咳嗽症状,不含“不/无/没有/否认”且含有 “咳嗽/轻咳/干咳”关键字则识别为“咳嗽”。对于咽痛症状,不含“不/无/没有/否认”且含有“咽痛”关键字则识别为“咽痛”。对于发热症状,含有“体温/最高/T/℃/度/热峰/°C/峰值/°”且不含体温“正常/未见异常”关键字的,识别温度单位和数字并将数值记为体温;若体温≥38 ℃且≤45 ℃则标记为“体温偏高”,若体温≥33 ℃且<38 ℃则标记为“体温正常”,否则标记为“体温数据异常”“体温偏高”者识别为“发热”。“发热”且伴“咳嗽”或“咽痛”之一者,判断为ILI病例。计算机自动识别ILI使用Python 3.6软件进行。

四、评价方法与指标  以ILI病例定义为金标准,运用受试者工作特征(receiver operating characteristic,ROC)曲线分析医生报告和计算机自动识别两种方法监测ILI的工作效率,计算灵敏度、特异度、诊断一致率(Kappa检验值)、ROC曲线下面积(area under curve,AUC)。分不同年龄组、监测诊室、监测日期(工作日和节假日)进行亚组间的比较。

五、质量控制  医生病历书写质量控制主要有3种方式。(1)医院对医生书写电子病历有硬性规定,对书写质量有考核;(2)疾病预防控制中心通过医院公共卫生科向医院临床部门推广使用计算机自动识别系统,只要电子病历书写规范,通过自动识别、自动判断的方式就可以避免重复填写监测表格,以减轻医务人员的工作量,易于被医院接受;(3) 不定期的进行网络数据核查和现场沟通与协调,同时始终注意加强现场培训提高医务人员依从性。 金标准筛选结果的质量控制为由两位流感监测专业人员独立进行ILI判断,意见不一致时由研究小组讨论决定。

六、统计学分析  采用Stata 12软件进行统计学分析。病例年龄不符合正态分布,采用MP25P75)表示。采用χ2检验方法分别比较两种方法中不同年龄组、监测诊室、监测日期间灵敏度和特异度的差异。双侧检验,检验水准α=0.05。

结果  

一、基本情况  3 542例信息完整病例年龄MP25P75)为30(24,38)岁,男性为1 391例(39.27%),详见表1。其中符合定义标准为1 179例(33.29%),医生报告ILI 为1 306例(36.87%),计算机自动识别ILI为 1 150例(32.47%)。

表1湖北省宜昌市3 542例病例基本情况

二、医生报告的准确性  

1.总体准确性:  3 542例病例中,符合ILI病例定义的为1 179例,非ILI病例2 363例;其中,医生正确报告为ILI的有970例,灵敏度为82.27%,正确判断为非ILI的有2 027例,特异度为85.78%。

2.不同亚组的准确性:  14~17、18~59及≥60岁组病例的医生报告ILI灵敏度分别为79.45%、82.82%、80.33%(P=0.562),特异度分别为78.11%、86.20%、89.94%(P=0.002)。不同监测诊室的医生报告ILI的报告灵敏度和特异度均有差异(P值均<0.001),发热门诊、呼吸内科门诊、急诊内科门诊医生报告ILI的灵敏度分别为91.24%、34.96%、57.41%,特异度分别为53.66%、97.52%、88.41%。工作日和节假日医生报告ILI的灵敏度(82.49%比81.72%)和特异度(85.14%比87.56%)差异无统计学意义(P值分别为0.752和0.137)。见表2

表2湖北省宜昌市医生报告与计算机识别流感样病例方法的效果比较

三、计算机识别的准确性  

1.总体准确性:  计算机识别ILI的灵敏度为96.95%(1 143/1 179),特异度为99.7%(2 356/2 363)。

2.不同亚组的准确性:  不同年龄组病例计算机自动识别ILI的灵敏度和特异度差异均无统计学意义;发热门诊、呼吸内科门诊、急诊内科门诊计算机自动识别ILI的灵敏度分别为99.58%、95.93%、75.00%,特异度分别为98.92%、99.82%、100.00%,急诊内科门诊计算机自动识别的灵敏度低于另两个科室,特异度相差不大。见表2

四、医生报告与计算机识别的准确性比较  

1.总体比较:  医生报告与计算机自动识别ILI两种方法与人工金标准结果的一致性较好,Kappa值分别为0.66和0.97。ROC曲线对两种方法诊断价值的结果显示,计算机自动识别的AUC高于医生报告,分别为0.98 和 0.84,并且两种ILI判断方法均有诊断价值。但计算机自动识别ILI的灵敏度和特异度均高于医生报告方式。见表2图1

图1湖北省宜昌市医生报告与计算机识别流感样病例方法的受试者工作特征(ROC)曲线

2.不同亚组间比较:  不同年龄、不同监测诊室及不同监测日期,计算机自动识别ILI的灵敏度和特异度均高于医生报告ILI。与金标准相比,两种方法在各组间的一致性均较好。ROC曲线结果显示,计算机自动识别的诊断价值均高于医生报告。见表2

讨论  本研究结果显示,医生报告ILI的特异度在不同年龄组间存在差异,低年龄组特异度较小,即在14~17岁青少年中误诊率最高,≥60岁老人中误诊率最低,而计算机识别ILI的灵敏度和特异度在不同年龄组间差异无统计学意义,说明年龄因素对于医生主观报告ILI具有一定影响,而计算机识别则不受该因素干扰。医生报告的灵敏度和特异度在不同监测诊室间差异有统计学意义,发热门诊的灵敏度最高而特异度最低,说明大量发热患者被误判为ILI病例,可能与医生的报告行为有关,并未严格按照ILI病例定义进行报告;在呼吸内科和急诊内科医生报告的灵敏度低,存在大量漏诊。在不同监测诊室间计算机判断的灵敏度和特异度差异均有统计学意义,其差异小于医生报告,主要是急诊内科灵敏度较低,但整体而言计算机识别ILI的稳定性高于医生报告。
        基于计算机的系统或算法自动执行的医学诊断已经有不少报道[14]。例如基于计算机的临床咨询系统“MYCIN”[19],该系统设计用于作为传染病诊断和治疗选择的辅助手段;“INTERNIST-I”和“Iliad”是用于内科的计算机辅助诊断系统[20,22]。目前,流感样病例的报告仍基于临床医生对病例的诊断,我国国内已建立了覆盖全国31个省份408家网络实验室和554家监测哨点医院的完整流感样病例监测网络体系[2,6],临床医生在此体系中扮演着不可或缺的角色,一方面给负责流感监测的医生带来了一定的工作负担,另一方面医生对ILI病例的报告存在大量漏报[12,23, 24, 25],因此基于计算机自动识别ILI有望解决这一问题。本研究结果为未来监测流感样病例提供了一种新思路,该方法在保证较高准确性的同时,能够节省人力成本。
        该研究存在以下几点局限性:(1)研究仅采用流感非流行期数据,考虑到流行期医生报告ILI的工作量大幅增加,可能会进一步降低医生报告方式的灵敏度;(2)评价结果受病历信息的完整性和规范性影响较大,难以评价计算机对病历信息不完整的患者识别的准确性;(3)目前的计算机自动识别模块是仅根据一家医院医生填写的病历报告拟合的程序,未来在更大范围推广该方法时需要进一步拟合更多数据以提高精准度。
        综上,对于流感样病例的报告,临床医生主观判断存在一定程度的漏报和误报,采用计算机自动识别方式开展ILI监测,其灵敏度、特异度及诊断价值均较高。且实践证明该方法在医院信息系统中可操作性强,在有较好电子化病历信息的临床机构,可推广采用该方法开展流感样病例监测,从而进一步提高ILI监测的准确性和完整性,降低医务人员监测工作负荷。

参考文献
1World Health Organization. Global Influenza Strategy 2019-2030 [EB/OL]. [2019.3.28]. https://apps.who.int/iris/bitstream/handle/10665/311184/9789241515320-eng.pdf.
2王大燕. 中国流感监测网络的发展与展望[J].中华流行病学杂志,2018, 39(8):1036-1040. DOI: 10.3760/cma.j.issn.0254-6450.2018.08.005.
3World Health Organization. WHO Manual for Estimating the Economic Burden of Seasonal Influenza[EB/OL]. [2019-03-28]. https://apps.who.int/iris/bitstream/handle/10665/250085/WHO-IVB-16.04-eng.pdf.
4朱爱琴, 郑亚明, 秦颖, 等. 中国流感经济负担研究系统综述[J].中华预防医学杂志,2019, 53(10):1043-1048. DOI: 10.3760/cma.j.issn.0253-9624.2019.10.017.
5李飒, 刘思家, 朱爱琴, 等. 中国流感死亡负担研究系统综述[J].中华预防医学杂志,2019, 53(10):1049-1055. DOI: 10.3760/cma.j.issn.0253?9624.2019.10.018.
6舒跃龙. 流感监测的发展历史及思考[J].中华流行病学杂志,2011, 32(4):334-336. DOI: 10.3760/cma.j.issn.0254-6450.2011.04.003.
7国家卫生计生委办公厅关于印发全国流感监测方案(2017年版)的通知[EB/OL]. [2020.1.05]. http://www.nhc.gov.cn/xxgk/pages/viewdocument.jsp?dispatchDate=&staticUrl=/jkj/s3577/201704/ed1498d9e64144738cc7f8db61a39506.shtml.
8刘天, 姚梦雷, 黄继贵, 等. 移动流行区间法在流感监测预警中的应用及其参数设置[J].国际病毒学杂志,2018, 25(6):415-418. DOI: 10.3760/cma.j.issn.1673-4092.2018.06.015.
9刘文俊, 吴倩, 周乐, 等. 2012—2017年扬州市流感病原学监测结果分析[J].中华实验和临床病毒学杂志,2018, 32(5):496-500. DOI: 10.3760/cma.j.issn.1003-9279.2018.05.010.
10舒跃龙. 加强监测是应对流感大流行的基础[J].中华实验和临床病毒学杂志,2006, 20(2):1-2. DOI: 10.3760/cma.j.issn.1003-9279.2006.02.001.
11李永清, 文艳, 张昭, 等. 2017—2018年度绵阳市流感监测系统运行情况评价[J].预防医学情报杂志,2019, 35(10):1117-1121.
12许德, 朱梦, 杨明, 等. 2017年安徽省流感监测质量评估[J].现代预防医学,2019, 46(15):2847-2850.
13舒跃龙. 中国流行性感冒防控面临的问题与挑战[J].中华预防医学杂志,2013, 47(5):391-393. DOI: 10.3760/cma.j.issn.0253-9624.2013.05.002.
14Rodríguez-GonzálezA, Torres-Ni?oJ, MayerMA, et al. Analysis of a multilevel diagnosis decision support system and its implications: a case study[J]. Comput Math Methods Med, 2012, 2012:367345. DOI: 10.1155/2012/367345.
15Gerbier-ColombanS, Potinet-PagliaroliV, MetzgerMH. Can epidemic detection systems at the hospital level complement regional surveillance networks: case study with the influenza epidemic?[J]. BMC Infect Dis, 2014, 14:381. DOI: 10.1186/1471-2334-14-381.
16Ba?c?U, YaoJ, CabanJ, et al. Automatic detection of tree-in-bud patterns for computer assisted diagnosis of respiratory tract infections[J]. Conf Proc IEEE Eng Med Biol Soc, 2011, 2011:5096-5099. DOI: 10.1109/IEMBS.2011.6091262.
17ChapmanWW, FizmanM, ChapmanBE, et al. A comparison of classification algorithms to automatically identify chest X-ray reports that support pneumonia[J]. J Biomed Inform, 2001, 34(1):4-14. DOI: 10.1006/jbin.2001.1000.
18FujibayashiK, TakahashiH, TaneiM, et al. A New Influenza-Tracking Smartphone App (Flu-Report) Based on a Self-Administered Questionnaire: Cross-Sectional Study[J]. JMIR Mhealth Uhealth, 2018, 6(6):e136. DOI: 10.2196/mhealth.9834.
19YuVL, BuchananBG, ShortliffeEH, et al. Evaluating the performance of a computer-based consultant[J]. Comput Programs Biomed, 1979, 9(1):95-102. DOI: 10.1016/0010-468x(79)90022-9.
20MillerRA, PopleHEJr, MyersJD. Internist-1, an experimental computer-based diagnostic consultant for general internal medicine[J]. N Engl J Med, 1982, 307(8):468-476. DOI: 10.1056/NEJM198208193070803.
21HuntDL, HaynesRB, HannaSE, et al. Effects of computer-based clinical decision support systems on physician performance and patient outcomes: a systematic review[J]. JAMA, 1998, 280(15):1339-1346. DOI: 10.1001/jama.280.15.1339.
22LincolnMJ, TurnerCW, HaugPJ, et al. Iliad training enhances medical students' diagnostic skills[J]. J Med Syst, 1991, 15(1):93-110. DOI: 10.1007/bf00993883.
23刘栓奎, 李明, 党荣理, 等. 驻疆部队医疗单位2010年传染病报告质量调查[J].解放军预防医学杂志,2012, 30(5):348-349.
24彭志斌, 周东胜, 钟敏霞, 等. 2017~2018年景德镇市医疗机构传染病报告工作现状及影响因素分析[J].医学信息,2019, 32(16):124-126. DOI: 10.3969/j.issn.1006-1959.2019.16.040.
25王晓风, 郭青, 张业武, 等. 2013年全国医疗机构法定传染病报告卡填报质量调查分析[J].疾病监测,2016, 31(6):522-526. DOI: 10.3784/j.issn.1003-9961.2016.06.018.