解放军医学杂志

作者：潘盼,谢菲,解立新,苏龙翔,

单位：1解放军总医院呼吸与危重症医学部，北京 100091 2中国医学科学院北京协和医院重症医学科，北京 100730 3中国医学科学院北京协和医院疑难重症及罕见病国家重点实验室，北京 100730

关键词：脓毒症,液体治疗,强化学习,预后,预测模型

基金：Young Elite Scientist Sponsorship Program by Bast of Beijing Association for Science and Technology(BYESS2022035)；北京市科学技术协会青年人才托举工程(BYESS2022035)；Key Subject in the Eighth Medical Center of Chinese PLA General Hospital(2021ZD001)；解放军总医院第八医学中心院内重点课题(2

目的 采用强化学习方法构建临床上可能用于指导脓毒症患者液体治疗的预测模型，并对该模型进行评价。方法 采用重症监护医学信息(MIMIC)Ⅲ数据库筛选11 913例脓毒症患者，按照8:2比例随机分为训练集与测试集。纳入26个建模特征，包括患者的24个状态特征(时间段区间、生命体征、实验室检查、血气分析指标及基本信息)、1个动作特征(液体出入量差值)，以及1个结局特征(在重症监护病房内的结局)。使用SARSA模型学习训练集的数据规律，得到回报值与病死率的关系，以评价回报值设定是否合理。基于Q-learning深度学习模型(DQN)学习测试集状态与行为的关系，预测患者液体平衡情况，并比较强化学习的结果与患者实际结局，验证模型预测的液体治疗及实际治疗一致及不一致时对预后的影响。结果 根据动作特征类别分布，将液体出入量差值大小划分为5个区间(–3000~–239.40 ml、–239.39~–1.94 ml、–1.93~160.00 ml、160.01~363.59 ml、363.58~3000 ml)。采用SARSA模型计算训练集，结果显示回报越高，病死率越低。DQN模型显示，液体出入量差值过高或过低均造成病死率增高，且出入量差值低(即液体大量正平衡)比出入量差值高(即液体大量负平衡)的患者病死率更高。使用Doubly robust estimator评估测试集得到的DQN模型平均预期回报值显示模型的稳定性良好(Q-learning迭代次数>20 000)。临床验证结果显示，模型预测脱水与实际脱水相符的亚组患者病死率明显低于其他亚组(P<0.05)。结论 使用强化学习方法构建了一种可能指导脓毒症患者液体治疗的预测模型，该模型能较准确地预测液体治疗的方向，且预测脱水治疗而实际也进行了脱水治疗的患者预后更好。

来源：2022年第6期

《解放军医学》期刊编辑部

查看解放军医学杂志2022年第6期