初看之下，这套加药泵可能与现代飞机的驾驶舱没有什么相似之处。这一摞堆叠在一起的白色塑料盒，看起来与医院里用来控制注入危重病人血液中的药物和流体的其他加药泵没什么两样。
然而这套加药泵（可用于胰岛素、止痛药和其他药物的给药）有一个关键的不同之处：它要承担原本由医生和护士执行的安全关键的重要任务。
就如飞机自动驾驶系统接管了一些人类飞行员可能犯错的任务，从而改善了整体飞行安全，这种加药泵的设计目的是承担给药前必须完成的一些繁琐流程，包括核对药品剂量、病人身份和病历。设计者希望这些加药泵在处理这些信息时犯的错误会比人类更少。
参与设计这套系统的英国华威大学(University of Warwick)副教授马克•舒扬(Mark Sujan)表示，利用人工智能，这套加药泵或许最终能够学会依据每一位病人的具体情况来更好地给药。
他表示：“这让护士不必再频繁检查情况，因为有人工智能来完成这项工作。”
对这种给药泵的试验在英格兰皇家德比医院(Royal Derby Hospital)进行，试验使用假人而非真人。最近，包括这一试验在内的数千个自动化项目引起高度关注，起因是过去6个月波音(Boeing)的新型737 Max 8型飞机发生了两起致人死亡的坠机事故。
从医疗保健、航运到无人驾驶汽车，各行各业的研究人员和企业都在寻求把人工智能和自动化应用于原本仅由人类执行的流程，以求让这些流程更可靠，更不容易出错。
然而，这些科研人员都在努力解决与波音坠机事件暴露的问题相似的困境——如何管理人与机器之间的接口。风险在于，每根除一个人类的错误，都可能引入新的差错。机器可能因为缺乏信息或者编程不当而出错，而人类和机器之间产生误解的可能性很大。
舒扬说，核心问题是，尽管人类不再对自动机器的运行施加完全的控制，他们依然需要充分投入，理解机器的运行，并在机器开始不安全运行时介入。
“它真正做的无非是让人——在这个案例中是医生——退出人工控制，并把人的角色转换成自主系统的监督者或者监控者。”舒扬说，“这会引入各种各样的问题。”