这是一篇开放获取的文章,根据创作共用署名许可(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
2020年,应用商店每天新增超过250个电子健康解决方案,全年新增9万个;然而,绝大多数这些溶液都没有经过临床验证,其质量未知,用户不知道它们是否有效和安全。我们试图开发一种简单的预筛选评分方法,以评估每个应用程序的质量和临床相关性。我们在设计该工具时考虑了3个医疗保健利益相关者群体:寻求评估潜在竞争对手或自己工具的电子健康解决方案设计师,考虑筹资候选人的投资者,以及希望评估当前或潜在电子健康解决方案的医院临床医生或IT部门。
我们构建并测试了一个新的预筛选评分工具(医疗数字解决方案评分工具)。该工具由26个问题组成,能够快速评估和比较电子健康应用程序的临床相关性和质量,并在68个电子健康解决方案上进行了测试。
医疗数字解决方案评分工具基于法国国家卫生局的2021年评估标准、2022年欧洲医学肿瘤学会的建议以及其他提供的评分。我们与患者协会和电子健康专家一起构建了评分工具,并将其提交给电子健康应用程序创建者,他们于2022年1月通过基于网络的表单评估他们的应用程序。在完成评估标准后,他们的应用程序获得了总分和4类子得分。这些标准评估了解决方案和领域的类型、解决方案的目标人群规模、临床评估水平以及有关提供者的信息。
共有68个电子健康解决方案使用评分工具进行了评估。肿瘤学应用程序(22%,20/90)和一般健康解决方案(23%,21/90)是最具代表性的。在68个应用程序中,32个(47%)涉及卫生专业人员的远程监测。关于临床结果,5%(9/169)的应用程序评估了总生存率。对21%(23/110)的应用程序进行了随机研究,以评估其益处。在68家提供商中,38家(56%)声明了获得报销的目标,38家寻求报销的解决方案中有7家(18%)被评估为具有较高的报销概率。总体得分中位数为11.2(范围4.7-17.4)(满分20分),得分分布符合正态分布模式(Shapiro-Wilk检验:
这种多域预筛选评分工具简单、快速,可大规模部署,以启动临床电子健康应用程序的临床相关性和质量评估。这种简单的工具可以帮助决策者确定应用程序的哪些方面需要进一步分析和改进。
随着远程医疗、联网对象、人工智能、电子患者报告结果、沉浸式技术和其他领域的创新加速,电子医疗工具的数量也在不断扩大。
COVID-19大流行进一步加速了新的电子健康应用程序的出现[
然而,这些解决方案的质量、相关性和临床表现存在很大的异质性。用户很难根据这3个主要标准来区分应用程序。对于电子健康应用程序的提供者来说,遵守良好的临床实践也是一个挑战。技术开发人员可能没有医学背景,也没有接触执业临床医生的机会。大多数应用程序提出的临床疗效并不精确,由于它们没有经过任何监管流程,其质量是不确定和可变的。
虽然现有的评估评分往往复杂且难以部署,但卫生保健机构和这些电子卫生解决方案的处方者需要一个简单、快速的预筛选工具。然而,在临床活动的背景下评估它们的基准没有共识。
这些预筛选工具必须基于良好的临床实践指南和建议。许多标准和评分方法已经存在,第一个肿瘤学远程监测的国际建议现已可用[
最近对相关医学文献的回顾分析了评估健康解决方案的质量标准。其他标准由法国国家卫生局提供(Haute Autorité de Santé;),亦负责药物及医疗仪器的评估工作[
然而,这些评分工具可能包括超过150个问题,使用起来很费力,其有效性尚不清楚。此外,他们很少评估所有4个关键特征:临床相关性、使用潜力、提供者的质量和解决方案的特殊性。
因此,我们开始提出一个快速预筛选评估评分。尽管任何医疗保健利益相关者都可以使用它,但我们确定了3个优先目标用户:电子健康解决方案设计人员、潜在投资者和希望评估现有或潜在未来解决方案的医院决策者。我们开发了评分工具来评估电子卫生良好临床实践的各个方面,并评估68个数字电子卫生解决方案的关键类别。
我们构建并提供了医疗数字解决方案(MDS)评分工具,这是一种基于26个问题的新的预筛选评分工具。然后,我们使用该工具评估了一组电子健康解决方案[
解决方案前端是用ReactJS语言编程的。应用程序托管在由SSL协议保护的Hostinger服务器上。后端基于NoSQL Firebase解决方案。电子问卷的技术功能在填写问卷前由10位编辑进行了测试。没有使用cookie,也没有进行IP检查。
MDS评分工具的设计基于2021 HAS解决方案评估标准[
该评估评分于2022年1月18日至2022年1月30日期间通过LinkedIn(专业社交网络)上的活动提供给电子健康解决方案的提供商。调查公告详见
我们如何快速评估医疗数字解决方案的相关性和潜力?我们创建了MDS信任评分,旨在为软件出版商、患者协会、电子健康领域的投资者和机构提供数字医疗解决方案工具的快速评估。它适用于初创公司/解决方案出版商、协会、机构和投资者……如果您有兴趣使用它,请与我们联系。
电子卫生保健解决方案的评估是通过一个封闭访问的web解决方案URL [
根据评估标准对解决方案提供商进行了审查,并在4个类别中分别给出了分数,以及总分。这些类别包括解决方案的特异性、解决方案的目标人群规模和使用潜力、解决方案的临床评估信息和提供商信息。
第1部分解决方案规格——评估解决方案的范围、解决方案所涉及的专业、所使用的解决方案类型、其与HAS(向法国卫生部报告的公共机构)建立的数字原则的符合性、解决方案所使用的算法类型,以及与用户交互的能力[
第2部分根据年龄、法国用户数量、在法国以外地区使用该工具的可能性、与患者或患者协会共同开发的程度以及解决方案对医院组织的影响评估了解决方案的目标用户。
第3部分侧重于解决方案的临床评价、用于评估解决方案临床效益的结果、是否纳入医学专家关于解决方案临床相关性的反馈、是否得到科学学会的支持或与之建立伙伴关系,以及解决方案目前的临床证据水平。
第4部分侧重于对提供者的评价,包括筹资情况、总部所在国家、董事会中是否有创始医生、是否有医生领导的医疗部门、是否有医学和科学委员会及其组成、解决方案在互联网上的媒体知名度、提供者以前开发的电子保健解决方案。以及法国国家药品安全机构是否发出了关键的安全警报。商业模式的实力和目标以及法国社会保障的报销也进行了评估。在寻求报销的提供者中,我们根据解决方案的临床评估计算了报销概率评分。结果以半定量形式表示(低、中、高概率报销)。
4个类别分别以500为满分,得出2000分的总分,然后将总分降低到20分。中显示了MDS工具的示例
26个问题的问题和不同答案的权重是由16名医学专家、电子健康专家、制造商和电子健康解决方案提供商的代表、方法学家、机构评估人员、电子健康研究人员和患者协会的代表设计的。
web平台中的一个工具还允许提供商将他们的解决方案与其他测试的解决方案进行排序。
由于缺乏患者数据分析和干预,本研究不需要伦理审查委员会评估解决方案的特征。没有可用的人口统计数据,收集这些数据也不合适,因为我们只评估了解决方案的特征,而没有评估解决方案将收集的健康数据。
我们对解决方案的特征进行了描述性研究,并通过计算解决方案的平均值、中位数以及第一和第三四分位数分布来评估每个解决方案的分数。进行夏皮罗-威尔克检验以确定评分的分布是否服从正态分布。对于选择的alpha水平为。05,分数被认为是正态分布,如果
MDS评估评分用于135个通过web解决方案的电子健康解决方案,其中68个解决方案可用于我们的分析。对于其他解,数据要么不完整(n=17),要么重复(n=50)。不完整的表格被排除在分析之外。
68个可评估的解决方案与102个临床指征相关。在102个临床指征中,31个(30%)与支持服药、服药依从性和治疗毒性降低有关;23例(23%)涉及疾病的早期发现;16例(16%)与决策支持相关;12(12%)涉及预防;6例(6%)涉及直接治疗指征;2例(2%)与患者分诊有关;2个(2%)旨在缓解急诊科的超负荷。
在68个解决方案中,22个(32%)针对多个医学专业。在这90个专科中,目前最多的专科是肿瘤学,有20个(22%)解决方案,而疼痛管理等跨领域解决方案有21个(23%)解决方案。
在68个可评估方案中,根据欧盟医疗器械指令93/42/EEC, 29个(43%)为第I类医疗器械[
分数的第一部分是关于解决方案的一般信息的研究(
解决方案特征(每个解决方案可能有若干项)。
特征 | 溶液,n (%) | ||
|
|||
|
预防 | 12 (12) | |
|
早期检测和标记 | 23日(23) | |
|
决策支持 | 16 (16) | |
|
治疗支持、依从性和毒性降低 | 31 (31) | |
|
直接治疗方案(如虚拟现实) | 6 (6) | |
|
病人分流 | 2 (2) | |
|
急诊科疏通 | 2 (2) | |
|
其他人 | 6 (6) | |
|
|||
|
肿瘤学 | 20 (22) | |
|
心脏病学 | 5 (6) | |
|
神经学 | 6 (7) | |
|
精神病学 | 5 (6) | |
|
儿科 | 2 (2) | |
|
糖尿病学 | 7 (8) | |
|
妇科 | 5 (6) | |
|
肺学 | 1 (1) | |
|
肾脏学 | 1 (1) | |
|
泌尿科和男科 | 1 (1) | |
|
风湿病学 | 2 (2) | |
|
头颈部 | 1 (1) | |
|
胃肠病学 | 0 (0) | |
|
皮肤病学 | 3 (3) | |
|
自身免疫疾病、内科和感染学 | 1 (1) | |
|
手术 | 3 (3) | |
|
成像 | 2 (2) | |
|
老年病学 | 3 (3) | |
|
营养 | 1 (1) | |
|
眼科学 | 0 (0) | |
|
多个专业(急诊医学、全科医学、生物学等) | 21 (23) | |
|
|||
|
非医疗器械(非执行) | 15 (22) | |
|
非医疗设备(但理论上应该是) | 10 (15) | |
|
第一类医疗器械 | 29 (43) | |
|
第II类医疗器械 | 12 (18) | |
|
其他CE一个标记(例如,第III类医疗器械) | 2 (3) |
一个CE: Conformitè Europëenne。
第1部分:关于解决方案的一般信息。
特征 | 溶液(N=68), N (%) | ||
|
|||
|
没有人工智能(布尔、通用规则、逻辑回归等) | 28 (41) | |
|
没有算法 | 17 (25) | |
|
可理解的人工智能 | 16 (24) | |
|
不可理解的人工智能 | 6 (9) | |
|
没有使用新的支持标准重新评估的算法超过5年 | 1 (1) | |
|
|||
|
是的,有专业医疗人员远程监控 | 32 (47) | |
|
是的,提醒病人,然后病人自己管理 | 15 (22) | |
|
是的,信息不是根据答案个性化的 | 10 (15) | |
|
是的,通过该解决方案,可以远程会诊 | 3 (4) | |
|
解决方案不受影响 | 5 (7) | |
|
None,没有用户信息 | 3 (4) |
分数的第二部分涉及解决方案目标人群的研究(
评分的第三部分评估了解决方案的证据水平和临床相关性(
第二部分:解决方案的目标人群。
特征 | 溶液,n (%) | ||
|
|||
|
< 18(儿科) | 10 (9) | |
|
18 - 64 | 58 (53) | |
|
> 65 | 42 (38) | |
|
|||
|
>500 | 20 (29) | |
|
50 - 499 | 24 (35) | |
|
1-49 | 15 (22) | |
|
0 | 9 (13) | |
|
|||
|
简化 | 40 (59) | |
|
无相关行为或包装的并发症 | 7 (10) | |
|
与组织融资相关的行为或包的复杂性 | 4 (6) | |
|
没有影响 | 17 (25) |
第三部分:解决方案的临床意义。
特征 | 溶液,n (%) | ||
|
|||
|
用户满意度 | 29 (17) | |
|
生活品质 | 24 (14) | |
|
Medico-economic受益 | 20 (12) | |
|
早期诊断增益 | 19 (11) | |
|
改善获得医疗服务的机会 | 19 (11) | |
|
改善治疗依从性 | 18 (11) | |
|
减轻:病情或症状严重程度的减轻 | 13 (8) | |
|
一级、二级或三级预防 | 11 (7) | |
|
生存 | 9 (5) | |
|
减少紧急情况 | 4 (2) | |
|
毒性低于参考文献 | 3 (2) | |
|
|||
|
专家建议 | 28 (25) | |
|
回顾性研究≥300例可评估患者 | 18 (16) | |
|
在解决方案中应用国内或国际建议 | 16 (15) | |
|
<200例患者的随机试验 | 13 (12) | |
|
≥200例患者的随机试验或荟萃分析 | 10 (9) | |
|
≥200例患者与现实生活中非随机对照组的前瞻性研究(历史比较和数据等) | 11 (10) | |
|
≥200例患者的前瞻性研究-)与非随机对照组在现实生活中没有 | 6 (5) | |
|
不是基于任何研究或专家意见 | 8日(7) |
第四部分是关于提供者特征的评分(
对过去12个月媒体对该解决方案的认识进行了评估。平均而言,提供商或他们的解决方案出现在12个谷歌新闻搜索结果中,中位数为7个。在68家提供商中,37家(54%)正在开发他们的第一个电子健康应用程序。关于解决方案的安全性,9家(13%)提供商收到了法国国家药品安全局的安全警报。在68家提供商中,有38家(56%)打算为其解决方案获得社会保障报销。在这38种方案中,26种(68%)报销概率较低,7种(18%)报销概率较高。
每个电子健康解决方案的总分计算是通过将前面4项标准(
第4部分:关于解决方案提供者的信息以及报销野心和可能性。
特征 | 溶液,n (%) | ||
|
|||
|
由专科医生进行医疗管理 | 41 (60) | |
|
由非专科医生进行医疗管理 | 10 (15) | |
|
没有医学指导 | 17 (25) | |
|
|||
|
是的,3个或更多 | 11 (16) | |
|
是的,2 | 7 (10) | |
|
是的,1 | 13 (19) | |
|
没有 | 37 (54) | |
|
|||
|
是的(除非“集体医院使用的设备”) | 38 (56) | |
|
不,商业模式中不需要(数据销售和用户订阅等) | 23日(34) | |
|
不,是供集体医院使用的设备 | 7 (10) | |
|
|||
|
高 | 7 (18) | |
|
媒介 | 5 (13) | |
|
低 | 26日(68年) |
综合评分分布的解决方案根据总分20分。
我们开发了第一个多域预筛选评分工具,以启动临床相关性和临床电子健康应用程序的质量评估。
我们对法国68个电子健康解决方案的相关性、质量和证据水平进行了首次评估,并报告了不同评估领域的解决方案的特征。
最具代表性的医学领域是肿瘤学(22%)和涵盖多个专业的跨领域解决方案(23%)。这是文献所证实的;就生活质量或生存质量而言,拥有最多临床验证的电子健康解决方案的专业领域是肿瘤学和心脏病学[
在我们的研究中,几乎一半(47%)的评估解决方案是基于由卫生专业人员部署的远程监测系统。这种类型的解决方案在电子健康中占有重要地位,并经常用于心脏病学和肿瘤学。卫生部在其2021年评估卫生部门解决方案的报告中将这列为最常见的配置之一[
评估一种溶液的临床证据水平是加快其在医学界的使用和卫生当局可能报销的一个重要步骤。在2022年,该评估是获得ESMO有利建议的主要标准[
此外,在我们的研究中,21%的溶液是随机研究的对象。这种类型的研究被认为是最高程度的证据,并在法国进行时获得补偿的主要标准。我们还观察到15%的溶液进行了前瞻性非随机研究。不同类型的研究在我们的得分中权重不同。例如,开展一项≥200例患者的随机临床研究,其临床评价得分为190分(总分为500),而回顾性研究仅为30分。
大约一半(56%)的提供者宣称,他们的目标是获得法国国家公共保险的报销,在法国,法律规定该保险覆盖全国人口。自2018年以来,这种可能性已经在法国实现。它为解决方案的开发添加了一种新的业务模型。我们使用评估工具来确定有高概率从法国国家社会保障报销的解决方案。该评估基于所进行的研究类型以及所测量的临床终点类型。在我们的研究中,18%的寻求报销的解决方案被评估为有很高的报销概率。
总体而言,68个电子卫生解决方案的评估结果似乎接近文献中的已知元素。评估方案的平均预筛选得分为11.25分(满分为20分)。得分从4.7到17.4不等。分数的分布服从正态分布。
评估文献中出现的电子健康解决方案的最初得分主要基于用户或专家意见[
其他评分的评估框架通常是描述性的,耗时的,定性的工具来评估临床质量。英国国民医疗服务体系设计的数字技术评估标准就是这种评估框架的一个例子[
我们建议根据我们的26个评估标准来计算分数,这些标准是由专家小组选择的,并在文献中推荐。这个分数同时评估解决方案的信息、解决方案的目标、解决方案的临床评估和提供者。这种预筛选评分的优点是可以快速获得,并具有广泛的评估标准。文献中提出的简单评价分数通常不允许像我们的分数那样广泛的评价[
我们的评分在68个电子健康解决方案中进行了评估和验证,与文献中提出的许多其他评分不同,这些评分没有在现实生活中进行评估[
我们的预筛选评分是根据最近更新的建议制定的。除其他事项外,它是根据民政事务总署指南的建议而制订的[
这个分数的限制也必须考虑在内。首先,评分不允许对所有技术和临床标准进行详尽和详细的评估。例如,可以使用更详细的评分来完成评估,如ORCHA Review评分[
我们提出了一种多领域预筛选工具,该工具使用简单快速,可大规模使用,可由任何卫生保健利益相关者启动临床数字解决方案的评估。我们相信三个目标群体(电子健康解决方案设计者、投资者和医院决策者)将是主要的初始用户。该工具可以帮助提高解决方案的质量,并确定可能需要进一步分析和改进的工具方面。该评分可在法国国家电子健康研究所的网站上查阅。
已发表的调查公告。
开发工具的截图。
欧洲医学肿瘤学会
高级Autorité de Santé(法国国家卫生局)
医疗数字化解决方案
我们感谢用户参与这项研究,也感谢来自法国昂热Weprom的Magali Balavoine, MSc和Anne-Lise Septans。我们也感谢Jean-François Thébault, MD(法国糖尿病联合会);Armelle Graciet(国家技术工业联合会Médicales;代表医疗设备和“数字”医疗设备公司的联合会);Corinne Collignon(高级Autorité de Santé);Myriam Oukkal(法国电子保健委员会);医学博士Jean-Louis Fraysse;Yann-Mael le Douarin,医学博士;Alain Toledano,医学博士;Jean-Jacques Zambrowski,教授,医学博士; and Celine Riou (Banque Publique d’Investissement) for their tips and advice. No one received compensation for their contributions. No funding was necessary to conduct the trial.
在当前研究期间生成和/或分析的数据集可根据合理要求从通讯作者处获得。
FD拥有本研究中所有数据的完全访问权,对数据的完整性和数据分析的准确性负责,对本研究的概念和设计有贡献,进行了统计分析,是论文的担保人。所有作者都对数据的获取、分析或解释做出了贡献;文稿的起草;并对重要的知识内容进行批判性的修改。FD和RS监督了这项研究。
NW和PC声明没有利益冲突。据报道,JDZ是几家与制药行业相关的咨询公司的顾问(奥纬咨询,罗兰贝格)。他还报告了来自制造商专业协会的演讲费和来自Ferring、Pierre Fabre、AbbVie、Astra Zeneca、Biogen、Boehringer Ingelheim、武田和强生的咨询费。他是大约30家数字公司、医疗设备公司或生物技术公司的个人投资者,也是3家投资基金的有限合伙人。据报道,他是Inato公司的创始合伙人,该公司涉及临床研究,客户是制药公司。DS报告了与Basil Strategies的利益冲突。RS报告了与安进、阿斯利康、生物传感器、百时美施贵宝、波士顿科学、诺华、Robocath、Terumo和Vifor的利益冲突。FD报告与Chugai, Astra-Zeneca, Merck, Sivan, Takeda, Ipsen, Bristol Meyer Squibb, Viatris, Kelindi和Hyperion的利益冲突,他是受邀演讲者,也在Sivan和Roche的顾问委员会任职。作者持有INeS, Kelindi, Hyperion的股票和股份,机构接收者是Hvperion。