医院质量评价中的专家智慧与大众意见:医院比较星级与谷歌星级分析

介绍

近年来，由社交媒体平台、服务提供商和政府机构聚合的基于网络的众包信息已成为消费者、组织和政府的热门信息来源。如果使用有效，众包可以收集及时的反馈，提高效率和监督，减少关键行动的响应时间，并提高客户参与度和满意度[1]。尽管众包评级被广泛使用，包括在医疗保健环境中，但由于以下原因，人们对众包评估产生了担忧:(1)抽样过程的非代表性，(2)评估所提供商品或服务质量所需的专业知识不足，(3)经验的有限性，以及(4)操纵的可能性[1-4]。特别是对于复杂的服务，如医疗，消费者可能在消费周期结束后也不具备评估护理质量的专业知识，由于认知限制和专业知识差距，众包评级可能与真实质量很少或根本没有对应关系[5]。

在本分析中，我们探讨了流行的众包、基于网络的医院质量评级(谷歌之星)与医疗保险和医疗补助服务中心(CMS)发布的医院质量专家评级(HCSR)之间的关系[6]。了解众包意见和专家医院质量评级之间的关系很重要，因为基于网络的评级似乎对患者的医疗选择有实质性影响[7]。例如，2020年，65%的受访患者使用基于网络的评论来评估医生，而谷歌是访问量最大的评论网站[8，9]。相比之下，只有22%的受访患者甚至知道CMS的专家评分[10]。

虽然医院比较网站提供了4000多家美国医院的100多项质量指标信息，但HCSR将多项质量指标汇总为一个整体星级评级，以增加用户的便利性。CMS于2021年修订了HCSR方法。此前，57项医院质量指标被分配到医院质量的7个集群中，即“患者体验”、“死亡率”、“再入院”、“护理安全性”、“医学成像的有效利用”、“护理的及时性”和“护理的有效性”，并使用潜在变量统计模型为每个组导出了医院特定评分。医院综合得分以其分组得分的加权和计算，并根据聚类算法对医院进行星级分类[11-13]。修订后的HCSR方法通过合并“护理及时性”、“护理有效性”和“医学影像的有效利用”等单独措施，将质量措施的数量减少到48个，质量集群减少到5个。潜在变量模型被单个测量的简单平均值所取代，使得分数透明、可理解和可预测[12]。

我们实证分析了修订前后Google星与HCSR之间的关系。我们还分析了与HCSR质量成分得分的关系。分析表明，谷歌星级评分与HCSR (P<.001)，但与需要医疗专业知识进行评估的HCSR临床成分(如护理安全性)无关(P= 0.30)或再入院(P=.52)， 2021年HCSR修订后。

虽然之前的一些研究已经分析了众包医院评级(如Yelp和Facebook)与专家评级之间的关系[14-17]，我们的研究通过检验更流行的谷歌星级评分与专家HCSR评分之间的关系，为文献做出了贡献，在最近的HCSR方法修订前后。与之前的研究不同，该研究分析了与一些选定的临床质量指标的关系[18，19]，我们分析了与所有个体HCSR质量聚类得分的关联。此外，我们通过采用更精细的分数响应建模统计技术来分析这些关联，该技术考虑了星级评级的有界性和非线性性质，同时控制了其他协变量[20.]。

方法

数据源

我们使用国家经济研究局的医疗成本报告信息系统生成了4615家美国医院的数据集，以及它们的特征，如规模(床位数量)、位置类型(农村或城市)和状态，即营利性或非营利性、教学性或非教学性。我们分别于HCSR修订前的2020年4月和修订后的2021年4月从CMS医院比较网站收集HCSR数据。我们还使用CMS提供的代码提取了样本中每家医院的医院质量各个组成部分的分数。2020年6月，我们使用应用程序编程接口提取了所有可用的美国医院的谷歌星级评级，这是一个从基于web的门户网站收集数据的标准接口。Google Places应用程序编程接口提供了Google的星级评分，这是每家医院的消费者评分的累积平均值，范围在1到5之间。为了保证质量，谷歌删除了所有匿名评论，需要一个有效的关联电子邮件地址，并且不允许每个企业从一个特定的电子邮件中获得多个评论[21]。由于2020年的HCSR使用了2015-2018年期间的医院质量数据，而2021年的HCSR使用了2016-2019年期间的数据，因此我们使用了2020年6月提取的谷歌星级评分，这是累积评级，对于分析HCSR修订前后的关联都很有用。这有助于对这些关联进行一致的分析，特别是考虑到COVID-19大流行对随后的谷歌星级医院评级的潜在影响。在2020年和2021年的报告周期中，共有2963家美国医院获得了HCSR和所有组成部分的评分，46家(1.6%)没有谷歌星级评级的医院被排除在分析之外。为了确保谷歌星级评级具有代表性，并遵循先前研究中使用的类似方法[14]，我们排除了298家(10.1%)医院，这些医院在谷歌的单项评分低于10。这导致了2619家美国医院的最终样本，每家医院平均有179个单独的谷歌评分。然而，在我们的估计中，包括谷歌单项评分低于10的医院也得出了类似的结论。

研究设计

我们的理论认为，真实医院质量的变化既会影响HCSR专家评级，也会影响众包、基于网络的谷歌星级评级，因此，HCSR和谷歌星级评级将是相关的。然而，医院层面的特征，如规模和类型，也可能影响消费者对医院质量的看法，从而影响基于网络的评级。与考虑医院层面的质量或风险驱动因素的HCSR不同，谷歌星级评级没有根据医院的特点进行调整。因此，在评估Google星级和HCSR之间的关系时，控制这些因素是很重要的。此外，卫生质量组成部分得分的提高提高了医院的质量，并通过设计提高了医院的总体健康社会责任;因此，我们假设众包谷歌星级评级也将与HCSR质量成分得分相关。虽然理想的做法是探索HCSR成分得分与谷歌星级评分中类似的质量成分得分之间的关联(这是不可用的)，或者从随文评论的详细文本分析中开发的质量集群的一些代理，但我们假设谷歌星级评分和HCSR成分得分之间的关联将是信息近似。

在控制了医院规模和医院类型对网络评级的影响后，我们估计了以下模型来检验Google医院评级、HCSR和个人HCSR成分得分之间的关系。

在哪里是谷歌星级评分和HCSR之间的关系，是医院控制变量的载体吗我，其中包括规模(床位数量的对数)和医院类型(营利、非营利或政府医院;教学或非教学医院)及其相互作用条件。HCSRcomponent_j为医院质量各聚类的HCSR成分得分。我们的因变量Google星级评分是一个连续变量，范围在1到5之间，线性估计方法可以产生超出这个范围的预测值。因此，我们将Google星级评级缩放到0到1之间，并采用分数响应模型(FRM)来估计这些方程[20.]。FRM是广义线性模型的扩展，它从上下两个方面解释了因变量的有界性，在因变量的区间限制内预测响应值，并捕获数据的非线性，从而与线性估计模型相比产生更好的拟合。此外，FRM不需要在拐角处进行特殊的数据转换;它还允许对给定预测因子的因变量的条件期望进行稳健、一致和相对有效的估计[20.]。

结果

图1为“HCSR2020”、“HCSR2021”(CMS分别于2020年4月和2021年4月提供的医院比较星级)和“谷歌星级”评分的分布情况。HCSR2020、HCSR2021和Google星级的均值相似，分别为3.159、3.236和3.040。然而，与Google星级评分相比，HCSR的分布相对较宽，标准差分别为1.133、1.114和0.557。在图1，谷歌的星级评分已被四舍五入或下降到条形图中最接近的整数。因此，图中的HCSR2020、HCSR2021和Google星级可以取1和5的整数值。

简单的相关分析显示，统计上显著(P< 0.001) Google星级与HCSR2020的Pearson相关系数为0.234,Google星级与HCSR2021的Pearson相关系数为0.226。Google star与HCSR2020的Spearman相关系数为0.242，与HCSR2021的Spearman相关系数为0.224，均显著(P<措施)。

由于上述结果没有控制医院特征的变化，我们使用FRM回归技术以缩放的Google星级作为因变量来估计方程(1)的参数;我们还估计了HCSR以及医院规模和类型作为解释变量。表1报告Google星级评级和医院比较星级评级(HCSR)之间关系的估计结果。因变量是谷歌的星级评分，按5分在0到1之间。结果使用分数响应概率回归进行估计，其标准误差对分布错配具有鲁棒性。HCSR2020和HCSR2021的系数分别为0.076和0.070，具有统计学意义(P<措施)。HCSR的统计显著系数估计证实，即使在控制医院因素后，谷歌星级评定仍具有信息价值。同样，医院规模和类型变量(如营利性、教学性、农村性及其相互作用)的显著系数支持我们的假设，即医院特征影响消费者对医院质量的看法。

表2其中，第1列为FRM对HCSR2020与其各成分之间关联的估计，第2列为FRM估计结果(式2)，以Google星级评分为因变量，HCSR2020医院质量成分得分为解释变量，控制医院规模和类型。第3列和第4列显示了使用HCSR2021的组件分数的类似估计结果。在所有列中，因变量通过除以5缩放到0到1之间。结果使用分数响应概率回归进行估计，其标准误差对分布错配具有鲁棒性。

从第1列和第3列可以看出，HCSR2020和HCSR2021与各成分得分呈正相关(P<.001)，这并不奇怪，因为总体HCSR是根据个人得分的加权和分配的。第2列的结果显示，Google星级评分与患者体验有统计学上显著的正相关(P<.001)，死亡率(P<.001)，护理的有效性(P<.001) HCSR2020成分。谷歌星级评分与2020年再入院质量分数呈负相关(P= 0.01)和医学影像的有效利用(P=.06)，这表明被专家认为在这两个质量维度上表现良好的医院很可能被公众认为质量较低。相比之下，患者体验(P<.001)，死亡率(P<.001)，新的综合护理及时性和有效性(P<.001)均与谷歌星级评定呈正相关(见表2此外，与再入院的关系，以前是负相关的，在统计上已经变得微不足道(P=点)。在修订之前或之后，在医疗安全方面的HCSR成分评分的变化对Google星级评分没有显著影响(P=。49一个ndP= .30)。

系数估计为表2很难直接解释，因为FRM估计技术是非线性的，谷歌星级评级的尺度在0到1之间，并且需要调整以解释最终HCSR中各个组成部分的不同权重。因此，我们计算了单个质量成分的平均边际效应及其95%置信区间对谷歌星级和HCSR2021 (图2;数据来源:表2，第3列和第4列)。平均边际效应是对样本中每个观测值计算的边际效应的平均值[22]。

谷歌星级评分中患者体验的平均边际效应为1.143 (P<.001)，即HCSR患者体验评分每增加1个单位，预计谷歌星级评分平均增加1.143。同样，死亡率的平均边际效应为0.195 (P<.001)，再入院率为-0.035 (P=.52)，护理安全性为0.051 (P= 0.30)，护理的及时性和有效性为0.489 (P<措施)。相比之下，质量各维度对HCSR的平均边际效应具有统计学意义(P<措施)。患者经历、死亡率、再入院率、护理安全性、护理及时性和有效性的平均边际效应分别为1.942、2.236、2.260、1.988和2.249。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

我们的分析增加了先前的研究流，分析了社交媒体评级与HCSR或医院消费者对医疗保健提供者和系统的评估(HCAHPS)评级和其他选定的临床质量指标之间的关系[3.]。最近的一项系统文献综述确定了2020年之前发表的32项同行评议研究(25项使用美国数据)，这些研究定量研究了基于网络的评级与医疗保健结果之间的关系[18]。其中包括Bardach等人的研究[14]和Ranard等人[15]，发现Yelp医院评分与HCAHPS患者体验调查得分之间存在显著相关性，Campbell和Li [16Huppetz和Otto [23]，该研究发现Facebook的星级评分与HCAHPS分数之间存在正相关。Hawkins等人[24]发现HCAHPS得分最高(>9)的患者百分比与Twitter帖子文本分析得出的情绪得分呈正相关。随后的研究也报告了基于网络的评级(Yelp和Facebook)与HCSR和HCAHPS评分之间的类似关系[17，19]。

我们通过研究2021年HCSR方法修订前后谷歌星级评级与HCSR及其单个质量组成部分之间的关系，并使用更合适的统计估计技术，对这些分析进行了改进。我们之所以使用谷歌星级评级，是因为许多研究报告称，患者首先在谷歌上搜索他们的症状，然后再在谷歌上搜索与他们症状相关的医疗服务提供者，这表明消费者越来越多地使用谷歌来搜索和获得医疗服务。7-9]。然而，之前只有一项研究分析了谷歌的星级评级[19]。

我们的相关分析显示，众包谷歌星级评分与HCSR之间存在统计学上显著的正相关关系，证实谷歌星级评分提供了与专家HCSR一致的方向性信息。然而，谷歌星级评分的较窄分布表明，患者倾向于避免在基于网络的评论中给出极端的评分，从而导致对高质量医院的谷歌星级评分相对较低，反之亦然。在某种程度上，基于网络的评级影响了医院的选择，谷歌星级评级的较低方差可能导致对高质量医院的相对选择不足和对低质量医院的过度选择。具有医院类型和规模控制的FRM估计支持我们的猜想，即医院级别的特征(如规模和类型)影响消费者对医院质量的看法，从而影响基于网络的评级。估计的结果是表1(第1列和第2列)显示盈利和教学(P<.001)，这表明即使在控制了HCSR衡量的医院质量差异之后，这些医院与城市医院、非营利医院和非教学医院的基线相比，获得了更高的谷歌星级评分。同样，相互作用项的负系数农村×营利性(P<.001)，农村×教学(P=。04和P= 0.009)表明这些医院的评分相对较低。原木床上具有统计学意义的正系数(P= .005)表1(第1列)表明，即使在控制了医院质量和类型的差异之后，规模较大的医院也获得了更高的谷歌星级评级。然而，随着修订后的HCSR，谷歌星级评级偏向大型医院的现象似乎有所减弱(P= 23);表1(第2栏)。

与大多数先前研究的结果一致，基于网络的评分与患者体验HCAHPS质量评分相关[14-16，23，24]，我们的FRM估计了HCSR与其各个组成部分之间的关系表2显示出谷歌星级评分与HCSR患者体验评分之间的正相关。谷歌星级评分也与HCSR2020中死亡率、护理及时性和护理有效性的成分得分以及HCSR2021中护理及时性和有效性的综合得分呈正相关，这表明患者至少能够部分地评估其他质量维度。例如，在急诊室度过的平均时间(一项衡量护理及时性的基本指标)，以及在医学上没有必要的情况下过早分娩的新生儿的百分比(一项用于评估护理有效性的指标)，可以由通常不具备医学专业知识的患者来评估。HCSR2020再入院和有效使用医疗成像的质量分数与谷歌星级评分呈负相关，这可能导致医院消费者根据他们对再入院和有效使用医疗成像的看法做出次优选择。更新后的HCSR2021不提供医学影像学的单独评分，先前Google星级评分与再入院之间的负相关在统计上已经变得不显著，这表明修订后的HCSR方法可能会部分改善基于Google星级评分的次优医院选择。综上所述，这些结果表明，众包谷歌星级评分具有方向性信息价值，在医院质量的选择维度上与专家评级一致。

质量的各个组成部分对Google星级评级和HCSR的边际效应的比较(图2)揭示了提供谷歌星级评分的患者对医疗质量的一贯低估模式。如前所述，Google星级评分的总体方差小于HCSR的方差，因为患者似乎避免极端评分，这反过来解释了Google星级评分相对于HCSR对成分评分的改善相对较低的敏感性。此外，由于患者没有接触或无法评估再入院和护理安全的质量措施，谷歌星级评分似乎不受这些质量成分改善的影响。换句话说，医院需要在患者体验、死亡率以及护理的及时性和有效性方面做出重大改进，以提高其谷歌星级评级，但不应期望在护理安全和再入院方面的改进会导致谷歌星级评级的提高。

限制

我们的观察需要注意几点。显然，消费者对医院的选择是一个非常复杂的决定，不仅仅是由医院质量的综合评级所引导，还受医疗条件、财务状况、紧急情况、保险状况、网络访问、医院位置和提供者偏好的影响。虽然我们的研究没有分析网络评论如何影响消费者对医院的实际选择，但我们借鉴了其他研究[7，8，21]，这表明医院选择受到基于网络的评级的影响，并推测其对医院选择的边际效应。我们的分析基于美国基于网络的评级和专家评级的单一来源，可能无法推广到其他国家和评级来源。我们分析了Google星级评分与HCSR及其成分得分之间的关系;然而，我们忽略了包含在详细的基于网络的评审意见中的潜在的丰富数据。此外，Google星级评分是累积平均值，而HCSR是基于前3年的数据，这可能会导致数据不匹配和响应滞后。谷歌提高其算法的透明度，将提高可比性。即使是修订后的HCSR方法也受到了批评，原因如下:使用相对的基于绩效的评级，而不是预定义的绩效标准，缺乏真正的同行群体比较和风险调整，对数据的审计或验证不足，依赖咨询技术专家小组，而不是严格的同行评审[13]。为了解决这些问题，未来对HCSR方法的修订将需要对基于网络的评级与HCSR的关联进行更新分析。

对研究和实践的启示

与之前的研究结果一致，我们的分析表明，Google星级综合评分提供了与专家HCSR一致的方向性信息，并且还与选定的与患者体验相关的HCSR质量成分得分以及患者可以部分评估的其他成分(例如，死亡率以及护理的及时性和有效性)相关。虽然我们的研究结果表明，即使是基于网络的综合评级也能提供信息，但未来的研究将采用自然语言处理和情感分析技术，对详细的基于网络的评论进行处理，并评估它们与HCSR中质量指标的关联，从而产生更细致入微的见解。需要研究分析网络评级与专家评级的具体组成部分之间观察到的差异的原因。CMS等医院评级机构需要开展教育工作，以解决这些知识差距，并增加消费者对专家评级的使用。医院可以受益于使用众包评级作为其质量绩效的及时、可获取和动态指标，同时牢记其敏感性和偏见。由于其普遍和及时的可用性，众包数据与个人健康应用程序(如Google health和Microsoft HealthVault)以及电子医疗记录将继续发展，成为医疗保健更大的“数字化转型”的重要组成部分。25]。评估这些因素对患者和卫生保健提供者决策的相互作用的研究至关重要。