使用自然口语和自动映射自我报告的食物摄入量到食物成分数据的低负担实时膳食评估:方法比较研究

介绍

国家建议鼓励自我监测能量摄入，以支持健康的体重管理[1-3.]。基于手机的应用程序很普遍，包括食物成像和份量指南等功能[4-6]。然而，与以前的方法相比，没有一个可用的应用程序看起来更准确或减少用户负担[7]，高用户负担加上有限的准确性是常规使用的主要障碍。此外，较高的使用者负担与日常饮食习惯的改变有关，导致测量期间的能量和营养摄入不典型[8]。

使用语音理解技术来评估食物摄入量尚处于起步阶段，但在减少饮食评估负担和提高方法准确性方面具有巨大的潜力，特别是当与将报告的食物映射到适当的食物成分代码以进行自动营养分析时。我们开发了一款叫做COCO(对话式卡路里计数器)的应用9]，它将自然口语与机器学习相结合，以增强对自我报告饮食摄入量的捕获，并将其映射到广泛使用的食品数据库中的食品代码。本研究的主要目标是进行可行性研究，评估COCO测量能量摄入的方法与推荐方法的比较[10]。

方法

概述

本文描述了COCO对自动自我报告膳食摄入量的首次评估。该评估由马萨诸塞州波士顿塔夫茨大学Jean Mayer美国农业部人类营养衰老研究中心的营养研究人员进行，数据收集和分析由与COCO发展无关的个人执行。

可可营养师

COCO主要由研究小组的两名成员(JG和MK)与营养研究人员(SBR, SKD和CG)合作开发。中提供了该应用程序开发的详细描述多媒体附录1．简而言之，COCO使用机器学习，特别是深度卷积神经网络(CNN) [9]，以完成两项任务:(1)将用户对饮食事件的自然语言描述中的每个单词标记为特定的食品/饮料，其数量和品牌名称和/或描述[11];(2)将每种食品映射到几个国家食品数据库中的一个匹配实体[12]。使用的数据库是美国农业部标准参考和品牌食品[13]，明尼苏达大学数据库[14]，从餐馆网站上抓取的食物，以及Nutritionix数据库[15]。前端iOS应用[16调用后端Python Flask [17运行训练过的CNN模型的服务器。

食品数据库测量单位(如杯)和数量单位(如1、2)使用字符串匹配进行排序。例如，如果用户输入“cup”，它会将“cup”列为最匹配项。如果没有精确匹配，则默认为用户之前最常登录的食品单位;如果用户以前从未吃过这种食物，那么它默认为所有用户记录的最受欢迎的单位。每个用户的饮食日志都存储在PostgreSQL数据库中。18] Amazon Web Services上的数据库[19]。因此，用户的后续日志是定制的，这样配对的食物代码和用户描述的他们之前吃过的食物的数量排名更高或在顶部。输入是口头或书面的食物描述(例如，“晚餐，我吃了一碗切达奶酪辣椒”)。输出是每个标签食品的前15个匹配数据库食品的列表(根据表示用户所吃食物描述的向量与表示每个食品数据库条目的向量之间的点积相似度评分进行排名)，以及它们的排名数量(根据关键字匹配排名)，预测数量(例如，1，如果用户记录“一杯”)，以及从所选营养数据库中计算出的每种食品的相应营养成分。如果在不同的数据库中有重复的食物，当前的系统将同时返回，并根据数据库中的措辞与用户语言的匹配进行排名。

通过不做任何改变，参与者隐含地确认了COCO建议的排名第一的食品代码和食物量，或者如果排名第一的食品代码不正确匹配，他们会从数据库中选择更合适的食品代码，通过滚动15个选项的列表。如果提供的选项都不匹配，参与者可以删除食物并重复。食物量也采用了类似的方法。

参与者的评估和知情同意

参与者和知情同意

新COCO应用程序评估的研究方案由塔夫茨健康科学机构审查委员会审查和批准，并在入组前获得每位参与者的知情同意。总共有35名参与者通过传单、口口相传和电子邮件的方式被招募到一个邮件列表中，这些邮件列表中的个人要求联系营养研究学习机会或表达对该应用程序的兴趣。要符合条件，参与者必须年满18岁，身体健康。如果个人没有iOS 10.2或更高版本的iPhone，不愿意连续5天记录他们的食物摄入量并完成两次饮食召回，或者拥有营养学研究生学位，则不符合资格。入学时间为2018年6月至2019年6月。

评估协议

我们为COCO原型制定了一套评估方案，该方案与开发新的食物摄入评估工具的建议一致[20.]。参与者参加了为期5天的研究，并远程完成了所有组件。他们获得了一份研究的书面概述，包括如何下载和使用COCO应用程序的说明，以及一段提供使用技巧的短视频。参与者被要求连续5天使用COCO记录所有消耗的食物和饮料的数量和类型。摄入的记录可以使用自然的口语话语或手动文本输入完成。如果错过了一天的记录，他们被要求再记录一天，以完成总共5天的记录。营养小组(ST)的一名成员要求参与者在第三天及以后安排两次24小时食品召回电话(每天一次)。如果错过了前一天的食物记录，则重新安排饮食召回。每一次24小时的饮食召回大约需要一个小时来完成。在完成两项饮食回顾后，参与者被指示在研究的剩余时间内完成食物记录。

饮食回顾采用了推荐的多次访谈法[10]，然后让参与者不间断地列出前一天吃过的所有食物和饮料。此外，采访者浏览了一份被遗忘的食物清单，询问被记录为经常被遗忘的食物类别，然后是最后的调查，列出了所有被消耗的食物，确认食物的细节和份量。标准食物量小册子[21]被用来帮助估计食物的份量。它有八个部分:(1)被遗忘的食物清单，(2)玻璃杯和马克杯，(3)碗，(4)土墩，(5)圆圈，(6)网格和厚度块，(7)楔子，(8)形状和鸡块。使用Food Processor (version 10.13.1;ESHA研究公司)。

参与者还完成了人口统计问题，包括年龄、性别、种族、民族、教育程度、体重和身高。在研究结束时，研究人员向参与者发送了一份关于使用该应用程序的研究满意度调查，并将一张价值20美元的礼品卡邮寄到他们的家庭住址。

分析

麻省理工学院的开发团队在没有访问24小时饮食回忆数据的情况下，获取了COCO在研究日期间的能量和常量营养素摄入量数据、通过文本和语音数据捕获收集的信息量，以及COCO提出并经参与者修改的食物代码的百分比，并将其提供给塔夫茨大学的团队，用于对两种方法进行统计比较。

采用两种方法时两天的数据取每种方法的平均值。报告的平均能量摄入量和来自蛋白质、脂肪、碳水化合物和酒精的能量百分比使用成对样本在两种方法之间进行了比较t检验和Pearson相关性此外，对于5天内获得的COCO数据，利用Bonferroni校正的多重两两均值比较，评估了能量消耗的时间分布效应与召回顺序和星期几的关系。对于召回次数的比较，我们还使用了多重均值比较，以及简单的线性回归，无论是否调整工作日与周末的影响，来检查执行的召回次数的平均能源消耗的时间序列趋势。

所有试验均为生物学上合理的观察结果，先验定义为2天平均能量消耗<5000千卡(1名参与者因不可信而被排除在外)。使用STATA (release 15;StataCorp LLC)。显著性水平设为α≤0.05。

结果

参与者为25名女性和9名男性，平均年龄28岁(范围20-58岁)，平均BMI为24(范围17-48)kg/m²(表S1多媒体附录1)。当比较COCO的2天平均值和24小时回忆时，我们发现能量摄入没有显著差异(平均2092,SD 1044与平均2030,SD 687 kcal/d;P= 0.70)或蛋白质能量的百分比(平均16,SD 3 vs平均17,SD 5;P=.54)，脂肪(平均35,SD 9，平均36,SD 11;P= 0.27)或碳水化合物(平均50,SD 11 vs平均50,SD 9;P=.89)，与24小时回忆法比较(表1)。

两种方法的平均值非常相似，报告的饮食事件(正餐和零食)的数量也非常相似。平均而言，24小时召回中有4个项目未在COCO中报告(复合食品项目和饮料的成分)，2个项目在COCO中未在24小时召回中报告(零食，糖果和饮料)，部分反映了复合食品(例如，由肉，面包和其他项目组成的汉堡包)被两种方法加工的不同方式。2天COCO平均值与24小时蛋白质能量百分比回忆之间也存在显著的Pearson相关性(ρ=0.66;P< 0.001)，碳水化合物(ρ=0.58;P< 0.01)，脂肪(ρ=0.38;P= 03)R²值为0.119-0.438(图S1 in多媒体附录1)。

如图所示图1， COCO报告的总能源并无明显趋势(P=.69)，在控制周末与工作日的影响(P= =收)。我们还评估了参与者如何输入数据，以及将食物映射到适当的食物代码的准确性。大多数食物都是通过打字而不是说话来记录的。表2)。口头和书面描述中提到品牌或制备技术的比例相似，比例相对较低，约为15%。口头用餐描述更有可能提到食物的单位(36.1%对24.4%)。此外，由于COCO的编辑功能允许参与者修改食品类型、品牌或描述和单位数量(即1杯、2杯或3杯)，因此还跟踪了参与者修改COCO建议选项的频率(食品名称/描述/品牌的时间为8.1%，单位数量的时间为27.9%)。

‎ 查看此图

讨论

主要研究结果

这项研究表明，一款使用自然口语来捕捉参与者自我报告的应用程序，可以将已识别的食物与国家数据库中食物成分信息的自动映射相结合，从而产生自我报告的平均能量和大量营养素摄入量的估计值，以及吃的正餐和零食的数量，这些估计值与使用黄金标准的多次通过、采访者管理的24小时回忆法获得的结果没有显著差异。此外，在5天的研究期间，新的COCO应用程序报告的能量摄入没有任何负面趋势，这是一个积极的迹象，表明参与者能够在没有不必要负担的情况下完成他们的报告。据我们所知，这是第一份使用自然口语来收集饮食数据的报告，该过程允许将收集到的信息映射到食品代码中，以支持自动营养分析。虽然这些数据是初步的，但他们表明，这种新方法可能会促进准确、低成本和低负担的饮食跟踪方法，以实现健康和体重管理。

与前期工作比较

这项工作的一个关键方面是证明用自然口语收集的数据可以自动映射到国家食品数据库中合适的食品代码，这是以前没有做过的事情，允许自动和即时计算膳食摄入量。COCO的这一新颖功能将降低膳食评估的成本和用户负担，并将其与以前使用自然口语的工作区分开来，即由营养师为每种消耗的食物分配食物代码[22]。我们所展示的将收集到的信息默认映射为食品编码和份量大小的修改比例相对较低，这表明将语音识别和书写相结合的系统允许参与者使用的灵活性，这反过来可能提高接受度和可持续使用。

限制

这项研究的局限性包括，与包括食物摄影在内的完全开发的应用程序相比，COCO应用程序中的功能相对较少。此外，比较者方法是通过24小时回忆自我报告饮食摄入量，这被认为是饮食报告的黄金标准，但可能无法反映绝对的饮食摄入量。在第一项研究中，人口样本相对较小，并且由于不可信的报告，一名参与者被排除在数据分析之外。需要进一步完善COCO，并将收集到的数据与已知来源的膳食摄入量进行比较。

关于COCO的未来改进，重点是使系统尽可能地有用和低负担，下一步将是实现一个更复杂的聊天机器人，可以提供个性化的食物推荐[23]。例如，如果用户问“一杯牛奶有多少卡路里?”或者“我今天吃了多少克脂肪?”，并根据用户缺少的营养素和他们的饮食偏好推荐食物。如果用户的铁含量较低，系统可以根据之前的食物选择，推荐菠菜或牛排(这两种食物的铁含量都很高)。此外，对一些用户来说，拍摄食物的照片比口头记录更简单，可以为自然语言提供补充信息。多任务学习研究表明，在多个输入源和预测任务上训练的神经网络(例如，一边可能接受输入图像，而另一边可能接受输入句子)在两种模式上都比单独使用每一种模式有更好的性能[24]。减肥应用已经使用了计算机视觉;然而，据我们所知，还没有人将语言理解与计算机视觉结合起来。

总结

自我监测食物摄入是体重管理生活方式干预的基础建议。然而，目前的应用程序对食物摄入进行自我监控是一项繁重的工作，而且往往不准确。这是第一次使用自然口语将食物摄入报告映射到国家食品数据库中的食物成分代码并生成膳食摄入量自动评估的演示，展示了一种有希望的新方法，可以在支持报告数据准确性的同时，大大减少用户和研究者在评估饮食摄入方面的负担。