这是一篇开放获取的文章,根据创作共用署名许可(http://creativecommons.org/licenses/by/2.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
有效的数据收集方法对于高质量监测卫生干预措施至关重要。传统的面对面数据采集方法劳动密集型、成本高、耗时长。随着移动电话用户的快速增加,短信有可能被用于评估中国农村人口健康干预措施。
本研究的目的是探讨使用短信作为数据收集工具来监测婴儿喂养干预计划的可行性。
参与者是参加婴儿喂养健康教育项目的中国农村0至23个月儿童的照顾者。我们使用了测试-再测试的方法。首先,我们通过短信调查收集数据,然后进行为期3天的面对面调查。我们比较了反应率、数据一致性、成本和参与者对两种方法的接受程度。此外,我们还采访了参与者,探讨他们不回复短信的原因,以及两种方法不一致的原因。此外,我们还评估了一天中发短信最合适的时间。
我们包括258名参与者;99人(38.4%)参加短信调查,177人(68.6%)参加面对面调查。与面对面调查相比,短信调查对至少一个问题(38.4% vs 68.6%)和所有7个问题(27.9% vs 67.4%)的回复率要低得多,数据一致性中等(大多数kappa值在0.5到0.75之间,类内相关系数在0.53到0.72之间)。参与两项调查的参与者对两种方法给出了相同的可接受度评分(在5分制中,两种方法的中位数为4.0,1=非常不喜欢,5=非常喜欢)。短信方式的每份问卷成本远低于面对面方式:所有问卷的成本为19.7元(3.13美元)对33.9元(5.39美元),完成问卷的成本为27.1元(4.31美元)对34.4元(5.47美元)。不回复的主要原因是参与者没有收到短信,太忙没有回复,或者没有及时看到短信。不同回答的主要原因是参与者忘记了他们在短信调查中的答案,他们改变了主意。我们发现,参与者更有可能在两个时间段立即回复短信:上午8点至下午3点和晚上8点至9点。
该方法数据一致合理,成本低,但响应率低。需要进一步的研究来评估可以提高回复率的措施的有效性,特别是在通过短信收集纵向数据方面。
在全球范围内,五岁以下儿童发育迟缓、体重不足和消瘦的比例估计分别为26%、16%和8%,造成40%以上的儿童死亡[
规划和管理对于卫生规划实现关键干预措施的高覆盖率至关重要。项目监测旨在评估活动的完成程度,如培训、监督、家访、药品、用品和咨询材料的分发。与可用性、访问、需求和质量相关的指标可以通过规划记录和例行报告获得。监测对于干预方案的过程评估至关重要,但在农村地区往往很难进行,因为没有足够的纸质或电子形式的初级保健记录,使我们能够监测诸如对护理人员的了解或接受铁补充剂的贫血儿童比例等指标[
数据收集的质量受到不同的偏倚来源的影响,这些来源一起被称为偏倚
全球范围内,包括中国在内的手机用户数量迅速增长。截至2013年5月,全球手机用户数量几乎与全球人口数量相当(估计有68亿手机用户)[
数据收集模式的选择受数据质量的指导,但也受可用的组织基础设施、估计的成本、预测的不响应率和数据收集周期的长度的指导[
本研究是中国赵县大规模儿童健康干预项目评估的一部分。作为本项目营养咨询的一部分,我们制定了一份喂养日历,并分发给所有护理人员,以解释世卫组织的喂养建议。
所有收到带有婴儿喂养信息日历的护理人员,如果符合我们的纳入标准,都有资格参加招聘。我们使用了测试-再测试方法[
本研究在中国河北省赵县王西庄乡的全部16个村卫生室进行。在赵县,大约75%的人口拥有移动电话,几乎所有家庭都拥有至少1部手机[
在研究之前,我们于2012年1月向王西厂镇所有0-23个月儿童的孕妇和照顾者分发了婴儿喂养日历。我们根据以下标准纳入了参与者:(1)有一个2岁以下的孩子,(2)在研究前收到了婴儿喂养日历,(3)提供了他们的手机号码,(4)愿意接收短信,(5)有一个手机号码,由我们从乡村医生那里发来的短信验证过。如果护理人员的手机号码是错误的,如果他们拒绝参与,或者如果他们参加了试点研究,我们就排除了他们。
我们要求村医在赵县妇幼保健院的一名医生的监督下,在他们的流域分发婴儿喂养日历。20世纪60年代,村级合作医疗计划启动,为在农村地区引入医疗保健,设立了乡村医生。然而,由于资金不稳定,护理质量差别很大,大多数乡村医生只接受过短期培训或根本没有接受过培训。现在,乡村医生通常至少有小学或初中的文化程度,他们与村民的关系很好[
在正式研究之前,我们对照顾者接收和回复短信的意愿进行了初步研究。我们选择了38名年龄在22岁至37岁之间的照顾者的便利样本,他们在我们的研究区域抚养一个0-23个月的孩子。在获得知情同意和人口统计信息后,我们向护理人员发送短信来测试调查。我们向护理人员询问了他们的手机使用情况,短信调查的经验,以及他们如何理解我们的问题。我们发现,几乎每个护理员(94.7%)都有自己的手机,而且几乎所有人(94.7%)都愿意回复信息进行研究。我们根据护理人员的反馈修改了我们调查的短信。我们在第一条和第二条消息中添加了更多信息,使其更加准确,包括关于消息发件人的信息、回复消息的费用、如何回复短信调查,并将问题总数从10个减少到8个。此外,我们还对短信的措辞做了一些小改动。
我们招募了3名2010-2011年刚毕业的医科大学本科毕业生作为本次研究的访谈者,并对他们进行了半天的面对面调查流程培训。我们与面试官进行角色扮演练习,讨论他们遇到的问题,以确保他们在进行面试时感到舒适和自信,并能够始终如一地进行面试。
我们首先要求护理人员参加为期3天的短信调查(2012年4月15日至17日),然后参加为期3天的面对面调查(2012年4月18日至20日)。根据赫尔曼·艾宾浩斯的测试,48小时后,只有大约27.8%的新学习的无意义音节能被记住。
在发送正式短信之前,我们请乡村医生通知参与者。我们首先进行了3天的短信调查。一名队员使用装有安卓2.2系统的智能手机(ME525,摩托罗拉,中国天津)向所有参与者单独发送短信。在第一天,我们从上午10点到晚上8点向所有参与者发送了第一个问题。在参与者在早上8点到晚上12点之间回复后,我们立即发送了下一条短信。主管(团队成员)单独检查消息,以确保发出的消息是正确的,并且每个消息都已成功发送。如果他们没有发送,如果我们在1天内没有收到回复,或者如果我们收到一个不明确的回应,我们会再次发送消息。智能手机会自动保存所有原始信息和发送和接收时间。当参与者回复我们的短信时,每条信息被收取0.1元(0.02美元);对于所有8条需要回复的信息,他们最多收取0.8元(0.13美元)的费用。 In the first survey message, instead of reimbursing text messages’ fees, we told participants that caregivers who completed the text message survey (responded to all 8 questions) would receive an infant recipe as a gift for their efforts after the face-to-face interview 3 days later. This was only a small incentive for caregivers; it was worth ¥2.0 (US $0.32) and the per capita annual net income of rural households was ¥7119.7 (US $1132.29) in 2012 according to the China Statistical Yearbook [
在短信调查之后,我们在第二个为期3天的调查期间进行了面对面的调查。村医生通知所有258名参与者(包括159名没有参与短信调查的护理人员)聚集在村诊所接受采访,并告诉他们采访的内容是婴儿喂养知识。每次面试都在一个安静的地方进行,面试官向每个参与者提问,并用笔和纸记录下答案。每次访谈大约持续8到10分钟。在面对面的调查之后,一名团队成员检查参与者是否对短信调查做出了回应,以及两项调查的结果是否相同。然后,面试官询问参与者不回复的原因,以及短信和面对面的回答有什么不同。对于参与两项调查的护理人员,我们要求他们对两种方法进行5分制评分,以评估其可接受性(1=非常不喜欢,2=不喜欢,3=还可以,4=喜欢,5=非常喜欢)[
如
短信调查由11条消息组成:2条不需要回复的介绍消息,1条询问参与者是否愿意参与的知情同意消息,7条包含7个核心问题的消息,以及1条感谢消息。在介绍信息中,我们告知参与者我们是谁,研究的目的是什么,以及他们在完成短信调查后可以得到什么好处(婴儿喂养配方)。
面对面调查共有27个问题:10个关于儿童和参与者的一般情况,7个核心问题,7个关于相同问题之间存在分歧的原因,1个关于不回答或回答不完整的原因,2个关于参与者对2种调查方法的看法。
短信1:你好!这里是首都儿科研究所和昭县妇幼保健院。我们已经给了你一个喂养日历,现在想知道你如何使用喂养日历。
短信2:除了正常的短信费用(1角/条)外,本次调查不需要额外的费用。请回复我们的短信。回复所有这些信息的护理人员将在几天内获得一份喂养食谱(不要回复前2条消息)。
短信3(问题1):请逐一回答问题。回答完一个问题后,你会收到下一个问题。总共有8个问题。你同意参加调查吗?请将您选择的号码写在下面,然后发送信息。
是的
没有
短信4(问题2):你或其他家庭成员看过喂养日历吗?请写下号码发送。
是的,我已经仔细读过了
是的,我读过了
是的,我读了一部分
不,我没有读过
不,我没拿到
短信5(问题3):在你看来,喂养知识对你来说容易理解吗?请写下号码发送。
是的,这很容易。
是的,这很容易。
是的,可以。
不,这很难。
不,这很难。
短信6(问题4):在您看来,喂养知识日历对您喂养孩子有用吗?请写下号码发送。
是的,它非常有用。
是的,它很有用。
是的,可以。
不,没用的。
不,完全没用。
短信7(问题5):在你看来,孩子到什么年龄应该只喝母乳,不吃其他任何食物或液体(包括水)?请在几个月内写下你的答案,并发送出去。
短信8(问题6):在您看来,什么年龄的孩子应该吃肉(比如猪肉、牛肉、羊肉、鸡肉、鸭肉)?请在几个月内写下你的答案,并发送出去。
短信9(问题7):在你看来,孩子应该母乳喂养到几岁?请在几个月内写下你的答案并发送出去。
短信10(问题8):你从哪里得到这些喂养知识?请选择下面最重要的一个。请写下号码发送。
喂食日历
乡镇卫生院医生
乡村医生
自己
亲戚或朋友
其他
短信11:您已经完成了所有问题,谢谢您的合作!
主要结果是反应率、数据一致性和成本。次要结果是可接受性、不回复短信的原因、两种调查方法之间不一致的原因以及发送短信的适当时间。
在这两项调查中,我们用两种方式定义回复率:(1)至少回答了一个核心问题的参与者的比例,以及(2)完成所有核心问题的参与者的比例。
只有当同一参与者同时参与面对面和短信调查时,才能评估数据是否一致。我们报告了类内相关系数(ICC)和kappa值,以及两种方法反应一致的百分比[
我们评估了总成本、每份问卷的成本、每份完成问卷的成本以及增量成本效益比(ICER),后者是根据完成所有核心问题的参与者比例计算的。这两种方法的费用来自9个方面:交通、食物、酒店、打印、短信、租用手机、数据录入、面试官、主管和当地协调员的报酬以及给面试者的礼物。
我们将可接受性定义为参与两项调查的参与者给出的评级。我们报告照顾者可接受性得分的中位数(5分制;1=非常不喜欢,2=不喜欢,3=还可以,4=喜欢,5=非常喜欢)。
不回复的理由是参与者给出的不回复短信的理由。
不一致的原因是护理人员认为可能是他们给出不同答案的原因。
发短信的最佳时间是大部分短信被回复的时间间隔。我们将最佳时间定义为至少75%的短信在收到后1小时内得到回复的时间。
我们将两项调查的数据输入EpiData 3.1 (EpiData协会,欧登塞,丹麦)。我们对两份文件进行了核对,通过核对智能手机或面对面问卷的原始数据来解决差异。
我们使用McNemar检验来检测调查方法在总体回复率方面的差异。我们通过kappa值(分类变量为简单kappa值,顺序数据为Fleiss-Cohen值),定量变量为ICC值,以及两种方法中相同答案的百分比来评估数据一致性[
我们获得了北京首都儿科学会伦理委员会的伦理批准。对于面对面调查,所有调查参与者都阅读了知情同意书并给出了书面同意。在短信调查中,参与者通过短信表示同意。
参与者登记流程图。
调查参与者及其子女的特征(N=258)。
特征 | 短信调查 |
面对面的调查 |
|
|
|
|
|
|
年龄(天),平均值(SD) | 359.6 (154.5) | 359.8 (155.7) |
|
性别(男/女) | 62/37 | 116/61 |
|
|
|
|
|
妈妈。 | 86 (87.8) | 115 (65.0) |
|
父亲 | 10 (10.2) | 7 (3.9) |
|
祖父母 | 1 (1.0) | 52 (29.4) |
|
其他 | 1 (1.0) | 3 (1.7) |
一个由于面试官忘记问这个问题,短信调查组中有1名参与者的数据丢失。
对于短信调查,258名参与者中有99人(38.4%)回答了我们的第一个问题,72人(27.9%)完成了所有8个问题(72.7%的参与者回答了第一个问题)。在面对面调查中,177名(68.6%)参与者参与了调查,174名(67.4%)完成了所有问题。第一个问题的回复率在两次调查中有显著性差异(McNemar检验χ21= 46.8,
短信和面对面调查中每个问题的回复率。
在两项调查中,相同的参与者总共回答了255个问题。
在两项调查中由相同的参与者提出的答案相同的问题。
问题 | 同一个人的问题,n | 答案相同的问题,n (%) | 调查方法,中位数(分位数范围) | Kappa/ICC (95% CI) | |
|
|
|
面对面的 | 短信 |
|
2 | 43 | 25 (58) | 2.00 (1.00, 2.00) | 2.00 (1.00, 2.00) | .68 (0.43, 0.92)一个 |
3. | 35 | 23 (66) | 2.00(1.00、3.00) | 3.00 (1.00, 3.00) | .50 (0.21, 0.79)一个 |
4 | 34 | 19 (56) | 1.00 (1.00, 2.00) | 1.50 (1.00, 2.00) | .23 (-0.12, 0.58)一个 |
5 | 29 | 18 (62) | 6.00(5.00、6.00) | 6.00(5.00、6.00) | .53 (0.29, 0.76)b |
6 | 29 | 19 (66) | 7.00(6.00、8.00) | 6.00(6.00、7.00) | .72 (0.51, 0.86)b |
7 | 31 | 22日(71) | 18.00(12.00、24.00) | 18.00(12.00、24.00) | .69 (0.50, 0.83)b |
8 | 33 | 28 (85) | - - - - - - | - - - - - - | .76 (0.56, 0.96)c |
总计 | 255 | 159 (62) | - - - - - - | - - - - - - | - - - - - - |
一个Fleiss-Cohen卡巴
b国际刑事法庭
c简单的卡巴
成本显示在
成本一个两项调查的比较。
项 | 面对面(¥/US $) | 短信(¥/US $) |
运输 | 1606.0 (255.41) | 0.0 (0.00) |
面试官和主管的食物 | 600.0 (95.42) | 300.0 (47.71) |
面试官和主管的酒店 | 1440.0 (229.01) | 0.0 (0.00) |
印制调查问卷及知情同意书 | 150.0 (23.86) | 0.0 (0.00) |
短信 | 0.0 (0.00) | 166.8 (26.53) |
租用手机 | 0.0 (0.00) | 150.0 (23.86) |
数据输入 | 53.1 (8.44) | 29.7 (4.72) |
面试官、主管和当地协调员的报酬b | 1790.0 (284.67) | 1110.0 (176.53) |
参加者礼物 | 354.0 (56.30) | 198.0 (31.49) |
总计 | 5993.1 (953.07) | 1954.5 (310.84) |
每份问卷(所有问卷) | 33.9 (5.39) | 19.7 (3.13) |
每份问卷(已填妥的问卷) | 34.4 (5.47) | 27.1 (4.31) |
一个基于2012年4月15日日元兑美元汇率。
b我们邀请乡镇卫生工作者和乡村医生作为当地协调员,收集和验证手机号码进行短信调查,并招募受访者进行面对面调查。
参与两项调查的参与者给出了他们对两项调查的可接受性得分。如
参与者对短信和面对面调查的看法(N=43)。
感知一个 | 短信调查 | 总计 | |||
|
3(好) | 4(像) | 5 .(非常喜欢) |
|
|
|
|
|
|
|
|
|
3(好) | 3. | 2 | 1 | 6 |
|
4(像) | 3. | 12 | 1 | 16 |
|
5 .(非常喜欢) | 1 | 5 | 15 | 21 |
总计 | 7 | 19 | 17 | 43 |
一个在这两项调查中,没有参与者选择1(非常不喜欢)或2(不喜欢)。
共有159名参与者没有回复我们的短信。其中104人(65.4%)参加了面对面调查。在104名参与者中,51人(49.0%)不是我们发送短信的手机的持有者。我们询问了其余48名参与者不回复我们短信的原因(由于面试官忘记问这个问题,5名护理人员的数据缺失)。
参与者不回复短信的原因(n=48)。
原因 | n | % |
没有收到短信 | 19 | 40 |
忙得没有时间回复或者没有及时看到短信 | 16 | 33 |
不知道怎么回答 | 5 | 10 |
不想回复 | 4 | 8 |
其他一个 | 2 | 4 |
不知道 | 2 | 4 |
一个一个“不知道这条消息需要回复”,另一个“忘记回复”。
43名参与者总共回答了255个问题:在比较面对面和短信问题时,159个(62.4%)问题答案相同,96个(37.6%)问题答案不同。我们询问了参与者不同意的原因。我们得到了69个答案;参与者没有回答剩下的27个问题。
调查方法不一致的原因(n=69)。
原因 | n | % |
忘了这个问题的答案 | 46 | 67 |
改变了想法 | 12 | 17 |
在短信调查中因为误解问题而写错数字 | 7 | 10 |
面对面调查时因误解问题答错 | 2 | 3. |
不知道 | 2 | 3. |
智能手机会自动记录每条短信的发送时间和回复时间。我们没有将所有问题同时发送给参与者,而是在收到前一个问题的回复消息后才发送下一个问题;因此,由于之前的问题没有得到回应,有些问题没有发送给所有参与者。我们总共发送了806条短信,收到了来自护理人员的回复信息628条。
按小时计算,在早上8点到晚上9点之间对短信的响应时间。
我们的研究表明,与面对面的方法相比,短信方法有较低的回复率,中等到良好的数据一致性,并且成本较低。参与两项调查的参与者都认为这些方法同样可以接受。参与者对没有回复短信的主要解释是没有收到短信、太忙没时间回复或者没有及时看到短信。参与者对不同意见提供的主要解释是,参与者忘记了他们的短信答案,他们改变了主意。我们还发现,参与者在两个时间段内收到短信后更有可能立即回复:早上8点到下午3点以及晚上8点到9点。
调查样本的低应答率导致无应答错误;因此,它是短信数据收集的一个关键问题。文献研究显示不同的反应率,从14%到100%不等[
许多因素会影响短信调查的回复率。与参与者的初步接触是第一步;然而,由于很难找到正常运作的流动电话号码,这往往会失败[
我们发现,参与者给出的不回复短信的最重要原因是他们没有收到调查短信,或者他们太忙了,无法回复,其次是他们不知道如何回复或他们不想回复。解决这些问题的干预措施有:更多地与参与者进行个人接触,让乡村医生更积极地告知护理人员,发送关于研究和如何回复的信息信息,定期更新手机号码,并在适当的时候发送短信。需要进行进一步的研究,以深入探讨不回复的原因,以及这些方法在提高短信调查回复率方面的有效性。
数据有效性是短信被接受为数据收集方法的先决条件,并且已经有少量研究解决了这一问题。惠特福德等[
研究的成本会随着研究设计的不同而变化。在我们的研究中,如果改变一些因素,成本可能会更低。首先,由于当时没有软件可以将手机短信中的数据传输到电脑中,所以数据输入是要收费的。因此,这些成本可以用于数据输入。其次,自动短信系统可以通过租用手机和扣除短信费用来避免费用。第三,不回复率和短信提醒提高了每份问卷的平均费用。因此,回复率越高,调查的成本就越低。第四,随着科技的快速发展,短信和手机租赁费将会降低。然而,我们预计交通费用将会增加,而面试官和主管的饮食和酒店费用、打印费用、数据输入费用和照顾者的礼物费用在中国在相对短的时间内不会发生巨大变化。总的来说,短信数据收集方法可以潜在地节省程序监控的资金。
我们研究的优势在于,我们探讨了两种调查方法之间不响应和不一致的原因。这让我们更深入地了解了为什么一些参与者没有回应,以及为什么回应是不同的,这些信息可以用于进一步的研究,以提高回复率或验证短信调查。在我们的研究人群中,上午8点到下午3点以及晚上8点到9点之间的回复最高,这可以指导未来的短信数据收集。然而,我们的研究有一些局限性。首先,我们使用手机手动发送短信,因为我们在研究期间没有找到合适的短信平台。其次,由于短信调查的回复率较低,我们用于数据一致性分析的样本量较小。两种调查方法中不回应和反应不同的原因是由护理人员面对面询问和提供的,但我们没有办法验证他们的答案。面试可能需要探究不回应和不一致回答的真正原因。
据我们所知,这是第一个探索在中国农村使用短信作为项目监测数据收集方法的可行性的研究。虽然短信调查对参与两项调查的受访者来说都是可以接受的,而且成本低于传统的面对面调查,但它的回复率低于面对面调查。未来的研究需要评估能够提高回复率的策略的有效性,特别是在通过短信收集纵向数据方面。
人类免疫缺陷病毒
同类内相关系数
增量成本效益比
世界卫生组织
我们感谢所有参与我们研究的母亲和医学生的工作。我们也感谢我们在赵县妇幼保健院的同事对实地工作的协调和支持。本研究由中国卫生部资助(项目编号:201002006)。米歇尔·海伦娜·范·维尔托芬由帝国全球电子健康中心资助。资助者在研究设计、数据收集和分析、发表决定或手稿准备中没有任何作用。
没有宣布。