像所有科学家一样，Eric Courchesne 习惯于在发表前让同行评审员仔细审查他的研究。但对于他10 月份发表在《分子精神病学》( Molecular Psychiatry ) 上的最新研究，同行评审并未就此止步。发表后不久，研究人员就在在线论坛上实时、公开地批评这项工作。

“这真的很有价值，因为它有助于建立一种可以迅速消除同行误解的沟通方式，”加州大学圣地亚哥分校神经科学教授Courchesne说。

在这项研究中，Courchesne 和他的同事描述了一种机器学习模型，该模型基于 240 名 1 至 4 岁儿童血液样本中的基因表达水平，可以以 80% 至 86% 的准确率识别出患有自闭症的人。该团队在 73% 的样本上训练了数万个不同的模型，在剩余的 27% 上测试了表现最好的模型，然后使用贝叶斯平均法将前 742 个模型折叠成最终的“集成”版本。

论文发表几天后，一位匿名评论者在PubPeer上发帖质疑该研究的方法， PubPeer是研究人员讨论期刊出版物的在线平台。“使用相同的数据进行训练和评估（测试）不是好的做法，几乎肯定会导致过度拟合和夸大的性能估计，”评论者以别名Cynanchum itremense 断言。

Spectrum联系了独立专家，征求他们对这项研究和匿名帖子的评论，之后其中一位专家，英国牛津大学发育神经心理学名誉教授Dorothy Bishop ，在她自己的个人网页上提出了有关这项研究的其他问题，以及 PubPeer。她的评论引起了 Courchesne 和Cynanchum itremense的回复。

“这是科学应有的运作方式，”Bishop 告诉Spectrum，他指的是出版后同行评审中的公开讨论。“人们可以提出有关研究的问题，研究人员会参与评论，这就是这里发生的事情。”

“我不觉得答案能解决所有问题，”她补充说，“但我很高兴 Courchesne 博士的回答，他的回答确实澄清了一些问题。”

“我喜欢出版后的同行评审评论和来回讨论，”Courchesne 说。“我有点希望多萝西早点成为审稿人之一。”

小号多名独立专家告诉Spectrum，匿名评论家提出的方法论问题可能会限制研究结果的普遍性。

纽约州立大学北部医科大学精神病学和行为科学副教授Yanli Zhang-James说：“他们根据测试集的表现选择 [用于集成] 的模型，所以这绝对是一种警告，表明存在某种循环分析。”锡拉丘兹-纽约。

Zhang-James 说，应用贝叶斯平均法使问题长期存在，其中测试数据集为模型提供信息，而不是作为真正独立的样本“保留”——这是机器学习分析中的一个常见问题。

但 Courchesne 坚持认为没有循环。“最初的训练与测试集之外的验证是分开的，”他说。“这使我们能够识别出 742 个高性能模型，并在测试集中证明它们具有高性能。”

Zhang-James 说，这部分分析“非常可靠和全面，他们对这些个别模型的结果实际上已经很好了”。

Courchesne 说，关注最终集成模型的性能错过了这项研究的重点。“在我看来，它的目的是测试使用相同的主题，在使用合奏时是否会有所改进。”

他们确实发现了一个改进：整体模型比大多数单个模型的表现更准确。Courchesne 说，该团队的下一步是测试该集合是否能有效地识别独立样本中的自闭症儿童。

乙ishop的帖子还对血样本身的可靠性和可重复性展开了讨论。

“基因表达水平可能因时间而异，具体取决于一天中的时间或你吃的东西，”她在博客中写道。“我不知道这可能有多重要，但无法在本文中进行评估，因为测量值来自单个血液样本。”

Courchesne 说，他的团队确实从训练样本中收集了大约 30 名儿童的纵向样本，间隔 9 到 24 个月。Courchesne 说，通过完整训练集发现的 1,822 个预测模型中，约有 91% 在此纵向子集中以相同的高水平执行。

尽管该团队将这些结果写入了该作品的早期未发表版本中，但并未包含在最终出版物中。

“这不是一个很大的数字，”Courchesne 说。“这很贵，而且孩子们很难回来。” 尽管如此，未发表的发现表明血液测量是可重复的，他说。

此外，他补充说，他的团队还采取了其他预防措施：Courchesne 说，同一名抽血医生为每个孩子抽血，如果孩子发烧，则推迟抽血，因为免疫激活可能会改变基因表达水平。RNA 也是由同一个人以完全相同的方式从这些样本中提取的。

“我们真的很统一，”他说。

鉴于这些预防措施，哈佛医学院儿科副教授、波士顿儿童医院计算健康信息学项目教员Sek Won Kong表示，他不太关心因一天中的时间或饮食引起的基因表达水平波动问题- “尽管必须有一些基因与年龄相关，但会随着时间的推移而波动并对环境因素做出反应，”他说。

Courchesne 的团队已经建立了一个包含 2,000 多名幼儿的数据集，他们的下一项研究正在测试集成模型区分自闭症和语言延迟的能力，他说。

引用：

https://doi.org/10.53053/PHME4244