EPFL的研究团队最近推出了Meditron，这是全球性能最优的开源大型语言模型，专为医疗行业设计，旨在辅助临床决策。
大型语言模型（llm）是基于海量文本训练的深度学习算法，旨在学习单词之间数十亿的数学关系（即“参数”）。我们大多数人对它们并不陌生，因为它们是聊天机器人的核心算法，例如OpenAI的ChatGPT和谷歌的Bard所使用的PaLM。目前最大的模型拥有数千亿个参数，训练成本高达数十亿美元。
尽管像ChatGPT这样的通用模型能够帮助用户完成从电子邮件到诗歌的多种任务，但专注于特定知识领域的模型可以更小，更易于使用。例如，经过高质量医学知识训练的法学硕士可能会使循证信息的获取更加普及，从而更好地支持临床决策。
虽然已有许多努力旨在提升法学硕士的医学知识和推理能力，但迄今为止，所产生的人工智能要么是封闭源（如MedPaLM和GPT-4），要么是规模有限，约130亿个参数，这限制了它们的可访问性和能力。
为改善可访问性和代表性，EPFL计算机与通信科学学院的研究人员开发了MEDITRON 7B和70B，这是一对分别具有70亿和700亿参数的开源法学硕士，专为医疗领域设计，并在他们发布在预印服务器arXiv上的文章中进行了详细描述，“MEDITRON-70B:扩展大型语言模型的医疗预训练。”
MEDITRON基于meta发布的开放获取lama-2模型，在临床医生和生物学家的持续参与下，接受了精心挑选的高质量医疗数据的训练。这些数据包括来自PubMed等开放存取库的同行评审医学文献，以及一系列独特的多种临床实践指南，涵盖多个国家、地区、医院和国际组织。
“在开发MEDITRON后，我们进行了四项主要医疗基准评估，结果显示其性能超越了所有其他可用的开源模型，以及封闭的GPT-3.5和Med-PaLM模型。
在一个许多人对人工智能快速发展感到怀疑甚至恐惧的时代，机器学习和优化实验室（MLO）负责人Martin Jaggi教授强调了EPFL MEDITRON开源的重要性，包括管理医学预训练语料库和模型权重的代码。
“MEDITRON的训练方式和使用的数据都是透明的。我们希望研究人员能够对我们的模型进行压力测试，并通过他们的改进使其更加可靠和健壮，从而在长期和必要的实际验证过程中建立工具的安全性。这些都是大型科技公司开发的封闭模型所无法实现的。”
由世卫组织和耶鲁大学医学院联合主办的全球智能卫生技术实验室主任、医学博士Mary-Anne Hartley教授正在负责这项研究的医学方面工作。“我们在设计MEDITRON时就考虑到了安全性。它的独特之处在于，它从透明的高质量证据来源对医学知识进行编码。现在，重要的工作是确保该模型能够恰当、安全地传递这些信息。”
这些高质量证据的来源之一是红十字国际委员会的临床实践指南。
红十字国际委员会数字卫生项目负责人哈维尔·埃尔金博士表示：“新的卫生工具往往对人道主义环境的需求不敏感。”红十字国际委员会是人道主义原则的关键守护者，我们很高兴与EPFL的这项倡议合作，使我们能够将我们的指导方针纳入技术中。”
12月初，在日内瓦举行的联合研讨会将探讨这种技术的潜力、局限性和风险，并由作者在MEDITRON上举行特别会议。
“我们开发MEDITRON是因为获取医学知识应该是一项普遍的权利，”Bosselut总结道。“我们希望这将成为研究人员在实践中安全地适应和验证这项技术的一个有用的起点。”
更多信息:陈泽明等，MEDITRON-70B: Scaling Medical Pretraining for Large Language Models, arXiv(2023)。DOI: 10.48550/ arXiv .2311.16079
由洛桑联邦理工学院提供引用:研究人员开发了医学知识的大型语言模型(2023年，11月28日)，检索于2023年11月29日https://techxplore.com/news/2023-11-large-language-medical-knowledge.html 作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司 内容仅供参考之用。
本文来自作者[访客]投稿，不代表rxizk号立场，如若转载，请注明出处：https://www.rxizk.cn/life/202507-1672.html
评论列表（4条）
我是rxizk号的签约作者“访客”！
希望本篇文章《科学家们构建了一个先进的医学知识语言模型》能对你有所帮助！
本站[rxizk号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览： EPFL的研究团队最近推出了Meditron，这是全球性能最优的开源大型语言模型，专为医疗行业设计，旨在辅助临床决策。...