BiomedParse团队 投稿
量子位 | 公众号 QbitAI
用AI大模子一键解析MRI、CT和病理学等九大生物医学成像模式。
不仅复杂、不规章阵势对象能高精度识别：
而且通过对象识别阈值建模，模子大略检测无效的请示申请，并在图像中不存在指定对象时阻隔分割。
用户更是无需手动进行标注或领域框操作——
只需通过绵薄的临床讲话请示指定目的对象，举例“肿瘤领域”或“免疫细胞”，便能让AI准确识别、检测并分割图像中的联系区域。
还可一次性同期分割和标记通盘感意思的生物医学对象：
这即是来自微软、华盛顿大学等的琢磨团队最新发布的基础模子BiomedParse，已登Nature Methods。
医学图像的成像模式相反纷乱（如CT、MRI、病理切片、显微镜图像等），传统上需要施行众人模子进行处理。
而BiomedParse，通过文本驱动图像解析将九种医学成像模式整合于一个统一的模子中，联结预施行处理对象识别、检测与分割任务。
岂论是影像级别的器官扫描，也曾细胞级别的显微镜图像，BiomedParse皆不错平直哄骗临床术语进行跨模式操作，为科学家和临床医师提供了更统一、更智能的多模式图像解析决策。
在分割不规章阵势的生物医学对象方面，BiomedParse相较传统模子线路很是。通过将图像区域与临床见识关联，比拟手动框选分割精度莳植39.6%，提高了在要津任务中的可靠性。
当今，琢磨团队已将BiomedParse开源并提供Apache 2.0许可，联系演示demo和Azure API均已上线。
只需翰墨请示，精度卓越SOTA为复旧BiomedParse的预施行，琢磨团队哄骗GPT-4从45个公开的医学图像分割数据集生成了首个障翳对象识别、检测和分割任务的数据集BiomedParseData。
该数据集包含向上600万个图像、分割标注与翰墨描写三元组，涵盖64种主要生物医学对象类型及82个细分类别，触及CT、MRI、病理切片等九种成像模式。
通过GPT-4的当然讲话生成智商，琢磨东谈主员将洒落在各式现存数据麇集的分割任务用统一的医学见识和讲话描写整合起来，让BiomedParse能在更大，更万般的数据中长入认识。
在测试集上，BiomedParse在Dice悉数上显耀卓越了现时最优花样MedSAM和SAM，况兼无需对每个对象手动提供领域框请示。
即使在给MedSAM和SAM提供精确领域框的情况下，BiomedParse的纯文本请示分割性能仍能卓越5-15个百分点。
此外，BiomedParse的性能还优于SEEM、SegVol、SAT、CellViT、Swin UNETR等多个模子，尤其在复杂不规章的对象识别上线路隆起。
生物医学图像中的不规章对象一直是传统模子的扯后腿，而BiomedParse通过联结对象识别和检测任务，通过文本浮现斥逐了对对象特定阵势的建模。对复杂对象的识别精度远超传统模子，且在多模态数据麇集进一步突显了其上风。
揣度将来，团队默示BiomedParse领有繁多的发展后劲，可进一步推广至更多成像模式和对象类型，并与LLaVA-Med等高等多模态框架集成，复旧“对话式”图像分析，斥逐数据交互式探索。
作家简介论文共并吞作及通信作家均为华东谈主学者，远隔来自微软和华盛顿大学。
赵正德（Theodore Zhao），论文一作，为该琢磨作出主要本领孝敬。
微软高等应用科学家，现主要琢磨所在包括多模态医疗AI模子，图像分割与处理，大模子的安全性分析。
本科毕业于复旦大学物理系，博士毕业于华盛顿大学应用数学系，时间琢磨希尔伯特-黄变换和分数布朗灵通的多方法特征，以及立地优化在医疗限度的应用。
顾禹（Aiden Gu），论文一作。
微软高等应用科学家。本科毕业于北京大学微电子与经济专科。
其琢磨所在专注于医疗健康、生物医学，以及机器东谈主多模态模子。代表性责任包括创建首个医学限度特定的大讲话模子PubMedBERT，以及患者旅程模拟模子BiomedJourney。
潘海峰（Hoifung Poon），论文通信作家。
微软琢磨院健康将来（Health Futures）General Manager，华盛顿大学（西雅图）蓄意机博士。琢磨所在为生成式AI基础琢磨以及精确医疗应用。在多个顶级AI会议上获取最好论文奖，在HuggingFace上发布的生物医学开源大模子总下载量已达数千万次，在《当然》上发表首个全切片数字病理学模子GigaPath，部分琢磨效果运转在调和的医疗机构和制药公司中升沉为应用。
王晟（Sheng Wang），论文通信作家。
华盛顿大学蓄意机科学与工程系助理教悔，微软琢磨院造访学者。
他专注于东谈主工智能与医学的交叉琢磨，哄骗生成式AI惩处生物医常识题。其科研效果已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等顶级期刊上发表十余篇论文，并被Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence等多家驰名医疗机构等闲应用。
Mu Wei，论文通信作家。
微软Health and Life Sciences首席应用科学家，领有十余年医疗与金融限度的AI模子研发与部署陶冶。
他的团队聚焦于健康限度的多模态AI模子，琢磨效果涵盖生物医学图像解析、数字病理学基础模子、临床文档结构化的大模子应用以及大模子无理率揣测等所在。
感意思的童鞋可自行查阅～
论文地址：https://www.nature.com/articles/s41592-024-02499-w神色网页：https://microsoft.github.io/BiomedParse/代码：https://aka.ms/biomedparse-releaseAzure API网页：https://ai.azure.com/explore/models/MedImageParse/version/3/registry/azureml?flight=ModelCatalogIndustryFilters&tid=72f988bf-86f1-41af-91ab-2d7cd011db47
— 完 —
量子位 QbitAI · 头条号签约
情愫咱们，第一时期获知前沿科技动态