오늘, 우리는 개발자가 이미지 검색, 분류, 이미지 세분화 및 보고서 생성과 같은 작업에 대한 응용 프로그램을 구축 할 수 있도록 설계된 업계 최초의 전신 3D 자기 공명 영상 (MRI) 기초 모델 중 하나에 대한 연구를 발표하고 있습니다. 이 새로운 다목적, 멀티 모달 모델을 통해 개발자는 임상의가 단일 컴퓨터 패스에서 전체 3D 장기 모델과 상호 작용할 수있는 응용 프로그램을 구축 할 수 있습니다.
이 모델은 이미지 검색 작업의 텍스트 설명과 MRI 스캔을 일치시킬 때 최대 30% 정확도가 나타났습니다.이 모델은 Biomed Clip¹와 같은 유사한 모델에 의해 입증 된 3% 기능에 비해 크게 개선되었습니다. 또한 내부 테스트 에서이 모델은 이전 모델에 필요한 50 개 이상의 시대에 비해 10 개의 훈련주기 내에서 질병 탐지 (이미지 분류)에서 전체 성능 수준을 달성했습니다. 이를 통해 의료 응용 프로그램 개발자는 동일한 자원으로 더 많은 실험을 수행하거나 교육 시간과 관련 비용을 최대 5 배까지 줄일 수 있습니다.
오늘 소개 된 기초 모델은 MR 이미지 처리 및 분석에 3D 기능을 제공 한 업계 중 하나입니다. 이전 2D MRI AI 모델은 특히 뇌종양, 심혈관 질환 및 근골격계 장애와 같은 복잡한 경우 복잡한 해부학 적 구조를 분석하는 능력을 제한 할 수 있습니다. 이 3D MRI Foundation 모델은 2D MRI 슬라이스를 완전히 상세한 3D 본체 표현으로 변환하여 이러한 한계를 극복하도록 설계되었습니다.
우리의 비전은 모델이 유방암 진단 및 위험 계층화의 객관성, 일관성 및 효율성을 향상시키기 위해 BI-RAD (유방 영상보고 및 데이터 시스템)와 같은 확립 된 임상보고 방법론과 완벽하게 조정하는 것입니다. 이 모델은 고유 한 이점을 바탕으로합니다. 3D MRI는 포괄적 인 해부학 적 및 병리학 적 세부 사항을 포착 할 수 있으며, 이는 유방 병변 (예 : 크기, 모양, 여백 및 내부 특성)의 더 나은 특성화를 허용 할 수 있습니다. 이 모델은 불규칙한 경계와 같은 특정 패턴을 인식하는 법을 배울 수 있으며 더 높은 BI-RADS 범주 (예 : BI-RADS 4 또는 5)와 관련이있는 빠른 대비 흡수..
공개적으로 이용 가능한 기타 기초 모델과 비교 하여이 모델은 MRI 특정 데이터 세트, 고급 3D 기능 및 전문 아키텍처 및 사전 훈련 방법으로 인해 이미지 검색, 분류 및 접지와 같은 작업에 대한 성능 향상을 보여주었습니다.
우리는 MRI 이미지 만 사용하여 19,000 개 이상의 연구에서 173,000 개 이상의 MRI 이미지 데이터 세트에서 1 세대 모델을 교육 하여이 기술을 개발했습니다. MRI에 대한 독점적 인 초점은 미세 조정에 대한 데이터가 제한되어있는 경우에도 전립선 암 및 알츠하이머 병 분류와 같은 작업에서 모델의 정확성을 향상 시켰습니다. 또한,이 모델은 다양한 MRI 기술에서 비롯된 데이터에 대한 교육을 받았으며, 따라서 모델은 연조직 해부학 및 지방을위한 T1과 같은 T1, 유동성 물 움직임을위한 T2와 같은 MRI 기술과 같은 뇌, 근육 및 기관과 같은 연조직의 뚜렷한 특징을 식별 할 수있는 능력을 제공했습니다.
이 MRI 중심 훈련은 X- 레이 및 CT 스캔을 위해 설계된 기초 모델과 차별화되는 반면, MRI는 자석을 사용하여 이미징에 필수적인 상세한 연질 조직 기능을 포착합니다. 모델의 아키텍처 및 교육 기술은 다양한 작업 및 사용 사례에서 성능을 향상 시키도록 설계되었습니다.
이 광범위하고 다양한 데이터 세트를 활용함으로써, 우리는 최첨단 학생-교사 자체 감독 학습 (더 작은 "학생"모델이 더 큰 "학생"모델이 라벨링 된 데이터를 요구하지 않고 더 큰 "학생"모델을 배우는 기술을 사용하는 기술)을 사용하여 파운데이션 모델을 사전에 사전에 선발했습니다. 관련이없는 쌍과 구별). 이러한 접근법은 모델의 정확성을 향상시키고, 라벨이 붙은 데이터에 대한 의존도를 줄이고, 멀티 모달 통찰력을 통합하며, 잠재적으로 워크 플로우를 간소화하여 의료 기관에 확장 가능하고 비용 효율적인 환자 치료를위한 솔루션을 제공 할 수있는 것으로 알려져 있습니다..
우리는 다양한 계산 용량에 맞는 다양한 비전 변압기 모델을 활용했습니다. 기본 모델은 성능과 자원 효율성 사이의 균형을 유지하며, 중간 정도의 계산 능력을 가진 환경에 이상적입니다. 또한 더 깊은 계층과 광범위한주의 메커니즘을 특징으로하는 고급 모델을 활용하여 텍스트 프롬프트 및 질병 탐지에서 이미지 검색과 같은 작업에서 우수한 성능을 제공 할 수 있습니다.
사전 여지가있는 동안 사용 가능한 데이터의 사용을 극대화하기 위해, 우리는 역전 중에 결석이없는 텍스트를 마스킹하여 누락 된 보고서를 처리하기위한 전략을 세분화하여 기존 MRI 정보에서 모델을 효과적으로 학습 할 수있었습니다. 또한 혁신적인 데이터 확대 전략을 구현하여 모델이 다양한 해상도 및 크기의 MRI 스캔을 처리하여 다양한 데이터 특성에서 강력한 성능을 보장 할 수 있습니다. 이 적응성은 특히 자원으로 제한된 설정에서 가치가 있으며, 일관되고 일반화 가능한 성능이 필수적 인 실제 배포를위한 준비된 모델에 대한 진보를 강조합니다..
3D MRI Foundation 모델은 여러 벤치마킹 작업에서 테스트되어 MRI 분석을 향상시킬 수있는 유연성과 잠재력을 보여줍니다. 초기 결과는 분류, 이미지 검색, 세분화 및 보고서 생성과 관련된 작업에 대한 주요 성능 메트릭의 개선을 나타냅니다. 자세한 결과는 아래 각 섹션에 제공됩니다..
분류
이 모델은 알츠하이머, 전립선 암 또는 심장 상태를 포함하는 공공 데이터 세트에서 질병 사례와 정상을 차별화하여 기존의 기초 모델을 정확하게 능가하는 탁월한 성능을 보여주었습니다. 알츠하이머, 심장 질환 및 전립선 암을 감지하는 것과 같은 신체 지역의 분류 벤치 마크에서 우리 모델은 최첨단 생체의 클립 모델에 비해 평균 8% 개선을 달성했습니다. 다양한 신체 지역의 다목적 성은 다양한 치료 경로를위한 솔루션을 구축 할 수있는 기회를 제공 할 수 있습니다. 특히,이 모델은 단 10 개의 훈련 에포크 내에서 피크 정확도에 도달하여 특수한 데이터 준비가 필요하지 않았습니다. 이 효율성은 새로운 작업에 대한 교육, 비용 절감 및 다운 스트림 애플리케이션의 성능 향상에 이상적입니다.
이미지 검색
이미지 검색 테스트 - 텍스트 프롬프트에서 이미지를 검색 할 수있는 능력을 확보 함 - MRI 스캔을 해당 텍스트 설명과 일치시키는 데있어 모델이 우수했습니다. 다양한 신체 영역, MR 시퀀스 및 질병 조건을 포함하여 2,500 개의 연구에서 25,000 개의 MRI 이미지를 포함하는 도메인 데이터 세트를 사용 하여이 모델은 짧은 보고서 문구 (예 :“장기/종양 유형이있는 MRI”)를 기반으로 상위 10 개 결과 내에서 원래 스캔을 검색하는 데 거의 30%의 성공을 달성했습니다. 이 성능은 비슷한 조건에서 3% 만 달성 한 바이오 오드 클립을 크게 앞질렀습니다. 일단 개발되면이 기능은 임상의가 비슷한 사례를보다 효율적으로 검색하는 데 도움이 될 수 있습니다.
세분화
방사선 치료 계획의 장기 세분화 (기관 윤곽선의 정확한 개요를 생성하는 것이 목표)는 정확도가 크게 개선되어 이전 모델에 비해 현저히 높은 주사위 점수를 달성했습니다. MR 모델을 기능 추출을위한 인코더로 활용하고 세분화를위한 맞춤형 디코더와 페어링 함으로써이 모델은 공개적으로 사용 가능한 SAM-MED 3D 모델의 인코더와 비교하여 헤드, 넥 및 복부 장기를 분할에서 10% ~ 40% 더 큰 정확도를 전달했습니다.
접지
문구 접지 - 문구 쿼리를 기반으로 의료 이미지 내에서 특정 엔티티를 식별하고 로컬 화하는 기능 - 모델은 DETR3D 모델에서 인코더를 능가하여 25% 더 큰 정확도로 헤드 및 목 기관을 찾습니다. 또한, 누락되거나 부분적으로 결석 된 기관 및 다양한 종양이있는 사례를 특징으로하는 선별 된 데이터 세트에서, 우리의 모델은 DETR3D보다 9% 더 나은 성능을 제공했습니다. 이 기능은 보고서를 정확한 시각적 발견과 관심 분야에 연결함으로써 AI 생성 통찰력의 해석 가능성을 향상시켜 모델의 진단 지원에 대한 신뢰를 키우는 데 도움이됩니다..
보고서 생성
우리는 MRI 보고서 생성을 자동화 할 때 모델의 성능을 평가하고 있습니다.
바카라사이트에서는 책임있는 방식으로 AI를 배치하기 위해 노력하고 있으며 생성 AI와 관련된 위험을 관리하기위한 여러 가지 기술을 모색하고 있습니다. 이러한 위험을 해결하는 방법에 대한 예를 제공하기 위해, 우리는 조사 결과를보다 정확하게 식별 할 수 있도록 이미지 이해를 향상시키는 시각적 근거 능력을 구축하고 있습니다..
예를 들어, 방사선 전문의의 예를 들어 뇌 병변 또는 연조직 이상과 같은 MRI에서 관찰 된 조건을 설명하는 보고서를 생성하십시오. 그런 다음이 보고서는 관련 영역을 시각적으로 표시하고 해석의 일관성을 보장함으로써 방사선 전문의를 돕기 위해 설명에 해당하는 MRI의 특정 영역을 강조하는 문구 접지 시스템으로 처리됩니다..
우리의 3D MRI Foundation 모델은 3D MRI 데이터의 복잡한 복잡성을 포착하도록 설계된 의료 이미징 분석 및 연구에 대한 획기적인 접근 방식을 제공합니다. 위에서 설명한 바와 같이, 모델은 분류, 세분화 및 이미지 검색과 같은 작업에서 공개적으로 이용 가능한 다른 연구 모델을 능가합니다. 유연성과 신뢰성은 연구원, 개발자 및 임상의가 환자 치료 개선을위한 길을 열어주는 데 도움이되는 귀중한 자원이 될 수 있습니다. 우리는 커뮤니티가 우리와 연결 하고이 모델이 어떻게 연구 및 임상 응용 프로그램을 발전시킬 수 있는지 탐구하도록 권장합니다.
¹에서 이용할 수있는 데이터 노출을 보여주는 생체 연구
² 파일의 데이터
개념 만. 이 작업은 개념 단계에 있으며 결코 제품이 될 수 없습니다. 판매가 아닙니다. 보고 된 결과는 예비이며 변경 될 수 있습니다. 상업용 가용성을 위해 미국 FDA 또는 기타 글로벌 규제 기관에 의해 지우거나 승인되지 않았습니다.
