Meta 开源全新 AI 模型 TRIBE v2，精准预测人类大脑多模态反应

3 月 28 日消息，科技媒体 The Decoder 昨日（3 月 27 日）发布博文，报道称 Meta 基础人工智能研究团队（FAIR）开源全新 AI 模型 TRIBE v2，可精准预测人类大脑对图像、声音和文本的反应。

该模型最大的亮点，在于无需实际测量，即可精准预测人类大脑对视觉、听觉和语言刺激的反应，有望打破传统神经科学研究周期长、成本高的瓶颈。

TRIBE v2 的核心逻辑在于“多模态融合”。模型接收视频、音频和文本后，分别通过 Video-JEPA-2、Wav2Vec-Bert-2.0 和 Llama 3.2 这三个预训练大模型提取特征。随后，Transformer 架构将这些信息整合，最终输出一张包含 7 万个“体素”（3D 像素）的高精度大脑活动图。

在性能表现上，TRIBE v2 的预测结果比单人真实的脑扫描图更清晰。真实的功能性磁共振成像（fMRI）常受心跳、头部微动等噪音干扰，TRIBE v2 通过直接预测“调整后的平均反应”来消除杂音。实验表明，其预测准确度远超传统线性模型，并成功在计算机上复现了大量经典神经科学实验。

该模型还揭示了不同感官如何激活特定的大脑区域。单独输入音频会激活听觉皮层，而同时输入多模态数据时，大脑颞叶、顶叶和枕叶交界处的预测准确率可飙升 50%。

尽管表现惊艳，TRIBE v2 仍存在局限性。它依赖存在数秒延迟的血流数据，无法捕捉毫秒级的神经动态，也缺乏触觉和嗅觉维度。

Meta 目前已全面开源该模型的代码与权重，未来将重点探索其在规划脑科学实验、构建类脑 AI 架构及诊断脑部疾病等领域的应用潜力。

附上参考地址

Meta's new AI model predicts how your brain reacts to images, sounds, and speech