原文地址：http://news.sciencenet.cn/htmlnews/2023/6/502978.shtm
6月16日，在人工智能框架生態峰會2023上，中國科學院自動化研究所（以下簡稱自動化所）所長、研究員徐波正式發布“紫東太初”全模態大模型。
徐波介紹，“紫東太初”全模態大模型是在千億參數多模態大模型“紫東太初”1.0基礎上升級打造的2.0版本，其在語音、圖像和文本三模態的基礎上，加入視頻、傳感信號、3D點云等模態數據，研究突破了認知增強的多模態關聯等關鍵技術，具備全模態理解能力、生成能力和關聯能力。
徐波發布“紫東太初”全模態大模型。自動化所 供圖
值得一提的是，“紫東太初”2.0以自動化所自研算法為核心，以昇騰AI硬件及昇思MindSpore AI框架為基礎，依托武漢人工智能計算中心算力支持，著力打造全棧國產化通用人工智能底座。
會上，徐波與工作人員首次對外實時展示了“紫東太初”全模態大模型在音樂理解與生成、三維場景導航、信號理解、多模態對話等方面的新功能，并邀請現場觀眾與大模型即時互動。互動中，大模型展示了其能在三維場景里實現精準定位，還能夠通過圖像與聲音的結合完成場景分析。
據了解，自動化所自2019年起就確立了多模態大模型布局，整合所內圖像、文本、語音等研究方向的優勢資源開展集團式攻關，并于2021年9月成功打造“紫東太初”1.0多模態大模型，助推人工智能從“一專一能”邁向“多專多能”。“紫東太初”2.0從技術架構上實現了結構化和非結構化數據的全模態開放式接入，突破了能對信息理解和生成的多模態分組認知編解碼技術、能融合多個任務的認知增強多模態關聯技術等，多模態認知能力大幅提升。