【講座題目】基于多模態(tài)大模型的智能理解與內容生成
【時 間】2022年12月24日 上午：9:10-10:00
【地 點】保定校區(qū) 計算機系 自動化系 騰訊會議：841-767-337
【主 講 人】王金橋，研究員/博士生導師，中科院自動化所
【主講人簡介】
王金橋，中國科學院自動化研究所紫東太初多模態(tài)中心常務副主任，研究員，博導，武漢人工智能研究院院長，中國科學院大學人工智能學院崗位教授，多模態(tài)人工智能產業(yè)聯(lián)盟秘書長，主要從事多模態(tài)大模型、視頻分析與檢索、大規(guī)模目標識別等方面的研究。共發(fā)表包括IEEE國際權威期刊和頂級會議論文300余篇，國際期刊50余篇，國際會議220余篇。完成國家標準提案3項，發(fā)明專利36項，10項國際視覺算法競賽冠軍，北京市科技進步一等獎，吳文俊人工智能科技進步二等獎，中國發(fā)明創(chuàng)新銀獎。
【報告內容簡介】
自從GPT/Bert模型提出以來，基于自監(jiān)督學習的預訓練模型迎來了爆發(fā)式發(fā)展。當前包含文本、語音、圖像、視頻等多種模態(tài)數(shù)據的信息在不斷融合，預訓練模型正由單模態(tài)邁向多模態(tài)自監(jiān)督學習，我們通過跨模態(tài)多任務自監(jiān)督學習融合文本、語音、圖像、視頻海量弱相關的多模態(tài)數(shù)據，開拓性地實現(xiàn)了圖像、文字、語音和視頻等不同模態(tài)數(shù)據之間的統(tǒng)一表示和互相生成，基于國產化基礎軟硬件平臺打造了紫東太初大模型開放服務平臺，既可以實現(xiàn)一站式低代碼的模型微調和模型部署，支持跨模態(tài)理解和跨模態(tài)生成，在智慧文旅、智慧城市、智能制造和智慧醫(yī)療等多個領域實現(xiàn)了落地應用。