「多模態(tài)」這一術(shù)語(yǔ)看似新鮮，其實(shí)這個(gè)概念與人類(lèi)息息相關(guān)。從出生開(kāi)始，我們透過(guò)多種感官（如視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等）收集訊息，並自然地將這些訊息結(jié)合在一起，以理解世界。人類(lèi)的溝通本質(zhì)上就是多模態(tài)的，涉及語(yǔ)言、臉部表情、身體語(yǔ)言，有時(shí)還包括圖像。隨著人工智能（AI）的發(fā)展，它與人類(lèi)的互動(dòng)能力也變得愈來(lái)愈豐富，就像人類(lèi)之間彼此溝通的方式一樣。

整合聲光畫(huà)即時(shí)做決策

AI的最新突破——多模態(tài)AI，正不斷開(kāi)拓科技的新版圖。這種形式先進(jìn)的AI能夠同時(shí)處理、理解不同類(lèi)型的數(shù)據(jù)，包括文字、圖像、音訊和視頻，從而創(chuàng)建更具適應(yīng)能力的智能系統(tǒng)。

傳統(tǒng)的AI模型通常一次只能處理一種類(lèi)型的輸入，多模態(tài)AI則可以整合多種類(lèi)型的輸入資料。這使得AI能夠?qū)?nèi)容提供更準(zhǔn)確、更細(xì)緻的理解，產(chǎn)生更明智與具洞察力的決策，在日常生活中能讓我們以更多方式與科技互動(dòng)。

多模態(tài)AI訓(xùn)練系統(tǒng)會(huì)同時(shí)分析和回應(yīng)各種形式的數(shù)據(jù)，類(lèi)似於人類(lèi)同時(shí)使用不同感官接收並處理分析資訊。自動(dòng)駕駛汽車(chē)就是多模態(tài)AI的典型應(yīng)用實(shí)例，車(chē)輛同時(shí)使用來(lái)自攝影機(jī)、雷達(dá)、光達(dá)、超音波感測(cè)器和GPS的數(shù)據(jù)，透過(guò)整合這些輸入，汽車(chē)可以「看到」周?chē)h(huán)境，偵測(cè)障礙物，並即時(shí)做出決策，例如何時(shí)停車(chē)或避開(kāi)危險(xiǎn)。

多模態(tài)AI的影響已經(jīng)在許多產(chǎn)業(yè)中顯現(xiàn)，如OpenAI的GPT-4V和Google Gemini，這些模型可以結(jié)合文字、圖像和語(yǔ)音等信息，以提供更具互動(dòng)性、深思熟慮的回應(yīng)，不僅回答問(wèn)題，還能解釋影像和理解語(yǔ)音輸入，豐富用戶對(duì)話體驗(yàn)的同時(shí)增添了實(shí)用性。

在醫(yī)療保健領(lǐng)域，多模態(tài)AI結(jié)合醫(yī)療掃描、病患紀(jì)錄和實(shí)驗(yàn)室結(jié)果，正在改變?cè)\斷方式。這種整體方法增強(qiáng)了治療計(jì)劃，改善了患者的治療效果。

在創(chuàng)意產(chǎn)業(yè)中，多模態(tài)AI可根據(jù)文字提示生成圖片或作曲。這種創(chuàng)意與技術(shù)的融合為藝術(shù)家、設(shè)計(jì)師和內(nèi)容創(chuàng)作者開(kāi)啟了新的可能性。

在教育領(lǐng)域，多模態(tài)AI可以為學(xué)生作業(yè)提供個(gè)人化回饋，分析圖形等視覺(jué)數(shù)據(jù)，甚至透過(guò)分析面部表情、語(yǔ)音語(yǔ)調(diào)和身體語(yǔ)言來(lái)評(píng)估學(xué)生在線上課堂上的情緒參與度。

在零售領(lǐng)域，它可以評(píng)估客戶的瀏覽歷史、產(chǎn)品偏好和評(píng)論，提供高度個(gè)人化的購(gòu)物建議，更勝傳統(tǒng)推薦系統(tǒng)。

透過(guò)處理不同類(lèi)型的數(shù)據(jù)，多模態(tài)AI使這些系統(tǒng)不僅反應(yīng)更快，而且更有效率。對(duì)於企業(yè)而言，這項(xiàng)能力加速了創(chuàng)新，改善了客戶體驗(yàn)。

然而，仍有挑戰(zhàn)需克服。其中一個(gè)主要障礙是訓(xùn)練多模態(tài)模型所需的大量資料和運(yùn)算能力。結(jié)合各種資料類(lèi)型使得系統(tǒng)更加複雜且難以管理。數(shù)據(jù)品質(zhì)也至關(guān)重要——如果數(shù)據(jù)有偏見(jiàn)或不完整，AI的決策可能會(huì)出現(xiàn)缺陷，這在醫(yī)療等關(guān)鍵領(lǐng)域尤其令人擔(dān)憂。

訓(xùn)練模型資源需求龐大

另一個(gè)挑戰(zhàn)是，訓(xùn)練這些大規(guī)模AI模型所帶來(lái)的環(huán)境成本。多模態(tài)AI系統(tǒng)需要大量能源，尤其當(dāng)雲(yún)端運(yùn)算資源需求龐大時(shí)，對(duì)可持續(xù)發(fā)展的影響引人擔(dān)憂。

儘管面臨挑戰(zhàn)，多模態(tài)AI的未來(lái)依然充滿希望。多模態(tài)AI可以透過(guò)整合文字、聲音和視覺(jué)資料來(lái)創(chuàng)建沉浸式的虛擬世界，為各行業(yè)提供變革性的應(yīng)用。

隨著AI不斷發(fā)展，多模態(tài)系統(tǒng)將推動(dòng)創(chuàng)新，創(chuàng)造出更智能、更緊密連結(jié)的系統(tǒng)，以愈來(lái)愈類(lèi)人化的方式與世界互動(dòng)。

●中大賽馬會(huì)「智」為未來(lái)計(jì)劃

由香港賽馬會(huì)慈善信託基金捐助，香港中文大學(xué)工程學(xué)院及教育學(xué)院聯(lián)合主辦，旨在透過(guò)建構(gòu)可持續(xù)的AI教育生態(tài)系統(tǒng)將AI帶入主流教育。通過(guò)獨(dú)有且內(nèi)容全面的AI課程、創(chuàng)新AI學(xué)習(xí)套件、建立教師網(wǎng)絡(luò)並提供AI教學(xué)增值，計(jì)劃將為香港的科技教育寫(xiě)下新一頁(yè)。