近日，上海財(cái)經(jīng)大學(xué)前沿人工智能實(shí)驗(yàn)室宣布，正式推出Fin-Eval 6.0評(píng)估基準(zhǔn)。這是一個(gè)為全面評(píng)估大型語(yǔ)言模型（LLMs）在金融領(lǐng)域的專業(yè)能力與安全性而構(gòu)建的開創(chuàng)性基準(zhǔn)數(shù)據(jù)集。該基準(zhǔn)基于廣受認(rèn)可的FinEval評(píng)估集進(jìn)行升級(jí)，創(chuàng)新性地加入了金融嚴(yán)謹(jǐn)性和金融多模態(tài)兩大維度，總題量超過(guò)16,000道，旨在滿足金融行業(yè)對(duì)高標(biāo)準(zhǔn)、專業(yè)化AI評(píng)估工具日益增長(zhǎng)的迫切需求。
Fin-Eval 6.0的核心亮點(diǎn)包括：
??? ?全面的領(lǐng)域覆蓋： 基準(zhǔn)測(cè)試包含六大核心模塊：金融學(xué)術(shù)知識(shí)、金融行業(yè)理解、金融安全認(rèn)知、金融智能體應(yīng)用、金融多模態(tài)能力與金融嚴(yán)謹(jǐn)性測(cè)試。
??? ?海量高質(zhì)量試題： 超過(guò)16,000道題目深度模擬了真實(shí)的金融工作場(chǎng)景與決策過(guò)程，旨在全方位檢驗(yàn)大模型在金融領(lǐng)域的綜合應(yīng)用能力。
??? ?聚焦前沿： 創(chuàng)新性地引入“金融多模態(tài)能力”、“金融嚴(yán)謹(jǐn)性測(cè)試”評(píng)估維度，直面當(dāng)前金融AI發(fā)展的熱點(diǎn)與難點(diǎn)。
六維評(píng)估矩陣：覆蓋金融領(lǐng)域全場(chǎng)景
Fin-Eval 6.0通過(guò)六大核心領(lǐng)域確保了評(píng)估的廣度與深度，實(shí)現(xiàn)了從理論到實(shí)踐、從單一能力到復(fù)雜任務(wù)的立體考察：
推動(dòng)中國(guó)金融AI邁向新高度
大型語(yǔ)言模型雖在通用領(lǐng)域表現(xiàn)卓越，但在高度專業(yè)化和風(fēng)險(xiǎn)敏感的金融行業(yè)，其安全與復(fù)雜任務(wù)處理能力仍是未知數(shù)。Fin-Eval 6.0的推出，為解決這一挑戰(zhàn)提供了堅(jiān)實(shí)的基礎(chǔ)。
該基準(zhǔn)不僅為金融AI的學(xué)術(shù)研究和技術(shù)發(fā)展設(shè)立了新標(biāo)桿，也為希望在中國(guó)市場(chǎng)部署AI應(yīng)用的金融機(jī)構(gòu)提供了更可靠的風(fēng)險(xiǎn)評(píng)估和模型選型依據(jù)。通過(guò)對(duì)模型優(yōu)勢(shì)與潛在風(fēng)險(xiǎn)的嚴(yán)謹(jǐn)評(píng)估，F(xiàn)in-Eval 6.0揭示了當(dāng)前大模型能力的邊界與短板，從而引導(dǎo)科研方向，促進(jìn)模型在關(guān)鍵金融能力上的突破。
更重要的是，F(xiàn)in-Eval 6.0的推廣有望催生一個(gè)圍繞金融AI評(píng)估與優(yōu)化的研究社區(qū)及產(chǎn)業(yè)生態(tài)。通過(guò)公開排行榜和持續(xù)更新的數(shù)據(jù)集，將激勵(lì)研究者與開發(fā)者之間的良性競(jìng)爭(zhēng)與合作，共同提升大模型在金融領(lǐng)域的整體水平，最終推動(dòng)更安全、可靠、公平的AI技術(shù)在金融領(lǐng)域落地，為金融行業(yè)的數(shù)字化轉(zhuǎn)型與社會(huì)經(jīng)濟(jì)的高質(zhì)量發(fā)展注入新動(dòng)力。
上海財(cái)經(jīng)大學(xué)校長(zhǎng)、黨委副書記、滴水湖高級(jí)金融學(xué)院院長(zhǎng)劉元春表示，當(dāng)前發(fā)布的金融領(lǐng)域大模型評(píng)測(cè)體系具有雙重價(jià)值：一方面為金融監(jiān)管部門制定技術(shù)治理框架提供依據(jù)，另一方面為商業(yè)機(jī)構(gòu)優(yōu)化模型開發(fā)指明方向。他指出，此類研究具有顯著的前瞻性和跨學(xué)科價(jià)值，體現(xiàn)了頂尖金融院校在推動(dòng)金融科技發(fā)展的重要責(zé)任。
測(cè)評(píng)團(tuán)隊(duì)負(fù)責(zé)人、上海財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)學(xué)院與滴水湖高級(jí)金融學(xué)院聯(lián)聘教授張立文指出，隨著人工智能技術(shù)日益深入地融入金融服務(wù)的核心流程，F(xiàn)in-Eval 6.0的發(fā)布標(biāo)志著金融AI評(píng)估領(lǐng)域邁出了關(guān)鍵一步。它旨在為構(gòu)建更加安全、高效且可靠的金融AI系統(tǒng)提供重要的洞察和發(fā)展方向指導(dǎo)。一方面，新增的“金融嚴(yán)謹(jǐn)性測(cè)試”模塊進(jìn)一步聚焦模型在金融場(chǎng)景中的安全性與可靠性；而“金融多模態(tài)能力評(píng)測(cè)”的引入，則填補(bǔ)了當(dāng)前評(píng)估體系在該領(lǐng)域的部分空白，并緊密貼合實(shí)際業(yè)務(wù)需求，具有重要意義。另一方面，F(xiàn)in-Eval 6.0對(duì)以往版本的基準(zhǔn)測(cè)試進(jìn)行了整合與拓展，使得整個(gè)評(píng)估體系更加全面、準(zhǔn)確，能夠更好地反映金融AI系統(tǒng)的綜合能力。
未來(lái)，上海財(cái)經(jīng)大學(xué)會(huì)更加關(guān)注金融領(lǐng)域的安全合規(guī)、能力建設(shè)與智能體評(píng)測(cè)等維度。在安全層面，將會(huì)建設(shè)更加體系化的評(píng)測(cè)框架，抓住模型“底線”。在能力建設(shè)層面，依托上財(cái)在金融學(xué)科建設(shè)中優(yōu)勢(shì)，研究團(tuán)隊(duì)將持續(xù)構(gòu)建具有行業(yè)代表性和復(fù)雜度的金融基準(zhǔn)測(cè)試集，動(dòng)態(tài)監(jiān)測(cè)和量化分析大模型在金融領(lǐng)域的能力與知識(shí)邊界。同時(shí)，在“智能體元年”的背景下，有關(guān)金融智能體的評(píng)測(cè)標(biāo)準(zhǔn)也在籌備建設(shè)中，敬請(qǐng)期待！