前言大語言模型理論的研究進(jìn)展與趨勢(shì)CCF人工智能與模式識(shí)別專業(yè)委員會(huì)1大語言模型理論概述：統(tǒng)計(jì)學(xué)習(xí)視角21.1大語言模型的理論框架21.2大語言模型的表達(dá)能力41.3大語言模型的泛化分析41.4大語言模型的優(yōu)化算法62大語言模型的構(gòu)建原則：理論指導(dǎo)實(shí)踐82.1預(yù)訓(xùn)練理論及其啟發(fā)82.2有監(jiān)督微調(diào)理論及其啟發(fā)102.3提示工程理論及其啟發(fā)133大語言模型的涌現(xiàn)能力：數(shù)學(xué)機(jī)理分析143.1擴(kuò)展法則機(jī)理分析153.2情境學(xué)習(xí)能力機(jī)理分析173.3思維鏈能力機(jī)理分析194結(jié)論20參考文獻(xiàn)20作者簡(jiǎn)介26領(lǐng)域大模型的研究進(jìn)展與趨勢(shì)CCF人工智能與模式識(shí)別專業(yè)委員會(huì)1引言282領(lǐng)域大模型的構(gòu)建流程292.1大模型評(píng)測(cè)292.2數(shù)據(jù)準(zhǔn)備與設(shè)計(jì)332.3持續(xù)性知識(shí)注入382.4提示工程423領(lǐng)域大模型驅(qū)動(dòng)的應(yīng)用框架473.1工作流473.2大模型智能體484國(guó)內(nèi)外領(lǐng)域大模型的典型實(shí)例544.1醫(yī)療領(lǐng)域554.2金融領(lǐng)域554.3法律領(lǐng)域564.4科研領(lǐng)域564.5商用領(lǐng)域565總結(jié)與展望57參考文獻(xiàn)57作者簡(jiǎn)介66大模型下的軟件工程研究進(jìn)展與趨勢(shì)CCF軟件工程專業(yè)委員會(huì)1引言702軟件工程領(lǐng)域大模型712.1軟件工程領(lǐng)域的基礎(chǔ)大模型722.2基于指令調(diào)優(yōu)的軟件工程領(lǐng)域大模型742.3軟件工程領(lǐng)域大模型的評(píng)估753大模型輔助軟件工程773.1大模型下的需求與設(shè)計(jì)773.2大模型下的代碼輔助生成793.3大模型下的軟件測(cè)試823.4大模型下的代碼分析與檢視843.5大模型下的軟件運(yùn)維853.6大模型下的漏洞工程864大模型下的開源生態(tài)884.1大模型加速開源生態(tài)的演進(jìn)與技術(shù)創(chuàng)新884.2大模型使生態(tài)復(fù)雜性加劇884.3大模型促進(jìn)軟件泛在化與生態(tài)擴(kuò)展895大模型下的軟件工程挑戰(zhàn)915.1整體層面的挑戰(zhàn)915.2具體層面的挑戰(zhàn)925.3軟件工程大模型數(shù)據(jù)與評(píng)估的挑戰(zhàn)995.4軟件工程領(lǐng)域大模型在可信性方面的挑戰(zhàn)1006總結(jié)100參考文獻(xiàn)101作者簡(jiǎn)介110數(shù)據(jù)準(zhǔn)備與語言模型交叉技術(shù)的研究進(jìn)展及發(fā)展趨勢(shì)CCF數(shù)據(jù)庫專業(yè)委員會(huì)1引言1141.1初識(shí)基于語言模型的數(shù)據(jù)準(zhǔn)備1151.2初識(shí)面向語言模型的數(shù)據(jù)準(zhǔn)備1171.3報(bào)告結(jié)構(gòu)1202基于語言模型的數(shù)據(jù)準(zhǔn)備1202.1國(guó)內(nèi)外研究現(xiàn)狀1202.2基于傳統(tǒng)方法的數(shù)據(jù)準(zhǔn)備1212.3基于語言模型的數(shù)據(jù)發(fā)現(xiàn)1262.4基于語言模型的數(shù)據(jù)查詢1292.5基于語言模型的數(shù)據(jù)融合1332.6基于語言模型的數(shù)據(jù)清洗1363面向語言模型的數(shù)據(jù)準(zhǔn)備1393.1國(guó)內(nèi)外研究現(xiàn)狀1403.2面向預(yù)訓(xùn)練的數(shù)據(jù)準(zhǔn)備1403.3面向指令微調(diào)的數(shù)據(jù)準(zhǔn)備1453.4面向模型推理的數(shù)據(jù)準(zhǔn)備1504發(fā)展趨勢(shì)與展望1544.1基于語言模型的數(shù)據(jù)準(zhǔn)備發(fā)展趨勢(shì)與展望1544.2面向語言模型的數(shù)據(jù)準(zhǔn)備發(fā)展趨勢(shì)與展望1575結(jié)束語160參考文獻(xiàn)161作者簡(jiǎn)介170大模型基礎(chǔ)軟件的研究進(jìn)展與趨勢(shì)CCF系統(tǒng)軟件專業(yè)委員會(huì)1引言1722國(guó)內(nèi)外研究和產(chǎn)業(yè)現(xiàn)狀1742.1大模型訓(xùn)練微調(diào)軟件1742.2大模型推理基礎(chǔ)軟件1802.3大模型開發(fā)工具鏈軟件1872.4面向RAG的大模型數(shù)據(jù)管理基礎(chǔ)軟件1952.5大模型編排軟件2032.6大模型操作系統(tǒng)2083國(guó)內(nèi)學(xué)術(shù)研究及產(chǎn)業(yè)進(jìn)展2133.1學(xué)術(shù)研究進(jìn)展2133.2產(chǎn)業(yè)結(jié)構(gòu)演化2154我國(guó)大模型基礎(chǔ)軟件研究的優(yōu)勢(shì)和挑戰(zhàn)2164.1我國(guó)大模型基礎(chǔ)軟件研究?jī)?yōu)勢(shì)2164.2我國(guó)大模型基礎(chǔ)軟件研究面臨的挑戰(zhàn)2175發(fā)展趨勢(shì)與展望2185.1大模型訓(xùn)練框架走向多模態(tài)和異構(gòu)融合2185.2加速大模型推理從“作詩”走向“作詩+做事”，賦能千行百業(yè)2195.3與平臺(tái)特性、模型特征深入融合，大模型開發(fā)工具鏈軟件向領(lǐng)域化發(fā)展2195.4數(shù)據(jù)管理向多模態(tài)和多層次發(fā)展，與傳統(tǒng)數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)一步融合2205.5多智能體編排軟件蓬勃發(fā)展，智能體與傳統(tǒng)軟件加速融合2206結(jié)束語221參考文獻(xiàn)222作者簡(jiǎn)介233大模型時(shí)代智能音頻信號(hào)處理的研究進(jìn)展與趨勢(shì)CCF語音對(duì)話與聽覺專業(yè)委員會(huì)1引言2372音頻表征學(xué)習(xí)2392.1傳統(tǒng)聲學(xué)特征2392.2深度學(xué)習(xí)表征2402.3自監(jiān)督學(xué)習(xí)語音表征2413基于大模型的音頻理解任務(wù)2463.1按標(biāo)簽類型分類2463.2按任務(wù)類型分類2473.3音頻標(biāo)簽預(yù)測(cè)2483.4序列事件檢測(cè)2493.5音頻事件檢測(cè)2493.6音頻描述2503.7大模型時(shí)代的音頻理解2503.8大模型時(shí)代的音頻理解評(píng)估指標(biāo)2514基于大模型的音頻生成任務(wù)2524.1語音生成大模型2524.2音效生成2544.3音樂生成2555通用音頻大模型進(jìn)展2575.1通用音頻大模型的3種形式2575.2基于編碼器的通用音頻大模型2585.3基于編碼器-解碼器的通用音頻大模型2615.4基于解碼器的通用音頻大模型2625.5融合其他模態(tài)的通用音頻大模型2665.6通用音頻大模型的數(shù)據(jù)集建設(shè)2676未來研究趨勢(shì)展望2687結(jié)束語269參考文獻(xiàn)269作者簡(jiǎn)介278大語言模型價(jià)值對(duì)齊的研究進(jìn)展與趨勢(shì)CCF自然語言處理專業(yè)委員會(huì)1引言2801.1大語言模型概述2801.2價(jià)值對(duì)齊的概念與意義2811.3大語言模型的對(duì)齊方法與分類2831.4本文的組織形式2832國(guó)際研究現(xiàn)狀2842.1整體研究方向與趨勢(shì)2842.2價(jià)值對(duì)齊方法研究2842.3價(jià)值對(duì)齊評(píng)估與可解釋性2893國(guó)內(nèi)研究進(jìn)展2923.1整體研究方向與趨勢(shì)2923.2價(jià)值對(duì)齊方法研究2933.3價(jià)值對(duì)齊評(píng)估與可解釋性2954國(guó)內(nèi)外研究進(jìn)展比較2974.1技術(shù)路線的共性2974.2技術(shù)路線的差異2984.3研究焦點(diǎn)與方法的比較2984.4應(yīng)用領(lǐng)域與場(chǎng)景對(duì)比3005發(fā)展趨勢(shì)與展望3015.1挑戰(zhàn)與機(jī)遇3015.2研究趨勢(shì)與創(chuàng)新方向3035.3對(duì)行業(yè)與社會(huì)的長(zhǎng)遠(yuǎn)影響3056結(jié)束語307參考文獻(xiàn)307作者簡(jiǎn)介315基于大模型的智能體：理論、關(guān)鍵技術(shù)與展望CCF自然語言處理專業(yè)委員會(huì)1引言3181.1智能體的背景介紹3181.2智能體的發(fā)展歷程3181.3基于大模型的智能體的意義3201.4本文的組織安排3202基于大模型的智能體的框架結(jié)構(gòu)3222.1感知模塊3232.2規(guī)劃模塊3242.3記憶模塊3252.4工具使用模塊3273基于大模型的智能體的能力演化路徑3293.1基座模型能力拓展3293.2智能體工作流編排3313.3自主探索與進(jìn)化3333.4多智能體協(xié)同演化3333.5智能體標(biāo)桿數(shù)據(jù)集3344基于大模型的智能體的應(yīng)用范式3354.1單智能體范式3354.2多智能體協(xié)作范式3364.3人機(jī)交互范式3375智能體社會(huì)的環(huán)境與行為機(jī)制3385.1智能體的社會(huì)行為與人格3385.2模擬社會(huì)的運(yùn)行環(huán)境3405.3使用智能體進(jìn)行社會(huì)模擬3426總結(jié)和展望344致謝345參考文獻(xiàn)345作者簡(jiǎn)介359