第1章最優(yōu)化導(dǎo)論

1．1優(yōu)化的定義

1．1．1數(shù)學(xué)模型

1．1．2凸優(yōu)化

1．1．3擬凸函數(shù)

1．1．4全局和局部最優(yōu)

1．2優(yōu)化問題的類型

1．2．1連續(xù)與離散優(yōu)化

1．2．2無約束優(yōu)化與約束優(yōu)化

1．2．3單目標(biāo)優(yōu)化與多目標(biāo)優(yōu)化

1．2．4確定性優(yōu)化與隨機性優(yōu)化

1．2．5黑盒優(yōu)化和數(shù)據(jù)驅(qū)動的優(yōu)化

1．3多目標(biāo)優(yōu)化

1．3．1數(shù)學(xué)模型

1．3．2Pareto最優(yōu)性

1．3．3偏好建模

1．3．4偏好表示

1．4優(yōu)化中不確定性的處理

1．4．1評價中的噪聲

1．4．2魯棒優(yōu)化

1．4．3多場景優(yōu)化

1．4．4動態(tài)優(yōu)化

1．4．5時域魯棒優(yōu)化

1．5優(yōu)化算法的對比

1．5．1算法效率

1．5．2性能指標(biāo)

1．5．3可靠性評價

1．5．4統(tǒng)計測試

1．5．5基準(zhǔn)問題

1．6總結(jié)

第2章經(jīng)典優(yōu)化算法

2．1無約束優(yōu)化

2．1．1梯度法

2．1．2牛頓法

2．1．3擬牛頓法

2．2約束優(yōu)化

2．2．1懲罰函數(shù)法和障礙函數(shù)法

2．2．2拉格朗日乘子法

2．3無梯度搜索方法

2．3．1線搜索和模式搜索

2．3．2Nelder�睲ead單純形法

2．3．3基于模型的無梯度搜索方法

2．4確定性全局優(yōu)化

2．4．1基于Lipschitz的方法

2．4．2DIRECT算法

2．5總結(jié)

第3章進化和群智能優(yōu)化

3．1引言

3．2遺傳算法

3．2．1定義

3．2．2表示

3．2．3交叉和變異

3．2．4環(huán)境選擇

3．3實數(shù)編碼的遺傳算法

3．3．1實值表示

3．3．2混合交叉

3．3．3模擬二進制交叉和多項式變異

3．4進化策略

3．4．1(1 1)�睧S

3．4．2基于全局步長的進化策略

3．4．3基于個體步長大小的進化策略

3．4．4繁殖與環(huán)境選擇

3．4．5協(xié)方差矩陣自適應(yīng)進化策略

3．5遺傳規(guī)劃

3．5．1基于樹結(jié)構(gòu)的遺傳規(guī)劃

3．5．2初始化

3．5．3交叉與變異

3．6蟻群優(yōu)化算法

3．6．1整體框架

3．6．2擴展應(yīng)用

3．7差分進化算法

3．7．1初始化

3．7．2差分變異

3．7．3差分交叉

3．7．4環(huán)境選擇

3．8粒子群優(yōu)化算法

3．8．1傳統(tǒng)的粒子群優(yōu)化算法

3．8．2競爭粒子群優(yōu)化器

3．8．3社會學(xué)習(xí)粒子群優(yōu)化器

3．9模因算法

3．9．1基本概念

3．9．2拉馬克方法和鮑德溫方法

3．9．3多目標(biāo)模因算法

3．9．4鮑德溫效應(yīng)與隱藏效應(yīng)

3．10分布估計算法

3．10．1一個簡單的EDA

3．10．2求解離散優(yōu)化問題的EDA

3．10．3求解連續(xù)優(yōu)化問題的EDA

3．10．4多目標(biāo)EDA

3．11參數(shù)自適應(yīng)和算法選擇

3．11．1自動參數(shù)調(diào)優(yōu)

3．11．2超啟發(fā)式算法

3．11．3適應(yīng)度地形分析

3．11．4自動推薦系統(tǒng)

3．12總結(jié)

第4章機器學(xué)習(xí)簡介

4．1機器學(xué)習(xí)問題

4．1．1聚類

4．1．2維度約減

4．1．3回歸

4．1．4分類

4．2機器學(xué)習(xí)模型

4．2．1多項式回歸模型

4．2．2多層感知機

4．2．3徑向基函數(shù)網(wǎng)絡(luò)

4．2．4支持向量機

4．2．5高斯過程

4．2．6決策樹

4．2．7模糊規(guī)則系統(tǒng)

4．2．8集成模型

4．3學(xué)習(xí)算法

4．3．1監(jiān)督學(xué)習(xí)

4．3．2無監(jiān)督學(xué)習(xí)

4．3．3強化學(xué)習(xí)

4．3．4高階學(xué)習(xí)算法

4．4多目標(biāo)機器學(xué)習(xí)

4．4．1單目標(biāo)與多目標(biāo)學(xué)習(xí)

4．4．2多目標(biāo)聚類、特征選擇和特征提取

4．4．3多目標(biāo)集成模型生成

4．5深度學(xué)習(xí)模型

4．5．1卷積神經(jīng)網(wǎng)絡(luò)

4．5．2長短期記憶網(wǎng)絡(luò)

4．5．3自關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)和自編碼器

4．5．4生成對抗網(wǎng)絡(luò)

4．6進化與學(xué)習(xí)的協(xié)同作用

4．6．1進化學(xué)習(xí)

4．6．2基于學(xué)習(xí)的進化優(yōu)化

4．7小結(jié)

第5章數(shù)據(jù)驅(qū)動的代理模型輔助的進化優(yōu)化

5．1引言

5．2離線與在線數(shù)據(jù)驅(qū)動的優(yōu)化

5．2．1離線數(shù)據(jù)驅(qū)動的優(yōu)化

5．2．2在線數(shù)據(jù)驅(qū)動的優(yōu)化

5．3在線代理模型管理方法

5．3．1基于種群的模型管理

5．3．2基于世代的模型管理

5．3．3基于個體的模型管理

5．3．4模因算法中的信任域方法

5．4貝葉斯模型管理

5．4．1獲取函數(shù)

5．4．2進化貝葉斯優(yōu)化

5．4．3貝葉斯進化優(yōu)化

5．5貝葉斯約束優(yōu)化

5．5．1約束優(yōu)化的獲取函數(shù)

5．5．2兩階段獲取函數(shù)

5．6代理模型輔助的魯棒性優(yōu)化

5．6．1魯棒性優(yōu)化的雙目標(biāo)公式

5．6．2代理模型的構(gòu)建

5．7模型的性能指標(biāo)

5．7．1精度

5．7．2基于選擇的性能指標(biāo)

5．7．3等級相關(guān)性

5．7．4適應(yīng)度相關(guān)性

5．8總結(jié)

第6章多代理模型輔助的單目標(biāo)優(yōu)化

6．1引言

6．2局部和全局代理模型輔助優(yōu)化

6．2．1集成代理模型

6．2．2多代理模型的單目標(biāo)模因優(yōu)化

6．2．3多代理模型的多目標(biāo)模因優(yōu)化

6．2．4信任域方法輔助的局部搜索

6．2．5實驗結(jié)果

6．3雙層代理模型輔助粒子群算法

6．3．1全局代理模型

6．3．2局部代理模型

6．3．3適應(yīng)度評估

6．3．4代理模型管理

6．3．5實驗結(jié)果和討論

6．4代理模型委員會輔助的粒子群優(yōu)化

6．4．1代理模型委員會

6．4．2填充采樣準(zhǔn)則

6．4．3整體框架

6．4．4基準(zhǔn)問題的實驗結(jié)果

6．5分層代理模型輔助的多場景優(yōu)化

6．5．1多場景翼型優(yōu)化

6．5．2多場景優(yōu)化中的分層代理模型

6．6自適應(yīng)代理模型選擇

6．6．1基本思路

6．6．2選擇代理模型的概率模型

6．7小結(jié)

第7章代理模型輔助的多目標(biāo)進化優(yōu)化

7．1進化多目標(biāo)優(yōu)化

7．1．1假設(shè)和方法論

7．1．2基于分解的方法

7．1．3基于支配關(guān)系的方法

7．1．4基于性能指標(biāo)的方法

7．2高斯過程輔助隨機加權(quán)聚合方法

7．2．1代理模型輔助多目標(biāo)優(yōu)化的挑戰(zhàn)

7．2．2高效全局優(yōu)化方法

7．2．3多目標(biāo)優(yōu)化的擴展

7．3高斯過程輔助的基于分解的多目標(biāo)優(yōu)化

7．3．1MOEA/D

7．3．2主要框架

7．3．3局部代理模型

7．3．4代理模型管理

7．3．5討論

7．4高維多目標(biāo)貝葉斯優(yōu)化

7．4．1主要挑戰(zhàn)

7．4．2異構(gòu)集成模型構(gòu)建

7．4．3基于Pareto的多目標(biāo)貝葉斯優(yōu)化方法

7．4．4整體框架

7．5小結(jié)

第8章代理模型輔助的高維多目標(biāo)進化優(yōu)化

8．1高維多目標(biāo)優(yōu)化中的新挑戰(zhàn)

8．1．1引言

8．1．2多樣性與偏好

8．1．3拐點搜索

8．1．4求解非規(guī)則Pareto前沿面問題

8．2進化高維多目標(biāo)進化優(yōu)化算法

8．2．1參考向量引導(dǎo)的高維多目標(biāo)優(yōu)化

8．2．2拐點驅(qū)動的高維多目標(biāo)優(yōu)化算法

8．2．3雙存檔高維多目標(biāo)優(yōu)化算法

8．2．4高維多目標(biāo)優(yōu)化中的角排序

8．3高斯過程輔助的參考向量引導(dǎo)的高維多目標(biāo)優(yōu)化

8．3．1模型管理

8．3．2存檔維持

8．4分類代理模型輔助的高維多目標(biāo)優(yōu)化

8．4．1主要框架

8．4．2基于徑向投影選擇

8．4．3基于參考集的支配關(guān)系預(yù)測

8．4．4代理模型管理

8．4．5代理模型輔助的環(huán)境選擇

8．5dropout神經(jīng)網(wǎng)絡(luò)輔助的高維多目標(biāo)優(yōu)化

8．5．1AR�睲OEA

8．5．2高效深度dropout神經(jīng)網(wǎng)絡(luò)

8．5．3模型管理

8．5．4EDN�睞RMOEA整體框架

8．5．5原油蒸餾裝置的操作優(yōu)化

8．6小結(jié)

第9章數(shù)據(jù)驅(qū)動進化優(yōu)化中的知識遷移

9．1引言

9．2基于協(xié)同訓(xùn)練的代理模型輔助交互式優(yōu)化

9．2．1總體框架

9．2．2區(qū)間預(yù)測的代理模型

9．2．3適應(yīng)度評估

9．2．4iCSSL

9．2．5模型管理

9．3半監(jiān)督學(xué)習(xí)輔助粒子群優(yōu)化

9．3．1算法框架

9．3．2社會學(xué)習(xí)粒子群優(yōu)化

9．3．3模型管理策略

9．3．4未標(biāo)記數(shù)據(jù)的選擇

9．3．5實驗結(jié)果與討論

9．4多目標(biāo)優(yōu)化中問題之間的知識遷移

9．4．1遷移學(xué)習(xí)的領(lǐng)域自適應(yīng)

9．4．2從廉價到昂貴問題的知識遷移

9．4．3用于數(shù)據(jù)增強的CE�睟DA

9．4．4進化多目標(biāo)貝葉斯優(yōu)化

9．5多目標(biāo)優(yōu)化中目標(biāo)之間的知識遷移

9．5．1動機

9．5．2基于參數(shù)的遷移學(xué)習(xí)

9．5．3算法框架

9．6數(shù)據(jù)驅(qū)動的多精度遷移優(yōu)化

9．6．1雙精度優(yōu)化中的遷移學(xué)習(xí)

9．6．2遷移堆疊

9．6．3代理模型輔助的雙精度進化優(yōu)化

9．6．4實驗結(jié)果

9．7代理模型輔助的多任務(wù)多場景優(yōu)化

9．7．1多場景minimax優(yōu)化

9．7．2代理模型輔助的minimax多因子進化優(yōu)化

9．7．3實驗結(jié)果

9．8小結(jié)

第10章代理模型輔助的高維進化優(yōu)化

10．1代理模型輔助的協(xié)同優(yōu)化求解高維問題

10．1．1RBF 輔助的 SL�睵SO

10．1．2FES 輔助的 PSO

10．1．3存檔更新

10．1．4實驗結(jié)果和分析

10．2高維優(yōu)化中的多目標(biāo)填充準(zhǔn)則

10．2．1主要框架

10．2．2多目標(biāo)填充準(zhǔn)則

10．2．3實驗結(jié)果和分析

10．3針對昂貴問題的多模型多任務(wù)優(yōu)化

10．3．1多因子進化算法

10．3．2主要框架

10．3．3全局和局部代理模型

10．3．4基于全局和局部代理模型的多任務(wù)優(yōu)化

10．3．5實驗結(jié)果和分析

10．4隨機特征選擇下代理模型輔助的大規(guī)模優(yōu)化

10．4．1主要框架

10．4．2子問題的形成與優(yōu)化

10．4．3全局最優(yōu)位置的更新

10．4．4實驗結(jié)果和分析

10．5小結(jié)

第11章離線大或小數(shù)據(jù)驅(qū)動的優(yōu)化及應(yīng)用

11．1離線急救系統(tǒng)大數(shù)據(jù)驅(qū)動優(yōu)化的自適應(yīng)聚類

11．1．1問題建模

11．1．2用于離線數(shù)據(jù)驅(qū)動優(yōu)化的自適應(yīng)聚類

11．1．3實驗結(jié)果

11．1．4討論

11．2小數(shù)據(jù)驅(qū)動多目標(biāo)鎂爐優(yōu)化

11．2．1基于全局代理的模型管理

11．2．2基準(zhǔn)問題的驗證實驗

11．2．3電熔鎂爐優(yōu)化

11．3面向離線翼型優(yōu)化的選擇性集成模型

11．3．1問題建模

11．3．2離線數(shù)據(jù)驅(qū)動優(yōu)化的選擇性集成模型

11．3．3對比實驗結(jié)果

11．4離線數(shù)據(jù)驅(qū)動的選礦過程優(yōu)化中的知識遷移

11．4．1引言

11．4．2多代理模型優(yōu)化的知識遷移

11．4．3基于參考向量的最終解選擇

11．4．4選礦工藝優(yōu)化

11．5離線動態(tài)數(shù)據(jù)驅(qū)動優(yōu)化中的遷移學(xué)習(xí)

11．5．1動態(tài)數(shù)據(jù)驅(qū)動的優(yōu)化

11．5．2用于增量學(xué)習(xí)的數(shù)據(jù)流集成模型

11．5．3基于集成的遷移優(yōu)化

11．5．4用于最終解選擇的支持向量域描述

11．5．5實驗結(jié)果

11．6小結(jié)

第12章代理模型輔助進化神經(jīng)架構(gòu)搜索

12．1神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的挑戰(zhàn)

12．1．1架構(gòu)表示

12．1．2搜索策略

12．1．3性能評估

12．2神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索中的貝葉斯優(yōu)化

12．2．1架構(gòu)編碼

12．2．2核函數(shù)

12．2．3討論

12．3隨機森林輔助的神經(jīng)架構(gòu)搜索

12．3．1塊式架構(gòu)表示法

12．3．2離線數(shù)據(jù)產(chǎn)生

12．3．3隨機森林構(gòu)建

12．3．4搜索方法

12．3．5實驗結(jié)果

12．4小結(jié)

參考文獻