第1章 引言
1.1 研究背景 1
1.2 研究現(xiàn)狀 5
1.2.1 指稱語(yǔ)理解 6
1.2.2 視覺(jué)對(duì)話 8
1.2.3 視覺(jué)問(wèn)答 11
1.3 研究?jī)?nèi)容與貢獻(xiàn) 14
1.4 組織結(jié)構(gòu) 17
第2章 單輪交互情形下的指稱語(yǔ)理解
2.1 研究概述 20
2.2 相關(guān)工作 23
2.3 變分背景框架 26
2.3.1 問(wèn)題表述 26
2.3.2 指稱語(yǔ)理解 29
2.3.3 指稱語(yǔ)生成 31
2.3.4 模型實(shí)現(xiàn) 32
2.4 實(shí)驗(yàn)結(jié)果 40
2.4.1 實(shí)驗(yàn)設(shè)置 40
2.4.2 指稱語(yǔ)理解實(shí)驗(yàn)結(jié)果 44
2.4.3 指稱語(yǔ)生成實(shí)驗(yàn)結(jié)果 55
2.5 小結(jié) 57
第3章 多輪交互情形下的視覺(jué)對(duì)話
3.1 研究概述 60
3.2 相關(guān)工作 64
3.3 預(yù)備知識(shí) 66
3.4 遞歸視覺(jué)注意力模型 66
3.4.1 判別模塊 68
3.4.2 匹配模塊 69
3.4.3 注意力模塊 72
3.5 其他模塊 73
3.5.1 語(yǔ)言特征表示 73
3.5.2 視覺(jué)特征表示 75
3.5.3 特征優(yōu)化與融合 76
3.5.4 非線性映射 78
3.5.5 Gumbel離散采樣 79
3.6 實(shí)驗(yàn)結(jié)果 80
3.6.1 實(shí)驗(yàn)設(shè)置 80
3.6.2 實(shí)現(xiàn)細(xì)節(jié) 82
3.6.3 對(duì)比方法 82
3.6.4 實(shí)驗(yàn)結(jié)果分析 85
3.7 小結(jié) 93
第4章 知識(shí)偏差情形下的視覺(jué)問(wèn)答
4.1 研究概述 96
4.2 相關(guān)工作 101
4.3 預(yù)備知識(shí) 104
4.3.1 因果圖 105
4.3.2 反事實(shí)表示 105
4.3.3 因果效應(yīng) 106
4.4 基于簡(jiǎn)化因果圖的反事實(shí)視覺(jué)問(wèn)答 107
4.4.1 反事實(shí)視覺(jué)問(wèn)答框架 108
4.4.2 技術(shù)實(shí)現(xiàn) 110
4.5 基于完全因果圖的反事實(shí)視覺(jué)問(wèn)答 115
4.5.1 反事實(shí)視覺(jué)問(wèn)答框架 115
4.5.2 技術(shù)實(shí)現(xiàn) 116
4.6 實(shí)現(xiàn)細(xì)節(jié) 119
4.7 實(shí)驗(yàn)結(jié)果 120
4.7.1 實(shí)驗(yàn)設(shè)置 120
4.7.2 簡(jiǎn)化因果圖實(shí)驗(yàn)結(jié)果 122
4.7.3 完全因果圖實(shí)驗(yàn)結(jié)果 134
4.8 小結(jié) 137
第5章 總結(jié)與展望
5.1 創(chuàng)新總結(jié) 139
5.2 未來(lái)工作展望 141
5.2.1 視覺(jué)推理任務(wù) 142
5.2.2 知識(shí)建模 142
5.2.3 知識(shí)偏差 143