伊人成综合亚洲,青柠在线视频精品一区二区,中文字幕三级黄色网站

這是一本系統(tǒng)梳理并深入解析ChatGPT核心技術、算法實現(xiàn)、工作原理、訓練方法的著作，也是一本能指導你搭建專屬ChatGPT和實現(xiàn)大模型遷移及私有化的著作。本書得到了MOSS系統(tǒng)負責人邱錫鵬等多位專家的高度評價和鼎力推薦。
具體地，通過本書你能了解或掌握以下知識：
?ChatGPT的工作流程和技術棧
?ChatGPT的工作原理和算法實現(xiàn)
?基于Transformer架構(gòu)的一系列預訓練語言模型的原理
?強化學習的基礎知識
?提示學習與大模型涌現(xiàn)出的上下文學習、思維鏈
?大模型的訓練方法及常見的分布式訓練框架
?基于人工反饋的強化學習整體框架
?從零搭建類ChatGPT模型，模擬完整的ChatGPT訓練過程

本書集理論、實戰(zhàn)和產(chǎn)業(yè)應用于一體，提供大量經(jīng)詳細注釋的代碼，方便讀者理解和實操。總之，不管里是想深入研究ChatGPT本身，還是正在研發(fā)或使用其他大模型，本書都應該能給你頗具價值的技術啟發(fā)與思考，讓你在大模型的路上快速前行，少走彎路。

Preface
前　言
為什么要寫本書
2022年11月30日，ChatGPT模型問世并立刻在全球范圍內(nèi)引起了軒然大波。無論AI從業(yè)者還是非從業(yè)者，都在熱議ChatGPT極具沖擊力的交互體驗和驚人的生成內(nèi)容。這使得人們對人工智能的潛力和價值有了更深入的認識。對于AI從業(yè)者來說，ChatGPT模型成為一種思路的擴充，大型語言模型不再是刷榜的玩具，所有人都認識到高質(zhì)量數(shù)據(jù)的重要性，并堅信有多少人工，就會有多少智能。ChatGPT模型效果過于優(yōu)秀，在許多任務上，即使是零樣本或少量樣本數(shù)據(jù)也可以達到SOTA（Stafe Of The Art，優(yōu)選水準）效果，因而很多人轉(zhuǎn)向大型語言模型的研究。
不僅Google提出了對標ChatGPT的Bard模型，國內(nèi)也涌現(xiàn)出了許多中文大型語言模型，如百度的文心一言、阿里巴巴的通義千問、昆侖萬維的天工3.5、商湯的日日新、知乎的知海圖AI、清華智譜的ChatGLM、復旦的MOSS等等。斯坦福大學的Alpaca模型問世之后，證明了70億參數(shù)量的模型雖然達不到ChatGPT的效果，但已經(jīng)極大地降低了大型語言模型的算力成本，使得普通用戶和一般企業(yè)也可以使用大型語言模型。之前一直強調(diào)的數(shù)據(jù)獲取問題，可以通過GPT-3.5或GPT-4接口來解決，并且數(shù)據(jù)質(zhì)量相當高。如果只需要基本的效果模型，數(shù)據(jù)是否再次精標已經(jīng)不是那么重要了（當然，要獲得更好的效果，則需要更精準的數(shù)據(jù)）。
在此期間，涌現(xiàn)出了大量相關的博客、論文和開源項目。筆者的感覺是每天都要學習太多東西，但所學的內(nèi)容都太零散了。經(jīng)過一番思考和準備之后，筆者決定系統(tǒng)地梳理目前ChatGPT所涉及的相關技術，以幫助讀者進行深入的學習。本書主要強調(diào)知識的系統(tǒng)性和完整性，這是網(wǎng)絡學習所無法替代的。技術書可以彌補新媒體碎片化教育的短板，閱讀圖書更便于查漏補缺。正規(guī)的技術書在內(nèi)容嚴謹性方面做得相對較好，對內(nèi)容的正確性和規(guī)范性要求極高，更適合從業(yè)人員進行學習和日常檢索。當然，學習的道路并不是非此即彼，只有利用各種方式，多渠道學習，才能真正實現(xiàn)全方位高效學習。
技術的變化是飛速的，在撰寫本書初期，還沒有出現(xiàn)LLaMa、GPT-4、ChatGLM等模型，當它們出現(xiàn)之后我們隨之修改了相關內(nèi)容，以期本書介紹ChatGPT相關技術時更具前沿性。技術會持續(xù)更新?lián)Q代，書中提到的很多技術也許在不遠的將來便會被更為強大的技術所取代，但這并不影響我們學習這些技術的原理，因為學習這些技術本身會引發(fā)更深層次的思考。
讀者對象
本書適合以下讀者閱讀：
AIGC（AI Generated Content，人工智能生成內(nèi)容）相關領域的研究人員或技術人員。
初入AI行業(yè)且基礎不深的從業(yè)人員。
對ChatGPT感興趣的非從業(yè)人員。
本書特色
本書是一本集理論、實戰(zhàn)和落地于一體的ChatGPT力作，具備以下特點。
理論聯(lián)系實際：本書不僅全面介紹了自然語言處理與強化學習的相關理論知識，還通過案例講解使這些理論更易于理解和掌握，幫助讀者在實踐過程中更深入地了解這些領域的基礎和前沿動態(tài)。
實戰(zhàn)應用落地：本書詳細介紹了如何從零開始，逐步構(gòu)建一個獨立且具有個性化特點的大型語言模型。通過分析代碼和實際案例，幫助讀者更好地理解和掌握相關技術，從而實現(xiàn)自己的創(chuàng)新應用。
擴展AIGC視野：本書針對AIGC領域進行全方位的剖析，而非僅關注ChatGPT本身。這使得讀者能夠全面了解AIGC的發(fā)展歷程、技術原理、應用場景和未來趨勢，為自己的研究和實踐提供更廣闊的視野。
洞悉行業(yè)發(fā)展：本書作者具有豐富的AI從業(yè)經(jīng)驗，對AI領域的發(fā)展動態(tài)、技術挑戰(zhàn)和應用前景有深刻的認識。因此，本書不僅提供了嚴謹?shù)募夹g分析，還融入了作者的專業(yè)洞察，幫助讀者在理論與實踐之間找到很好的平衡點。
如何閱讀本書
本書從邏輯上分三部分。
第一部分（第1和2章）從宏觀角度帶領讀者了解ChatGPT。第1章介紹ChatGPT的由來、發(fā)展史以及用例。第2章對ChatGPT進行解構(gòu)，基于AIGC相關背景知識逐步展開ChatGPT所應用的技術棧，讓讀者對ChatGPT有更加完整的認知。
第二部分（第3～9章）介紹ChatGPT的核心技術。本書強調(diào)理論與實戰(zhàn)并行，在介紹相關技術的同時，針對相應核心算法展開實戰(zhàn)，在真實中文數(shù)據(jù)集下驗證算法性能，讓讀者從更深層次了解相關算法。第3章介紹基于Transformer結(jié)構(gòu)的預訓練語言模型。第4章介紹強化學習的基礎知識。第5章介紹從提示學習與大型語言模型涌現(xiàn)出來的上下文學習、思維鏈等能力。第6章介紹大型語言模型的訓練方法及常見的分布式訓練框架。第7章重點對GPT系列模型進行分析。第8章介紹PPO強化學習算法以及基于人工反饋的強化學習整體框架的設計。第9章進行類ChatGPT的實戰(zhàn)，通過文檔生成問題任務模擬完整的ChatGPT訓練過程。
第三部分（第10章）對ChatGPT的未來發(fā)展進行展望。從AIGC未來發(fā)展方向出發(fā)，探索云邊協(xié)同、工具應用、可控生成、輔助決策四方面內(nèi)容，分別從C端場景和B端場景探索ChatGPT與實際應用場景的結(jié)合點，并給出從事AIGC行業(yè)的參考建議。
勘誤和支持
由于作者水平有限，書中難免存在一些遺漏或者不夠準確的地方，懇請讀者批評指正。如果你發(fā)現(xiàn)了書中的錯誤或遇到任何問題，可以將其提交到 https://github.co

CONTENTS
目　錄
贊譽
前言
第1章　了解ChatGPT1
1.1　ChatGPT的由來1
1.1.1　什么是ChatGPT2
1.1.2　ChatGPT的發(fā)展歷史2
1.2　ChatGPT的工作流程3
1.3　ChatGPT用例3
1.3.1　日常任務4
1.3.2　編寫代碼5
1.3.3　文本生成6
1.3.4　辦公自動化9
1.4　本章小結(jié)10
第2章　ChatGPT原理解構(gòu)11
2.1　背景知識11
2.1.1　自然語言處理的發(fā)展歷程12
2.1.2　大型語言模型的發(fā)展歷程14
2.2　ChatGPT同類產(chǎn)品18
2.2.1　BlenderBot 3.018
2.2.2　LaMDA20
2.2.3　Sparrow23
2.3　ChatGPT的工作原理25
2.3.1　預訓練與提示學習階段26
2.3.2　結(jié)果評價與獎勵建模階段28
2.3.3　強化學習與自我進化階段28
2.4　算法細節(jié)29
2.4.1　標注數(shù)據(jù)29
2.4.2　建模思路30
2.4.3　存在的問題30
2.5　關于ChatGPT的思考31
2.6　本章小結(jié)32
第3章　預訓練語言模型33
3.1　Transformer結(jié)構(gòu)33
3.2　基于Encoder結(jié)構(gòu)的模型36
3.2.1　BERT36
3.2.2　RoBERTa39
3.2.3　ERNIE40
3.2.4　SpanBERT42
3.2.5　MacBERT43
3.2.6　ALBERT44
3.2.7　NeZha45
3.2.8　UniLM46
3.2.9　GLM47
3.2.10　ELECTRA48
3.3　基于Decoder結(jié)構(gòu)的模型49
3.3.1　GPT49
3.3.2　CPM51
3.3.3　PaLM51
3.3.4　OPT52
3.3.5　Bloom53
3.3.6　LLaMA54
3.4　基于Encoder-Decoder結(jié)構(gòu)的模型55
3.4.1　MASS55
3.4.2　BART56
3.4.3　T557
3.5　基于夸夸閑聊數(shù)據(jù)的UniLM
　　　模型實戰(zhàn)59
3.5.1　項目簡介59
3.5.2　數(shù)據(jù)預處理模塊59
3.5.3　UniLM模型模塊63
3.5.4　模型訓練模塊65
3.5.5　模型推理模塊72
3.6　本章小結(jié)76
第4章　強化學習基礎77
4.1　機器學習的分類77
4.1.1　有監(jiān)督學習78
4.1.2　無監(jiān)督學習78
4.1.3　強化學習79
4.2　OpenAI Gym82
4.2.1　OpenAI Gym API簡介83
4.2.2　環(huán)境簡介84
4.3　強化學習算法85
4.3.1　Q-learning算法85
4.3.2　SARSA算法87
4.3.3　DQN算法89
4.3.4　Policy Gradient算法93
4.3.5　Actor-Critic算法95
4.4　本章小結(jié)98
第5章　提示學習與大型語言
　　　　模型的涌現(xiàn)99
5.1　提示學習99
5.1.1　什么是提示學習100
5.1.2　提示模板設計100
5.1.3　答案空間映射設計102
5.1.4　多提示學習方法103
5.2　上下文學習104
5.2.1　什么是上下文學習104
5.2.2　預訓練階段提升上下文
　　　學習能力105
5.2.3　推理階段優(yōu)化上下文
　　　學習的效果107
5.3　思維鏈108
5.4　基于提示的文本情感分析實戰(zhàn)113
5.4.1　項目簡介113
5.4.2　數(shù)據(jù)預處理模塊114
5.4.3　BERT模型模塊115
5.4.4　模型訓練模塊118
5.4.5　模型推理模塊128
5.5　本章小結(jié)131
第6章　大型語言模型預訓練132
6.1　大型預訓練模型簡介132
6.2　預訓練模型中的分詞器133
6.2.1　BPE133
6.2.2　WordPiece135
6.2.3　Unigram136
6.2.4　SentencePiece137
6.3　分布式深度學習框架138
6.3.1　并行范式簡介139
6.3.2　Megatron-LM145
6.3.3　DeepSpeed147
6.3.4　Colossal-AI149
6.3.5　FairScale152
6.3.6　ParallelFormers153
6.3.7　OneFlow153
6.4　基于大型語言模型的預訓練實戰(zhàn)155
6.4.1　項目簡介155
6.4.2　數(shù)據(jù)預處理模塊156
6.4.3　執(zhí)行模型訓練159
6.5　基于大型語言模型的信息
　　抽取實戰(zhàn)168
6.5.1　項目簡介168
6.5.2　數(shù)據(jù)預處理模塊169
6.5.3　Freeze微調(diào)模塊172
6.5.4　LoRA微調(diào)模塊176
6.5.5　P-Tuning v2微調(diào)模塊181
6.6　本章小結(jié)186
第7章　GPT系列模型分析187
7.1　GPT-1～GPT-4系列模型分析187
7.1.1　GPT-1和GPT-2模型187
7.1.2　GPT-3模型189
7.1.3　GPT-3的衍生模型：
　　　　　　Code-X192
7.1.4　GPT-4模型193
7.2　InstructGPT模型分析194
7.2.1　模型簡介194
7.2.2　數(shù)據(jù)收集195
7.2.3　模型原理198
7.2.4　模型討論199
7.3　基于GPT-2模型的文本摘要實戰(zhàn)200
7.3.1　項目簡介200
7.3.2　數(shù)據(jù)預處理模塊200
7.3.3　GPT-2模型模塊202
7.3.4　模型訓練模塊204
7.3.5　模型推理模塊213
7.4　本章小結(jié)219
第8章　PPO算法與RLHF理論實戰(zhàn)220
8.1　PPO算法簡介220
8.1.1　策略梯度算法回顧220
8.1.2　PPO算法原理剖析222
8.1.3　PPO算法對比與評價224
8.2　RLHF框架簡介226
8.2.1　RLHF內(nèi)部剖析226
8.2.2　RLHF價值分析228
8.2.3　RLHF問題分析229
8.3　基于PPO的正向情感傾向性
　　　　生成項目實戰(zhàn)230
8.3.1　項目任務與數(shù)據(jù)集分析230
8.3.2　數(shù)據(jù)預處理模塊230
8.3.3　模型訓練模塊232
8.3.4　模型生成模塊234
8.3.5　模型評估模塊235
8.4　問題與思考237
8.5　本章小結(jié)238
第9章　類ChatGPT實戰(zhàn)239
9.1　任務設計239
9.2　數(shù)據(jù)準備240
9.3　基于文檔生成問題任務的類
　　　　　ChatGPT實戰(zhàn)241
9.3.1　SFT階段241
9.3.2　RM階段249
9.3.3　RL階段259
9.4　本章小結(jié)270
第10章　ChatGPT發(fā)展趨勢271
10.1　AIGC的發(fā)展趨勢271
10.1.1　AI云邊協(xié)同272
10.1.2　AI工具應用273
10.1.3　AI可控生成274
10.1.4　AI輔助決策275
10.2　ChatGPT 2C應用場景276
10.2.1

你還可能感興趣

我要評論