早在《大數(shù)據(jù)時(shí)代》（維克托·邁爾·舍恩伯格，浙江人民出版社，ISBN 9787213052545）的論述中就提到，只有占大數(shù)據(jù)95%的非結(jié)構(gòu)化數(shù)據(jù)被利用起來(lái)，我們才能打開(kāi)一扇從未涉足的世界的窗戶。
當(dāng)前商業(yè)場(chǎng)景已經(jīng)從傳統(tǒng)的互聯(lián)網(wǎng)模式發(fā)展到場(chǎng)景化、內(nèi)容化的新階段，直播帶貨、短視頻營(yíng)銷(xiāo)、社群營(yíng)銷(xiāo)、私域運(yùn)營(yíng)等營(yíng)銷(xiāo)和運(yùn)營(yíng)方式快速發(fā)展。新的商業(yè)場(chǎng)景對(duì)視頻、圖片、音頻等非結(jié)構(gòu)化數(shù)據(jù)的依賴(lài)越來(lái)越大。進(jìn)入AIGC時(shí)代，內(nèi)容生產(chǎn)日益加速，非結(jié)構(gòu)化數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，非結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)中所占的比重越來(lái)越高。
2024年是數(shù)據(jù)資產(chǎn)元年，數(shù)據(jù)已經(jīng)從推動(dòng)社會(huì)發(fā)展的基礎(chǔ)性資源發(fā)展成為社會(huì)和企業(yè)重要的資產(chǎn)。非結(jié)構(gòu)化數(shù)據(jù)資源的體系化管理，通過(guò)開(kāi)發(fā)和治理形成資產(chǎn)并賦能業(yè)務(wù)，是企業(yè)面臨的重要任務(wù)。
當(dāng)前大數(shù)據(jù)發(fā)展到了這樣的階段： 數(shù)據(jù)形態(tài)向著非結(jié)構(gòu)化方向發(fā)展；數(shù)據(jù)生成方式向著AIGC發(fā)展；商業(yè)運(yùn)營(yíng)模式向著場(chǎng)景化、內(nèi)容化發(fā)展；數(shù)據(jù)價(jià)值向著資產(chǎn)化、市場(chǎng)化和資本化方向發(fā)展。
非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)（Unstructured Data），是指沒(méi)有預(yù)定義的格式，不能用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)包括任何形式的文本、圖像、音頻、視頻、電子郵件、社交媒體帖子等。的價(jià)值釋放，是當(dāng)前數(shù)據(jù)領(lǐng)域乃至當(dāng)前時(shí)代亟須解決的問(wèn)題。
然而，當(dāng)前的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖倉(cāng)等技術(shù)體系不能系統(tǒng)性地對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行資產(chǎn)化管理，無(wú)法充分釋放非結(jié)構(gòu)化數(shù)據(jù)價(jià)值。目前的技術(shù)路線基本是采用從視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)提取信息，將其轉(zhuǎn)化為結(jié)構(gòu)數(shù)據(jù)的方式進(jìn)行分析。
直接轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)的方式，破壞了非結(jié)構(gòu)數(shù)據(jù)的語(yǔ)義邏輯，損害了數(shù)據(jù)內(nèi)部的上下文關(guān)系，損失了數(shù)據(jù)的價(jià)值內(nèi)含；容易產(chǎn)生歧義，造成數(shù)據(jù)的錯(cuò)誤；無(wú)法對(duì)數(shù)據(jù)進(jìn)行有效組織、實(shí)現(xiàn)數(shù)據(jù)互通并實(shí)現(xiàn)知識(shí)生成和價(jià)值創(chuàng)造；沒(méi)有完整落地非結(jié)構(gòu)化數(shù)據(jù)語(yǔ)義內(nèi)容形成數(shù)據(jù)資產(chǎn)，無(wú)法發(fā)揮數(shù)據(jù)體系的體系化數(shù)據(jù)資產(chǎn)管理，一次開(kāi)發(fā)、重復(fù)使用等系統(tǒng)優(yōu)勢(shì)。
人們構(gòu)建各種數(shù)據(jù)體系，研究出各種數(shù)據(jù)技術(shù)，最終目的是為了挖掘獲取數(shù)據(jù)的價(jià)值，我們需要的是數(shù)據(jù)中蘊(yùn)含的價(jià)值，而不是數(shù)據(jù)本身。這些價(jià)值就存在于語(yǔ)義之中。結(jié)構(gòu)化數(shù)據(jù)借助關(guān)系型的結(jié)構(gòu)模型來(lái)表達(dá)語(yǔ)義；非結(jié)構(gòu)化數(shù)據(jù)通過(guò)其豐富的描述能力來(lái)表達(dá)語(yǔ)義。
哲學(xué)思想告訴我們語(yǔ)言即世界，語(yǔ)言在描述世界；在計(jì)算機(jī)和人工智能科學(xué)中，數(shù)據(jù)的定義是對(duì)世界事物和事實(shí)的記錄。語(yǔ)言和數(shù)據(jù)都通過(guò)語(yǔ)義來(lái)描述世界，在計(jì)算機(jī)和人工智能科學(xué)中，語(yǔ)言文字是一種數(shù)據(jù)形態(tài)。
人類(lèi)智能和機(jī)器智能在語(yǔ)義空間相匯，用技術(shù)的語(yǔ)言表達(dá)： 人工智能技術(shù)在神經(jīng)網(wǎng)絡(luò)的向量空間中，解讀了語(yǔ)言符號(hào)之間的關(guān)系。這也是大模型智能的來(lái)源。
結(jié)合我們?cè)跀?shù)據(jù)領(lǐng)域的經(jīng)驗(yàn)，以語(yǔ)義化為思想、文本化為手段，構(gòu)建全域全形態(tài)的企業(yè)級(jí)數(shù)據(jù)體系，是底層的需求，是營(yíng)銷(xiāo)和運(yùn)營(yíng)發(fā)展到新商業(yè)階段對(duì)非結(jié)構(gòu)化大數(shù)據(jù)的需要。而以大模型為標(biāo)志的人工智能技術(shù)，到了能夠解讀這些非結(jié)構(gòu)大數(shù)據(jù)的階段。為了獲取數(shù)據(jù)價(jià)值，我們可以跳出數(shù)據(jù)形態(tài)的制約，在數(shù)據(jù)形態(tài)的上層語(yǔ)義層，構(gòu)建數(shù)據(jù)體系，我們稱(chēng)這個(gè)數(shù)據(jù)體系為數(shù)智平臺(tái)。
內(nèi)容導(dǎo)讀
在本書(shū)提出的構(gòu)建數(shù)智平臺(tái)的方法論中，把論述重點(diǎn)放在了對(duì)非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值挖掘上，從而構(gòu)建全域全形態(tài)數(shù)智平臺(tái)。
全域： 是指結(jié)合了結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，使數(shù)據(jù)體系能夠覆蓋業(yè)務(wù)運(yùn)營(yíng)的全流程，也就是說(shuō)數(shù)據(jù)的主題域更完整。例如，能夠?qū)⒁曨l營(yíng)銷(xiāo)、直播運(yùn)營(yíng)等新商業(yè)場(chǎng)景的業(yè)務(wù)活動(dòng)，也包含在數(shù)據(jù)主題域之中。
全形態(tài)： 是指在數(shù)智平臺(tái)中，視頻、音頻、圖片、文本等非結(jié)構(gòu)化數(shù)據(jù)能被完全解讀，非結(jié)構(gòu)化數(shù)據(jù)的語(yǔ)義被數(shù)據(jù)化和資產(chǎn)化，非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)共同構(gòu)成數(shù)智平臺(tái)的數(shù)據(jù)體系。
書(shū)中采用了很多與傳統(tǒng)數(shù)據(jù)技術(shù)不同的技術(shù)思想，如語(yǔ)義化的思想、解讀式的數(shù)據(jù)處理、大模型數(shù)據(jù)分析、生成式ETL、全域邏輯視圖、雙輪驅(qū)動(dòng)的數(shù)據(jù)體系等，請(qǐng)讀者重點(diǎn)理解采用這些技術(shù)方式的理念和方法。
本書(shū)主要介紹構(gòu)建智能時(shí)代數(shù)據(jù)體系的思想和方法論，因此在理念和理論上給予了相對(duì)較多的篇幅，思維打開(kāi)，方案自來(lái)。當(dāng)前，基礎(chǔ)的大數(shù)據(jù)技術(shù)已經(jīng)相對(duì)成熟，同時(shí)大模型的能力正在日益強(qiáng)大。按照本書(shū)介紹的思想和方法論，架構(gòu)師能夠根據(jù)企業(yè)的實(shí)際情況規(guī)劃設(shè)計(jì)出更加適合企業(yè)自身的技術(shù)方案。
我們希望處于不同階段的企業(yè)、更加廣泛的人群都能夠從書(shū)中有所收獲。技術(shù)人員和非技術(shù)人員都可以從第一篇和第二篇中了解智能時(shí)代數(shù)據(jù)體系的構(gòu)建思想、數(shù)智融合的原理。在第三篇中，我們結(jié)合過(guò)往經(jīng)驗(yàn)給出了數(shù)智平臺(tái)的構(gòu)建方法，供CDO、CTO、CIO和數(shù)據(jù)架構(gòu)師等在做相關(guān)規(guī)劃時(shí)參考。第四篇介紹了在當(dāng)前商業(yè)場(chǎng)景下，全域全形態(tài)的數(shù)智平臺(tái)在企業(yè)的業(yè)務(wù)活動(dòng)中能夠提供的賦能支持，以及數(shù)智平臺(tái)對(duì)企業(yè)數(shù)智化轉(zhuǎn)型的價(jià)值，希望對(duì)企業(yè)負(fù)責(zé)人、企業(yè)高管和業(yè)務(wù)人員在營(yíng)銷(xiāo)和運(yùn)營(yíng)等業(yè)務(wù)活動(dòng)中有所幫助。
致謝
首先感謝和我一起編寫(xiě)這本書(shū)的龔雪菲和孫踐偉兩位伙伴。我們緊密合作，一起度過(guò)了這段充實(shí)的時(shí)光。在編寫(xiě)的過(guò)程中，我們還一起交流生活、探討科技的未來(lái)，這是一段令人難忘的美好經(jīng)歷。
感謝我的好友楊嵩、張磊、董淑潔和郭煒，他們具有二十余年數(shù)據(jù)領(lǐng)域的豐富經(jīng)驗(yàn)，參與了本書(shū)的策劃、討論等很多具體的工作。
楊嵩，前埃森哲董事總經(jīng)理，大數(shù)據(jù)與云計(jì)算負(fù)責(zé)人。
張磊，前Teradata、SAS首席數(shù)據(jù)科學(xué)家。
董淑潔，前Teradata、埃森哲技術(shù)顧問(wèn)；德勤（加拿大）財(cái)務(wù)計(jì)劃與分析總監(jiān)。
郭煒，ClickHouse華人社區(qū)創(chuàng)始人、白鯨開(kāi)源CEO。
感謝王可、劉佳、宗彥旭，他們?yōu)楸緯?shū)提出了寶貴的意見(jiàn)。
王可，泰康人壽資深數(shù)據(jù)架構(gòu)專(zhuān)家。
劉佳，貝殼找房大數(shù)據(jù)中心負(fù)責(zé)人。
宗彥旭，澳門(mén)科技大學(xué)人工智能專(zhuān)業(yè)學(xué)生。

宗東東2025年3月