感謝導(dǎo)語:知識圖譜是什么呢?又是怎么構(gòu)建得?感謝從知識圖譜得應(yīng)用、構(gòu)建過程、數(shù)據(jù)要求等方面進行了分析,希望能給同是非技術(shù)出生得產(chǎn)品經(jīng)理帶來幫助。
因為工作中參與了一項智能問答相關(guān)得項目,所以我需要了解“知識圖譜”得相關(guān)知識。作為非技術(shù)出身得B端產(chǎn)品經(jīng)理,初涉AI領(lǐng)域多少有點陌生和不適應(yīng)。
于是翻閱了很多文獻資料及技術(shù)科普,也請教了身邊做AI得技術(shù)同學(xué),從中大致了解了“知識圖譜”得一些原理,并整理了以下文章。
希望我得文章能讓同是非技術(shù)出生得產(chǎn)品經(jīng)理,或者其他崗位得同學(xué),能更簡單、快速地了解什么是“知識圖譜”。
一、 知識圖譜得應(yīng)用在介紹知識圖譜前,先說下知識圖譜在日常中得應(yīng)用。
1. 智能搜索舉個例子,你在使用百度搜索“楊冪”時,搜索結(jié)果除了包楊冪得個人信息及相關(guān)新聞以外,還給你展示了她得關(guān)系圈及合作過得藝人,這些人際關(guān)系信息都與“楊冪”這個關(guān)鍵字沒有重合,但因為和“楊冪”這個實體有實際關(guān)系,所以都在“楊冪”得搜索結(jié)果中。
2. 智能問答在智能問答方面,會通過知識圖譜為你推理出答案。例如,你搜索“楊冪得前夫”,會直接給你返回“劉愷威”得信息。
再舉個例子,在線上醫(yī)療行業(yè),當患者想掛號卻不清楚該掛哪個科室時,可以通過診前助手獲取科室信息。診前助手是基于可以醫(yī)療知識圖譜,采用多種算法模型與多輪智能交去互理解病人得病情,根據(jù)病人得病情精準匹配就診科室。
3. 個性化推薦在個性化推薦方面,以搜索張國榮得“胭脂扣”為例,會基于《胭脂扣》得電影信息,如演員、導(dǎo)演、上映年份、作品類型等,推薦出更多關(guān)聯(lián)作品。例如會推薦張國榮得其他電影、推薦同一時期(80-90年代)得香港電影、與張國榮合作過得其他演員得電影等等。
4. 風(fēng)險防范以支付寶為例,在支付場景中,用知識圖譜將刷單詐騙及信用卡套現(xiàn)等行為扼殺在搖籃中:通過知識圖譜得圖數(shù)據(jù)庫,對不同得個體、團體做關(guān)聯(lián)分析,從人物在指定時間內(nèi)得行為,例如去過地方得IP地址、曾經(jīng)使用過得MAC地址(包括手機端、PC端、WIFI等)、社交網(wǎng)絡(luò)得關(guān)聯(lián)度分析,銀行賬號之間是否有歷史交易信息等,判斷用戶是否存在風(fēng)險行為。
二、知識圖譜定義在描述定義之前,我們先看看知識圖譜得表現(xiàn)形式——【E-R圖】:
(支持源自百度搜索)
從上圖我們可以發(fā)現(xiàn),無論E-R圖變換成什么形狀,外觀如何不同,他都是由多個點和多條線互相連接形成得關(guān)系型網(wǎng)絡(luò)。
點我們稱為【實體】,線我們稱為【關(guān)系】,每個實體可能和一個或多個實體存在關(guān)系。基于此,要組成最簡單得關(guān)系型網(wǎng)絡(luò),只需三個要素:兩個實體和一個關(guān)系。這樣得結(jié)構(gòu),我們稱之為“三元組”,多個三元組構(gòu)成知識圖譜。
(三元組)
舉個例子:“小芳和小明是同事,因為工作需要,兩人都在選購筆記本。小明覺得用蘋果筆記本會更有逼格,所以入手了,而小芳覺得Lenovo得筆記本比較便宜,所以選擇了Lenovo。后來小芳發(fā)現(xiàn),一直被同事安利得sketch這個軟件只在蘋果電腦有,它比Axure更智能好用。”從這句話中,我們可以拆解多個三元組:
實體:小明、小芳、蘋果筆記本、Lenovo筆記本、Sketch。實體一般是名詞,表示得是人、事、物得抽象化對象。關(guān)系:購買、擁有、同事。關(guān)系是指兩個實體之間得聯(lián)系,這種聯(lián)系多種多樣,可以是類屬關(guān)系、并列關(guān)系等。知識圖譜得三元組除了可以表達實體間得關(guān)系以外,還能表示實體得某種屬性。比如“小明”是實體,他得“性別、出生日期、籍貫”等可劃為屬性。
事物被定義為實體得“屬性”,有兩條基本準則:
- 作為屬性,不能再具有需要描述得性質(zhì)。屬性必須是不可分得數(shù)據(jù)項,不能包含其他屬性屬性不能與其他實體具有聯(lián)系
同時值得注意得是,根據(jù)實際情況,實體有時可以是屬性,屬性也可以是實體。
以下圖為例:“職工”是一個實體,“職工號、姓名、年齡”是職工得屬性,“職稱”如果沒有與“工資、文位津貼、福利”掛鉤,換句話說,沒有需要進一步描述得特性,則根據(jù)準則 1 可以作為職工實體得屬性。
但如果不同得職稱有不同得工資、崗位津貼和不同得附加福利,則職稱作為一個實體看待就更恰當。
(支持源自網(wǎng)絡(luò),如請聯(lián)系刪除)
說到這里,大家應(yīng)該能更好理解【知識圖譜】得定義:知識圖譜是結(jié)構(gòu)化語義知識庫,用于以符號形式描述物理世界中得概念及其相互關(guān)系,其基本組成單位是『實體-關(guān)系-實體』三元組,以及實體及其相關(guān)屬性-值對,實體之間通過關(guān)系相互聯(lián)結(jié),構(gòu)成網(wǎng)狀得知識結(jié)構(gòu)。
知識圖譜能能夠打破不同場景下得數(shù)據(jù)隔離,為搜索、推薦、問答、解釋與決策等應(yīng)用提供基礎(chǔ)支撐。
三、知識圖譜得構(gòu)建過程了解知識圖譜得構(gòu)建,能幫助我們更好理解知識圖譜得應(yīng)用原理。
知識圖譜得構(gòu)建流程,總結(jié)有三:
對每個步驟得介紹及其意義,我整理了如下表格:
非商業(yè)感謝請注明出處
下圖是知識圖譜得技術(shù)架構(gòu),可以幫助大家更好理解知識圖譜得構(gòu)建流程。其中虛線框內(nèi)得部分為知識圖譜得構(gòu)建過程,同時也是知識圖譜更新得過程。
(支持源自網(wǎng)絡(luò),已作中文化處理,如請聯(lián)系刪除)
四、數(shù)據(jù)要求及數(shù)據(jù)庫類型1)要構(gòu)建知識圖譜,需要怎樣得數(shù)據(jù)呢?
答案是:結(jié)構(gòu)化得數(shù)據(jù)。
知識圖譜得原始數(shù)據(jù)類型一般來說有三類:結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)。而最終得知識圖譜需要結(jié)構(gòu)化數(shù)據(jù)作為支撐。
所謂結(jié)構(gòu)化數(shù)據(jù),是指高度組織和整齊格式化得數(shù)據(jù),它是可以放入電子表格中得數(shù)據(jù)類型。典型得結(jié)構(gòu)化數(shù)據(jù)包括:信用卡號碼、日期、財務(wù)金額、電話號碼、地址、產(chǎn)品名稱等。
與之相對得非結(jié)構(gòu)化數(shù)據(jù)是指不容易組織或格式化得數(shù)據(jù),它沒有預(yù)定義得數(shù)據(jù)模型,不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)得數(shù)據(jù)。它可能是文本得或非文本得,也可能是人為得或機器生成得。
簡單來說,非結(jié)構(gòu)化數(shù)據(jù)就是字段可變得得數(shù)據(jù),主要是一些文檔、文件等,比如一些合同文件、文章、PDF文檔等。
而半結(jié)構(gòu)化數(shù)據(jù),是非關(guān)系模型得,有基本固定結(jié)構(gòu)模式得數(shù)據(jù),例如日志文件、XML 文檔、JSON 文檔等。
對于非結(jié)構(gòu)化數(shù)據(jù)及半結(jié)構(gòu)化數(shù)據(jù),需要我們確認從中提取哪些可用信息,并制定信息錄入規(guī)則,借助NLP等技術(shù),將有效信息生成為結(jié)構(gòu)化數(shù)據(jù),再計入知識圖譜中。
2)圖數(shù)據(jù)庫及關(guān)系型數(shù)據(jù)庫得差別
知識圖譜是用圖數(shù)據(jù)庫存儲數(shù)據(jù)得。所謂圖數(shù)據(jù)庫,不是指存儲支持、圖像得數(shù)據(jù)庫,而是指存儲圖這種數(shù)據(jù)結(jié)構(gòu)得數(shù)據(jù)庫。之前我們說得E-R圖,就是圖數(shù)據(jù)得可視化展示。
不同于傳統(tǒng)得使用二維表格存儲數(shù)據(jù)得關(guān)系型數(shù)據(jù)庫,圖數(shù)據(jù)庫在傳統(tǒng)意義上被歸類為NoSQL(Not only SQL)數(shù)據(jù)庫得一種,也就是說圖數(shù)據(jù)庫屬于非關(guān)系型數(shù)據(jù)庫。為了避免內(nèi)容太過技術(shù)性,這里不會對圖數(shù)據(jù)進行深入得介紹,只簡單說下圖數(shù)據(jù)庫及關(guān)系型數(shù)據(jù)庫得差別。
關(guān)系型數(shù)據(jù)庫不擅長處理數(shù)據(jù)之間得關(guān)系,而圖數(shù)據(jù)庫在處理數(shù)據(jù)之間關(guān)系方面靈活且高性能。
傳統(tǒng)得關(guān)系型數(shù)據(jù)庫在處理復(fù)雜關(guān)系得數(shù)據(jù)上表現(xiàn)很差,這是因為關(guān)系型數(shù)據(jù)庫是通過外鍵得約束來實現(xiàn)多表之間得關(guān)系引用得。查詢實體之間得關(guān)系需要JOIN操作,而JOIN操作通常非常耗時。
而圖數(shù)據(jù)庫得原始設(shè)計動機,就是更好地描述實體之間得關(guān)系。圖數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)庫蕞大得不同就是免索引鄰接,圖數(shù)據(jù)模型中得每個節(jié)點都會維護與它相鄰得節(jié)點關(guān)系,這就意味著查詢時間與圖得整體規(guī)模無關(guān),只與每個節(jié)點得鄰點數(shù)量有關(guān),這使得圖數(shù)據(jù)庫在處理大量復(fù)雜關(guān)系時也能保持良好得性能。
另外,圖得結(jié)構(gòu)決定了其易于擴展得特性。我們不必在模型設(shè)計之初就把所有得細節(jié)都考慮到,因為在后續(xù)增加新得節(jié)點、新得關(guān)系、新得屬性甚至新得標簽都很容易,也不會破壞已有得查詢和應(yīng)用功能。
而關(guān)系型數(shù)據(jù)庫,如果一開始就設(shè)計好數(shù)據(jù)字段并跑了一段時間數(shù)據(jù),想再增加字段就會非常麻煩,需要開發(fā)人員或產(chǎn)品經(jīng)理在開發(fā)初期就設(shè)想好未來可能會新增得字段,并提前加入到數(shù)據(jù)表中。
參考資料:
neo4j-圖數(shù)據(jù)庫
E-R圖:實體與屬性得劃分原則
通俗易懂解釋知識圖譜(Knowledge Graph)
圖數(shù)據(jù)庫是什么?
:楊桃,行業(yè)B端產(chǎn)品經(jīng)理,愛用文字記錄觀察及想法。
感謝由 等楊桃 來自互聯(lián)網(wǎng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止感謝。
題圖來自 Unsplash,基于CC0協(xié)議。