內(nèi)容簡(jiǎn)介:本書以基于Hadoop的信息挖掘平臺(tái)為基礎(chǔ)，實(shí)現(xiàn)語義挖掘、關(guān)鍵信息抽取和情感傾向性分析。構(gòu)建互聯(lián)網(wǎng)數(shù)據(jù)可視化框架，分析事件趨勢(shì)特征和相關(guān)指標(biāo)。在上述基礎(chǔ)之上，針對(duì)數(shù)據(jù)的多維分析，信息可視化將紛繁抽象的結(jié)構(gòu)化數(shù)據(jù)表示成為可見的圖形圖像。同時(shí)，通過進(jìn)行預(yù)警評(píng)估分級(jí)，實(shí)時(shí)研判輿情，根據(jù)輿情預(yù)警級(jí)別做出相應(yīng)的處置部署，從而使輔助決策更加具有針對(duì)性。

作者簡(jiǎn)介:武裝，博士，首都經(jīng)濟(jì)貿(mào)易大學(xué)信息學(xué)院副教授，中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)員，于2014年12月-2015年12月赴美國(guó)北卡羅來納州立大學(xué)做訪問研究。目前主要研究方向?yàn)榇髷?shù)據(jù)、網(wǎng)絡(luò)輿情、可視化和智能信息處理等。主持和參加的科研項(xiàng)目共計(jì)12項(xiàng)，包括國(guó)家自然基金項(xiàng)目、北京市哲學(xué)社科項(xiàng)目、北京市教委社科項(xiàng)目和北京市自然基金項(xiàng)目等。

目錄:第 1章　大數(shù)據(jù)概述 1
1.1 研究背景 1
1.2 國(guó)內(nèi)外研究概況 2
1.2.1 國(guó)內(nèi)研究概況 2
1.2.2 國(guó)外研究概況 3
1.3 大數(shù)據(jù)理論 5
1.3.1 大數(shù)據(jù)定義 5
1.3.2 大數(shù)據(jù)特征 6
1.4 發(fā)展情況 7
1.4.1 國(guó)外發(fā)展情況 7
1.4.2 國(guó)內(nèi)發(fā)展情況 8
1.4.3 大數(shù)據(jù)發(fā)展環(huán)境與策略 8
1.4.4 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展?fàn)顩r 9
1.4.5 大數(shù)據(jù)發(fā)展趨勢(shì) 10
1.5 大數(shù)據(jù)發(fā)展面臨的挑戰(zhàn)與機(jī)遇 13
1.5.1 大數(shù)據(jù)發(fā)展面臨的挑戰(zhàn) 13
1.5.2 大數(shù)據(jù)發(fā)展帶來的機(jī)遇 14
1.6 大數(shù)據(jù)應(yīng)用 15
1.7 本章小結(jié) 18

第 2章　云計(jì)算概述 19
2.1 傳統(tǒng)數(shù)據(jù)中心 19
2.1.1 數(shù)據(jù)中心的概念 19
2.1.2 傳統(tǒng)數(shù)據(jù)中心的構(gòu)建 19
2.1.3 傳統(tǒng)數(shù)據(jù)中心存在的問題 21
2.2 云數(shù)據(jù)中心的構(gòu)建 21
2.2.1 虛擬化 22
2.2.2 資源池化 26
2.2.3 自動(dòng)化 27
2.3 數(shù)據(jù)中心的管理 27
2.4 云計(jì)算概論 30
2.4.1 國(guó)內(nèi)外研究發(fā)展現(xiàn)狀 30
2.4.2 云計(jì)算發(fā)展歷程 32
2.4.3 云計(jì)算的概念 35
2.4.4 云計(jì)算的服務(wù)交付模式 37
2.4.5 云計(jì)算的原理 39
2.4.6 云計(jì)算的核心技術(shù) 41
2.4.7 云計(jì)算部署方式 43
2.4.8 云計(jì)算面臨的問題和機(jī)遇 44
2.4.9 云計(jì)算的應(yīng)用 46
2.5 云計(jì)算平臺(tái)架構(gòu) 48
2.5.1 云計(jì)算平臺(tái)架構(gòu)簡(jiǎn)介 48
2.5.2 云計(jì)算平臺(tái)架構(gòu)的設(shè)計(jì) 49
2.6 云計(jì)算的業(yè)界動(dòng)態(tài) 50
2.6.1 IBM 50
2.6.2 Amazon 54
2.6.3 Salesforce 63
2.6.4 Microsoft 64
2.7 云計(jì)算的安全風(fēng)險(xiǎn)分析 66
2.7.1 云計(jì)算平臺(tái)安全風(fēng)險(xiǎn) 66
2.7.2 數(shù)據(jù)安全風(fēng)險(xiǎn) 66
2.7.3 虛擬機(jī)引發(fā)的新安全風(fēng)險(xiǎn) 67
2.7.4 其他安全風(fēng)險(xiǎn) 67
2.8 本章小結(jié) 68

第 3章　Hadoop概況 69
3.1 Hadoop的簡(jiǎn)介 69
3.2 Hadoop的特點(diǎn) 70
3.3 HDFS分布式文件系統(tǒng) 70
3.3.1 HDFS的架構(gòu) 70
3.3.2 HDFS的數(shù)據(jù)組織方式 72
3.3.3 HDFS文件讀寫分析 73
3.3.4 HDFS的缺點(diǎn) 74
3.4 MapReduce分布式計(jì)算框架 75
3.4.1 MapReduce的執(zhí)行流程 76
3.4.2 MapReduce的調(diào)度機(jī)制與容錯(cuò)機(jī)制 77
3.4.3 MapReduce的性能 78
3.5 HBase分布式存儲(chǔ)查詢系統(tǒng) 79
3.5.1 HBase架構(gòu) 80
3.5.2 HBase的存儲(chǔ) 82
3.5.3 HBase的數(shù)據(jù)模型 84
3.6 Hive數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)架構(gòu) 86
3.6.1 Hive的架構(gòu) 86
3.6.2 Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的比較 87
3.7 Zookeeper分布式協(xié)調(diào)服務(wù) 88
3.8 Hadoop的其他子項(xiàng)目 89
3.8.1 Avro數(shù)據(jù)序列化的系統(tǒng) 89
3.8.2 Pig 89
3.8.3 Ambari 89
3.8.4 Sqoop 91
3.9 Hadoop的應(yīng)用現(xiàn)狀 92
3.10 本章小結(jié) 94

第 4章　網(wǎng)絡(luò)輿情的理論基礎(chǔ) 95
4.1 研究背景 95
4.2 網(wǎng)絡(luò)輿情的概念 96
4.3 網(wǎng)絡(luò)輿情的構(gòu)成要素 97
4.4 網(wǎng)絡(luò)輿情的特點(diǎn) 98
4.5 網(wǎng)絡(luò)輿情的作用 99
4.6 網(wǎng)絡(luò)輿情演化過程與監(jiān)控預(yù)警 99
4.7 相關(guān)理論基礎(chǔ)綜述 100
4.7.1 復(fù)雜網(wǎng)絡(luò)理論 100
4.7.2 群體行為理論 105
4.7.3 用戶影響力評(píng)價(jià)理論 108
4.7.4 社會(huì)網(wǎng)絡(luò)理論 109
4.8 本章小結(jié) 111

第 5章　微博及其解釋結(jié)構(gòu)模型的構(gòu)建 113
5.1 微博的文本特性 113
5.2 微博文本的特征分析 114
5.3 微博用戶群體行為的解釋結(jié)構(gòu)模型 116
5.3.1 影響微博群體行為的因素 116
5.3.2 解釋結(jié)構(gòu)模型的確立 122
5.3.3 模型結(jié)論解釋與分析 134
5.4 本章小結(jié) 134

第 6章　基于 Hadoop的文本信息抽取系統(tǒng)開發(fā) 135
6.1 背景 135
6.1.1 文本信息抽取系統(tǒng)的意義與作用 135
6.1.2 目前網(wǎng)絡(luò)輿情監(jiān)測(cè)相關(guān)的關(guān)鍵性技術(shù) 136
6.2 文本信息抽取系統(tǒng)所采用的技術(shù) 137
6.3 文本信息抽取系統(tǒng)的總體設(shè)計(jì) 138
6.3.1 系統(tǒng)總體設(shè)計(jì) 138
6.3.2 主要功能模塊 139
6.4 系統(tǒng)功能的具體實(shí)現(xiàn) 141
6.4.1 網(wǎng)絡(luò)爬蟲模塊的實(shí)現(xiàn) 141
6.4.2 Hadoop模塊實(shí)現(xiàn) 146
6.4.3 PHP模塊實(shí)現(xiàn) 149
6.5 系統(tǒng)測(cè)試 152
6.6 本章小結(jié) 154

第 7章　網(wǎng)絡(luò)輿情傳播網(wǎng)絡(luò)結(jié)構(gòu)的研究 155
7.1 網(wǎng)絡(luò)信息傳播 155
7.2 微博網(wǎng)絡(luò)拓?fù)湫再|(zhì)分析 156
7.2.1 復(fù)雜網(wǎng)絡(luò)特性 156
7.2.2 微博網(wǎng)絡(luò)度的分布 156
7.2.3 微博網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)對(duì)信息傳播的影響 158
7.3 網(wǎng)絡(luò)輿情的形成與傳播過程 158
7.4 微博用戶信息傳播能力分析 159
7.4.1 用戶自身屬性 160
7.4.2 社團(tuán)密度 160
7.5 網(wǎng)絡(luò)輿情發(fā)展演化規(guī)律分析 161
7.5.1 網(wǎng)絡(luò)輿情發(fā)展過程與傳播主體分析 161
7.5.2 突發(fā)性公共危機(jī)事件網(wǎng)絡(luò)輿情演化路徑分析 163
7.5.3 內(nèi)外源動(dòng)力影響因素 165
7.6 微博輿情的信息傳播模型 167
7.6.1 微博輿情話題領(lǐng)域與用戶分類 167
7.6.2 微博輿情的信息傳播模型 168
7.7 不同領(lǐng)域的微博突發(fā)事件輿情實(shí)例分析 170
7.7.1 實(shí)驗(yàn)數(shù)據(jù)集的采集 170
7.7.2 娛樂領(lǐng)域輿情實(shí)例分析 170
7.7.3 民生領(lǐng)域輿情實(shí)例分析 177
7.7.4 經(jīng)濟(jì)領(lǐng)域輿情實(shí)例分析 183
7.7.5 各領(lǐng)域事件對(duì)比分析 188
7.8 本章小結(jié) 189

第 8章　經(jīng)濟(jì)領(lǐng)域網(wǎng)絡(luò)輿情傳播問題的研究 191
8.1 經(jīng)濟(jì)領(lǐng)域突發(fā)事件網(wǎng)絡(luò)輿情的演進(jìn)機(jī)制研究 191
8.1.1 經(jīng)濟(jì)領(lǐng)域突發(fā)事件網(wǎng)絡(luò)輿情的演化模式 191
8.1.2 經(jīng)濟(jì)領(lǐng)域突發(fā)事件網(wǎng)絡(luò)輿情作用要素分析 193
8.1.3 經(jīng)濟(jì)領(lǐng)域突發(fā)事件網(wǎng)絡(luò)輿情的演化周期分析 195
8.2 突發(fā)事件網(wǎng)絡(luò)輿情的演進(jìn)及仿真模型的構(gòu)建分析 197
8.2.1 經(jīng)濟(jì)領(lǐng)域突發(fā)事件網(wǎng)絡(luò)輿情演進(jìn)傳播模型的構(gòu)建 197
8.2.2 經(jīng)濟(jì)領(lǐng)域突發(fā)事件網(wǎng)絡(luò)輿情演進(jìn)傳播模型 199
8.3 經(jīng)濟(jì)領(lǐng)域突發(fā)事件輿情實(shí)例分析 203
8.3.1 常規(guī)狀態(tài)下“3.17北京房市調(diào)控新政”案例 203
8.3.2 非常規(guī)狀態(tài)下“華萬股權(quán)之爭(zhēng)”案例 210
8.4 本章小結(jié) 215

第 9章　網(wǎng)絡(luò)輿情的情感分析研究 217
9.1 文本情感分類基礎(chǔ)研究 217
9.1.1 文本分詞 217
9.1.2 文本表示方法 218
9.2 基于微博情感分析的網(wǎng)絡(luò)輿情熱點(diǎn)發(fā)現(xiàn)模型 222
9.2.1 模型設(shè)計(jì) 223
9.2.2 基于貝葉斯分類算法的情感分類器構(gòu)造 225
9.2.3 基于詞共現(xiàn)圖的事件提取方法 227
9.3 生態(tài)領(lǐng)域的突發(fā)事件輿情實(shí)例分析 229
9.3.1 生態(tài)領(lǐng)域熱點(diǎn)內(nèi)容分析 229
9.3.2 生態(tài)環(huán)境問題輿情案例分析 230
9.3.3 生態(tài)環(huán)境問題的輿情引導(dǎo)措施 241
9.4 本章小結(jié) 245

第 10章　網(wǎng)絡(luò)輿情指標(biāo)體系設(shè)計(jì)與分析 247
10.1 Web數(shù)據(jù)特征分析 247
10.1.1 數(shù)據(jù)源特征分析 247
10.1.2 微博的數(shù)據(jù)模型 248
10.1.3 數(shù)據(jù)收集和管理 248
10.2 模型和數(shù)據(jù)指標(biāo)的構(gòu)建 249
10.2.1 突發(fā)事件網(wǎng)絡(luò)輿情數(shù)據(jù)主要分析指標(biāo) 249
10.2.2 什么是指標(biāo)體系 250
10.2.3 主要算法 250
10.3 突發(fā)事件網(wǎng)絡(luò)輿情監(jiān)控預(yù)警指標(biāo)體系的設(shè)計(jì) 250
10.3.1 網(wǎng)絡(luò)輿情監(jiān)測(cè)指標(biāo)體系框架設(shè)計(jì) 250
10.3.2 輿情發(fā)布者指標(biāo) 252
10.3.3 輿情熱度指標(biāo) 253
10.3.4 輿情受眾指標(biāo) 254
10.3.5 輿情傳播指標(biāo) 254
10.3.6 指標(biāo)體系權(quán)重系數(shù)的確定 255
10.4 本章小結(jié) 256

第 11章　網(wǎng)絡(luò)輿情預(yù)警機(jī)制研究 257
11.1 緒論 257
11.1.1 網(wǎng)絡(luò)輿情監(jiān)控預(yù)警 257
11.1.2 存在的主要問題 257
11.2 突發(fā)事件網(wǎng)絡(luò)輿論的傳播機(jī)制 258
11.2.1 突發(fā)事件網(wǎng)絡(luò)輿論震蕩周期 258
11.2.2 突發(fā)事件網(wǎng)絡(luò)輿論的媒介路線 261
11.2.3 突發(fā)事件網(wǎng)絡(luò)輿論噪聲流的形成 261
11.2.4 突發(fā)事件網(wǎng)絡(luò)小世界特性 262
11.2.5 突發(fā)事件網(wǎng)絡(luò)中聯(lián)合度分布 265
11.3 基于情感計(jì)算的網(wǎng)絡(luò)輿情預(yù)警指標(biāo)體系 266
11.3.1 基于情感計(jì)算的網(wǎng)絡(luò)輿情預(yù)警指標(biāo)體系 266
11.3.2 網(wǎng)絡(luò)輿情預(yù)警指標(biāo)的權(quán)重系數(shù) 267
11.4 網(wǎng)絡(luò)輿情預(yù)警模型系統(tǒng)構(gòu)建 269
11.4.1 各個(gè)指標(biāo)具體的情感值計(jì)算 269
11.4.2 綜合指標(biāo)情感值計(jì)算 270
11.4.3 對(duì)于網(wǎng)絡(luò)輿情嚴(yán)重性的預(yù)警等級(jí) 270
11.5 以世界衛(wèi)生組織關(guān)注中國(guó)疫苗事件及“辱母殺人案”為實(shí)證研究 271
11.5.1 取證過程及方法步驟 271
11.5.2 世界衛(wèi)生組織關(guān)注中國(guó)疫苗事件 272
11.5.3 世界衛(wèi)生組織關(guān)注中國(guó)疫苗事件輿情取證 273
11.5.4 世界衛(wèi)生組織關(guān)注中國(guó)疫苗事件的數(shù)據(jù)抓取 275
11.5.5 “辱母殺人案”事件 279
11.5.6 “辱母殺人案”事件網(wǎng)絡(luò)輿情時(shí)間微輿情取證 279
11.5.7 “辱母殺人案”事件中情感指標(biāo)的抓取和模型驗(yàn)證 283
11.5.8 “辱母殺人案”事件人民日?qǐng)?bào)發(fā)聲的取證研究 286
11.6 突發(fā)事件輿情演化的社會(huì)網(wǎng)絡(luò)分析 290
11.6.1 社會(huì)網(wǎng)絡(luò)分析方法的應(yīng)用 290
11.6.2　突發(fā)事件輿情演進(jìn)傳播的社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)圖 290
11.7 社會(huì)輿情發(fā)酵特點(diǎn) 293
11.7.1 焦點(diǎn)事件呈現(xiàn)區(qū)域與行業(yè)化分布293
11.7.2 傳統(tǒng)媒體的“脫敏”效應(yīng) 294
11.7.3 標(biāo)簽化往往遭遇輿情反轉(zhuǎn) 294
11.8 本章小結(jié) 295

第 12章　網(wǎng)絡(luò)輿情傳播的監(jiān)管策略 297
12.1提升網(wǎng)絡(luò)用戶的媒介素養(yǎng) 297
12.2 發(fā)揮意見領(lǐng)袖的輿論引導(dǎo)功能 298
12.3 加強(qiáng)信息把關(guān)制度 299
12.4 提高公眾在網(wǎng)絡(luò)輿情中的理性 300
12.5 建立網(wǎng)絡(luò)輿情預(yù)警對(duì)策 301
12.6 建立信息公開和輿論引導(dǎo)機(jī)制 302
12.7 本章小結(jié) 303
參考文獻(xiàn) 305