本書從大數(shù)據(jù)的前身――數(shù)據(jù)挖掘技術(shù)入手,首先介紹了數(shù)據(jù)挖掘技術(shù)及在大數(shù)據(jù)中常用的采集、存儲(chǔ)和分析方法;然后以多語音識(shí)別和多語言識(shí)別為例,對(duì)大數(shù)據(jù)信息處理技術(shù)的關(guān)鍵應(yīng)用給出了詳細(xì)的說明;接著給出了大數(shù)據(jù)場景分析,詳細(xì)介紹了基于場景分析的大數(shù)據(jù)信息處理應(yīng)用,如MOOC大數(shù)據(jù)教學(xué)分析系統(tǒng)、社交網(wǎng)絡(luò)大數(shù)據(jù)關(guān)系推薦系統(tǒng)、金融服務(wù)大數(shù)據(jù)風(fēng)險(xiǎn)預(yù)警系統(tǒng)等;隨后介紹了互聯(lián)網(wǎng)+大數(shù)據(jù)的應(yīng)用,對(duì)電子商務(wù)、互聯(lián)網(wǎng)金融、能源大數(shù)據(jù)等具有差異性的行業(yè)應(yīng)用進(jìn)行了簡要介紹;最后對(duì)大數(shù)據(jù)的應(yīng)用進(jìn)行了展望。
楊毅,女,博士,現(xiàn)工作于清華大學(xué)電子工程系,IEEE會(huì)員、清華大學(xué)博士后理事,長期從事信號(hào)處理、語音識(shí)別、跨媒體新技術(shù)與新應(yīng)用、數(shù)據(jù)檢索方面的科研和教學(xué)工作。
目 錄
第1章 緒論 1
1.0 引言 1
1.1 數(shù)據(jù)的定義與屬性 4
1.2 大數(shù)據(jù)概念與定義 4
1.3 大數(shù)據(jù)和小數(shù)據(jù) 6
1.4 結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 7
1.5 大數(shù)據(jù)信息處理技術(shù)及其應(yīng)用 8
1.6 大數(shù)據(jù)技術(shù)面臨的挑戰(zhàn) 10
1.7 大數(shù)據(jù)服務(wù)與信息安全 12
1.8 本章小結(jié) 14
參考文獻(xiàn) 14
第2章 數(shù)據(jù)信息挖掘技術(shù)基礎(chǔ) 16
2.0 引言 16
2.1 信息挖掘技術(shù)概述 19
2.1.1 信息挖掘定義 19
2.1.2 信息挖掘應(yīng)用 20
2.1.3 信息挖掘前景 25
2.2 數(shù)據(jù)關(guān)聯(lián)分析 26
2.2.1 數(shù)據(jù)關(guān)聯(lián)分析定義 26
2.2.2 數(shù)據(jù)關(guān)聯(lián)分析主要方法 27
2.3 數(shù)據(jù)聚類分析 28
2.3.1 數(shù)據(jù)聚類分析概念 28
2.3.2 數(shù)據(jù)聚類分析主要方法 29
2.4 數(shù)據(jù)分類與預(yù)測 30
2.4.1 數(shù)據(jù)分類 30
2.4.2 數(shù)據(jù)預(yù)測 32
2.5 數(shù)據(jù)可視化 33
2.5.1 信息可視化與數(shù)據(jù)可視化 33
2.5.2 數(shù)據(jù)可視化分析 33
2.6 信息挖掘與隱私保護(hù) 35
2.7 云計(jì)算數(shù)據(jù)挖掘 38
2.8 本章小結(jié) 40
參考文獻(xiàn) 40
第3章 大數(shù)據(jù)技術(shù)基礎(chǔ) 42
3.0 引言 42
3.1 大數(shù)據(jù)產(chǎn)生及特性 44
3.1.1 大數(shù)據(jù)產(chǎn)生 44
3.1.2 大數(shù)據(jù)特性 47
3.2 大數(shù)據(jù)技術(shù)體系 47
3.2.1 采集與存儲(chǔ) 48
3.2.2 分析與挖掘 50
3.2.3 可視化 54
3.3 大數(shù)據(jù)采集與存儲(chǔ) 54
3.3.1 結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù) 54
3.3.2 關(guān)系型/非關(guān)系型/新型數(shù)據(jù)庫 55
3.3.3 分布式存儲(chǔ)集群 56
3.4 大數(shù)據(jù)分析與挖掘 57
3.4.1 HDFS與MapReduce 57
3.4.2 分布式大數(shù)據(jù)挖掘算法 59
3.5 大數(shù)據(jù)可視化 62
3.6 本章小結(jié) 64
參考文獻(xiàn) 64
第4章 大數(shù)據(jù)信息處理與分析應(yīng)用 66
4.0 引言 66
4.1 語音識(shí)別簡介 67
4.1.1 語音識(shí)別技術(shù) 67
4.1.2 聲學(xué)模型 71
4.1.3 語言模型 72
4.2 連續(xù)語音識(shí)別技術(shù) 73
4.2.1 連續(xù)語音識(shí)別原理 73
4.2.2 HMM-GMM聲學(xué)模型 75
4.2.3 HMM-DNN聲學(xué)模型 76
4.2.4 LSTM聲學(xué)模型 79
4.3 多語言語音識(shí)別技術(shù) 82
4.3.1 多語言語音識(shí)別原理 82
4.3.2 建模單元共享技術(shù) 83
4.3.3 模型參數(shù)共享技術(shù) 84
4.4 本章小結(jié) 85
參考文獻(xiàn) 85
第5章 基于場景分析的大數(shù)據(jù)信息 88
5.0 引言 88
5.1 遙感大數(shù)據(jù)自動(dòng)分析與數(shù)據(jù)挖掘系統(tǒng) 89
5.1.1 遙感集市的組成 91
5.1.2 遙感集市提供的數(shù)據(jù)分析和挖掘服務(wù) 91
5.2 語音大數(shù)據(jù)關(guān)鍵詞自動(dòng)識(shí)別系統(tǒng) 93
5.2.1 語音分析系統(tǒng)語音識(shí)別和文本挖掘技術(shù) 94
5.2.2 語音分析系統(tǒng)支持的功能 95
5.2.3 語音分析系統(tǒng)支持的應(yīng)用場景 96
5.3 MOOC大數(shù)據(jù)教學(xué)分析系統(tǒng) 97
5.3.1 學(xué)堂在線的組成 98
5.3.2 學(xué)堂在線的教學(xué)分析 99
5.4 社交網(wǎng)絡(luò)大數(shù)據(jù)關(guān)系推薦系統(tǒng) 100
5.4.1 新浪微博推薦架構(gòu)的演進(jìn) 101
5.5.2 新浪微博推薦算法簡述 103
5.5 金融服務(wù)大數(shù)據(jù)風(fēng)險(xiǎn)預(yù)警系統(tǒng) 106
5.5.1 互聯(lián)網(wǎng)金融風(fēng)險(xiǎn)預(yù)警系統(tǒng)的架構(gòu) 106
5.5.2 互聯(lián)網(wǎng)金融風(fēng)險(xiǎn)預(yù)警系統(tǒng)的功能 108
5.5.3 互聯(lián)網(wǎng)金融風(fēng)險(xiǎn)預(yù)警系統(tǒng)的預(yù)警機(jī)制 109
5.6 本章小結(jié) 110
參考文獻(xiàn) 110
第6章 互聯(lián)網(wǎng)+大數(shù)據(jù)技術(shù)基礎(chǔ) 112
6.0 引言 112
6.1 “互聯(lián)網(wǎng)+”的定義 116
6.2 “互聯(lián)網(wǎng)+”行動(dòng) 119
6.3 “互聯(lián)網(wǎng)+”與中國制造 121
6.4 大數(shù)據(jù)與互聯(lián)網(wǎng)+ 122
6.5 互聯(lián)網(wǎng)大數(shù)據(jù)的應(yīng)用及發(fā)展 126
6.5.1 電子商務(wù) 126
6.5.2 搜索引擎 127
6.5.3 網(wǎng)絡(luò)廣告 127
6.5.4 旅行預(yù)訂 127
6.5.5 網(wǎng)絡(luò)游戲 128
6.5.6 互聯(lián)網(wǎng)金融 128
6.5.7 數(shù)字政府 128
6.5.8 城市可持續(xù)發(fā)展 129
6.5.9 能源大數(shù)據(jù) 131
6.5.10 智能電網(wǎng)大數(shù)據(jù) 134
6.5.11 環(huán)境保護(hù) 139
6.6 本章小結(jié) 143
參考文獻(xiàn) 143
第7章 基于場景感知的大數(shù)據(jù) 145
7.0 引言 145
7.1 無人駕駛汽車操控系統(tǒng) 145
7.1.1 無人駕駛汽車簡介 146
7.1.2 無人駕駛汽車操控平臺(tái) 148
7.2 醫(yī)療數(shù)據(jù)分析系統(tǒng) 150
7.2.1 醫(yī)療數(shù)據(jù)分析系統(tǒng)簡介 150
7.2.2 可穿戴健康數(shù)據(jù)監(jiān)控平臺(tái) 152
7.2.3 流行疾病傳播數(shù)據(jù)監(jiān)控平臺(tái) 153
7.3 農(nóng)業(yè)裝備與設(shè)施監(jiān)控系統(tǒng) 156
7.3.1 農(nóng)業(yè)裝備與設(shè)施監(jiān)控系統(tǒng)簡介 156
7.3.2 農(nóng)業(yè)裝備田間位置監(jiān)控系統(tǒng)平臺(tái) 156
7.3.3 物聯(lián)網(wǎng)農(nóng)業(yè)設(shè)施監(jiān)控系統(tǒng) 158
7.4 智慧城市 160
7.4.1 智慧城市簡介 160
7.4.2 創(chuàng)新2.0語境下的智慧城市 162
7.5 本章小結(jié) 164
參考文獻(xiàn) 165
第8章 基于可持續(xù)發(fā)展的大數(shù)據(jù) 166
8.0 大數(shù)據(jù)時(shí)代下的可持續(xù)發(fā)展新思路 166
8.1 環(huán)境大數(shù)據(jù)的分析與應(yīng)用 167
8.1.1 環(huán)境大數(shù)據(jù)的概念和特征 167
8.1.2 環(huán)境大數(shù)據(jù)使用流程 168
8.1.3 環(huán)境大數(shù)據(jù)的作用 168
8.1.4 國外運(yùn)用環(huán)境大數(shù)據(jù)的經(jīng)驗(yàn)和啟示 170
8.1.5 現(xiàn)存問題及未來展望 171
8.2 大數(shù)據(jù)在交通領(lǐng)域的應(yīng)用 173
8.2.1 交通大數(shù)據(jù)的來源及發(fā)展現(xiàn)狀 173
8.2.2 大數(shù)據(jù)在城市交通中的應(yīng)用 173
8.3 大數(shù)據(jù)與環(huán)境變化 175
8.3.1 大數(shù)據(jù)在災(zāi)害災(zāi)難預(yù)測中的應(yīng)用 175
8.3.2 大數(shù)據(jù)在氣候變化研究中的應(yīng)用 175
8.4 大數(shù)據(jù)在能源領(lǐng)域的應(yīng)用 176
參考文獻(xiàn) 178