(電子商務研究中心訊) 2014年10月25日，由eBay、CSDN共同舉辦的“大數(shù)據峰會”將在上海豫園萬麗酒店舉辦。騰訊T4技術專家、數(shù)據平臺部精準推薦中心總監(jiān)李勇，以“騰訊大數(shù)據平臺與推薦應用架構”作為峰會的結尾。
內容簡介：
騰訊的月活躍用戶8.3億
微信月活躍用戶4.4億
QQ空間月活躍用戶6.5億
游戲月活躍用戶過億
如今騰訊的數(shù)據分析已經能做到始終“不落地”，即全部的實時處理。騰訊大數(shù)據平臺有如下核心模塊：TDW、TRC、TDBank、TPR和Gaia。簡單來說，TDW用來做批量的離線計算，TRC負責做流式的實時計算，TPR負責精準推薦，TDBank則作為統(tǒng)一的數(shù)據采集入口，而底層的Gaia則負責整個集群的資源調度和管理。李勇還特別強調了數(shù)據平臺體系化是應用基礎，數(shù)據應用商業(yè)化是價值導向。
數(shù)據平臺體系化是應用基礎，數(shù)據應用商業(yè)化是價值導向。
騰訊深度學習平臺的挑戰(zhàn)
深度神經網絡模型復雜，訓練數(shù)據多，計算量大
模型復雜：人腦有100多億個神經細胞，因此DNN的神經元和權重多
訓練數(shù)據多：大量訓練數(shù)據才能訓練出復雜模型
微信語音識別：數(shù)萬個神經元，超過50,000,000參數(shù)，超過4,000,000,000樣本，單機訓練耗時以年計，流行的GPU卡需數(shù)周
深度神經網絡需要支持大模型
更深更寬的網絡能獲得更好的結果
以圖像識別為例，增加卷積層的filter數(shù)量，加大模型深度等，可獲得更好的模型質量
深度神經網絡訓練中超參數(shù)多，需要反復多次實驗
非線性模型：代價函數(shù)非凸，容易收斂到局部最優(yōu)解
敏感的超參數(shù)：模型結構、輸入數(shù)據處理方式、權重初始化方案、參數(shù)配置、激活函數(shù)選擇、權重優(yōu)化方法等
數(shù)學基礎研究稍顯不足，倚重技巧和經驗
騰訊深度學習平臺Mariana
騰訊有廣泛的深度學習應用需求，其挑戰(zhàn)如下
模型復雜，訓練數(shù)據多，計算量大
需要支持大模型
訓練中超參數(shù)多，需要反復多次實驗
Mariana騰訊深度學習平臺提供三個框架解決上述問題
Mariana DNN: 深度神經網絡的GPU數(shù)據并行框架
Mariana CNN: 深度卷積神經網絡的GPU數(shù)據并行和模型并行框架
Mariana Cluster: 深度神經網絡的CPU集群框架
Mariana已支持了訓練加速、大模型和方便的訓練作業(yè)
微信語音識別6 GPU做到4.6倍加速比
微信圖像識別4 GPU做到2.5倍加速比，并支持大模型
Mariana已成功應用到微信語音識別和微信圖像識別，并在廣點通廣告推薦的點擊率預估中積極嘗試
（編選：中國電子商務研究中心）
