最近，金山軟件MapReduce（KMR）與英特爾合作推出。KMR是一個基于Intel到Intel處理器E5v4系列硬件平臺的可擴展通用數(shù)據(jù)計算和分析平臺。基于ApacheHadoop和ApacheSpark，通過自動調(diào)度靈活計算服務(wù)（KEC），幫助企業(yè)用戶快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。金山云的發(fā)展大致可分為三個階段：云計算、大數(shù)據(jù)和人工智能。換言之，云計算是以iaas和虛擬化技術(shù)為核心支持，使企業(yè)把業(yè)務(wù)放在云上，降低部署成本，加快企業(yè)業(yè)務(wù)的發(fā)展。接下來，云中會生成大量數(shù)據(jù)，因此我們必須能夠使用這些數(shù)據(jù)來驅(qū)動企業(yè)做出決策。此時，我們需要以Hadoop為代表的大數(shù)據(jù)處理技術(shù)。第三步，其實是人工智能，比如人臉識別，這本身就是一個很高的性能和規(guī)模要求的行業(yè)，自然為云，所以金山之后的云將重點放在布局上。為了實現(xiàn)這一目標(biāo)，我們依靠金山云高性能異構(gòu)計算集群的機器學(xué)習(xí)/深度學(xué)習(xí)任務(wù)托管平臺——金山云機器學(xué)習(xí)（KML），將Intel等合作伙伴的技術(shù)集成在一起。會議上，金山云達(dá)數(shù)據(jù)與人工智能技術(shù)總監(jiān)張東進(jìn)從成本、效率、性能和安全四個方面闡述了KML的價值。在成本方面，平臺根據(jù)實際運行時間收費，有助于企業(yè)節(jié)約系統(tǒng)開發(fā)和維護成本。在效率方面，這是一個全功能的深度學(xué)習(xí)集成環(huán)境，包括TensorFlow和IntelBigDL框架。由于它是一個全過程的平臺，從整個物料預(yù)處理、物料存儲、物料培訓(xùn)、評估、在線預(yù)測等方面提供了完整的支持。在安全性方面，人工智能的核心不是算法或數(shù)據(jù)。KML可以提供企業(yè)級的數(shù)據(jù)加密和企業(yè)級的HPC集群，保證數(shù)據(jù)安全。在性能方面，底層是基于成熟的異構(gòu)計算集群，包括Intel的高性能E5系列CPU，以及10000 Mbp網(wǎng)卡和Intel SSD技術(shù)。至于英特爾，技術(shù)專家也表示，金山云一直努力合作的部分是端到端、基于云的大數(shù)據(jù)解決方案。以最典型的kmr計算為例，數(shù)據(jù)是存儲在塊中還是存儲在對象中？這其實是一種不同的配置，比如用戶想要節(jié)約成本，想要最低的成本，都是批量處理的，這時可以把所有的數(shù)據(jù)放在底層的對象存儲中，用ks3作為對象存儲，這樣在計算時，spark直接從對象存儲中調(diào)用數(shù)據(jù)表。計算。同樣，如果我們想保證效率，計算的實時性要求也很高。此時，我們可以在內(nèi)存中構(gòu)建一個內(nèi)存文件系統(tǒng)，現(xiàn)在稱為alluxio，它將所有熱數(shù)據(jù)緩存在內(nèi)存中。我們可以直接使用上面的kml或spark來實現(xiàn)內(nèi)存計算，以確保實時查詢和實時計算。因此，英特爾與金山云的合作目標(biāo)是優(yōu)化每一個模塊，根據(jù)云的特點，結(jié)合大數(shù)據(jù)的特點，把雙方結(jié)合起來。

« “問卷網(wǎng)絡(luò)”用戶突破300萬發(fā)布CEM管理系統(tǒng)作為行業(yè)解決方案 | Airbnb已暴露于連續(xù)的“房屋破壞”：沒有門檻導(dǎo)致水土適應(yīng) »