巨杉數據庫高訪問量、海量數據業務背后的基礎系統架構是如何設計和優化的?分布式數據庫是如何做到數據的透明水平、垂直拆分，實現海量數據實時查詢的? 1.巨杉數據庫作為國內第一款自主研發的NewSQL數據庫，在發展過程中是否遇到困難或質疑?與海外產品如MongoDB有什么區別? 巨杉數據庫是巨杉團隊從零開始研發的，數據庫內核是沒有基于任何的開源數據庫產品的。這一點也是我們團隊非常自豪的一個成績。 在發展過程中，自然也是有一些人對我們表示質疑，或者是認為國內團隊不可能從零開始開發數據庫，或者即使是國內開發的，性能和穩定性也一定不如海外產品。不過如今，巨杉經過了企業市場的考驗，也真正用產品和技術服務證明了自己。我們超過百家的企業用戶，特別是銀行這樣客戶的認可和大規模使用，也是對我們最好的褒獎吧。 對于海外產品的對比，我們的性能通過第三方的測試，與MongoDB、Cassandra 等都在統一水平，部分性能甚至大大優于海外的產品。同時，上面提到的多個企業應用場景，我們也是實打實的磨煉出來的，許多企業級應用場景，比硅谷的NoSQL/NewSQL產品都要領先。 2.巨杉數據庫在企業的應用場景有哪些?在解決用戶需求方面有什么心得? 巨杉數據庫發布5年以來，在企業級大數據應用中積累了豐富的經驗，也打磨出我們的主要場景。 企業對于數據庫的新需求主要包括海量數據的管理、非結構化數據的管理、歷史數據在線化以及數據全維度展現等等。因此巨杉也培育了幾大解決方案，包括：海量歷史數據平臺，企業內容管理平臺，大數據湖，全量數據視圖等等。 3.能否談談巨杉數據庫在海量數據存儲以及高性能的查詢這塊技術上有什么亮點? 首先，由于巨杉數據庫是天生的分布式架構，因此能方便快捷地在X86架構下實現集群規模和存儲容量的水平擴展，這使得海量數據的存儲不僅變得簡單易行，而且和傳統方式相比成本大幅下降。 而在數據的錄入和使用方面，巨杉數據庫更是充分發揮分布式架構的優勢，提供了一系列的技術手段以實現最佳效率，比如垂直分區、水平分區、自動讀寫分離、自定義存儲分布策略等。除此之外，我們并沒有丟棄現有的技術，而是充分利用了已經在數據庫領域中廣泛使用的一些技術手段，比如靈活高效的索引機制、高效數據壓縮等，進一步提高了數據操作時的效率。最后，為了方便傳統的數據庫使用者，我們還特意提供了 SQL 引擎，并結合巨杉數據庫的技術特點對 SQL 引擎做了優化，讓 SQL 使用者在巨杉數據庫上也能有最佳體驗。 綜合以上特點可以看出，對于有海量數據存儲和高效查詢要求的用戶來說，巨杉數據庫是非常好的選擇! 4、當數據達到億級或者百億級以上，數據庫平臺構架如何設計和優化?在這個領域有什么坑是開發者可以避免的? 在銀行這樣的企業級應用中，億級的數據基本是比較小兒科。通常數據量都是百億級別，超過百TB。 對于這樣的海量數據來說，“分布式“技術幾乎是不二之選!以巨杉數據庫為例，可利用垂直分區、水平分區等功能，充分結合業務數據的特點(這一點很重要)，在數據庫層面做好架構設計，這樣就能將海量數據均勻分布到分布式集群的各個節點上，同時又不會增加應用的復雜度。一旦做好了這樣的架構設計，應用層無論是數據的錄入操作還是查詢操作，在數據底層都能自動定位成部分節點內甚至單節點內的操作，從而將針對海量數據的操作轉化成了小批量的操作，必然實現效率上的極大提升。 但是，也必須要意識到在“大數據“時代，數據量的膨脹速度是超乎人們想象的，局部節點內的數據也可能會達到一個不小的數量級，這幾乎是難以避免的情況。在這種情況下，除了在現有集群上繼續做水平擴展之外，也要充分利用高效索引及數據壓縮等傳統技術以提高單節點內的效率。 最后，不要忘記巨杉數據庫的讀寫分離和自定義數據分布策略等機制，它們可以幫助你將負載均勻分散到不同的節點上，從而最大程度上避免“熱點“競爭的出現，這也是分布式技術所具有的天然優勢。 5、如何評價現有的分布式大數據處理開源架構?它們中有何需要改進或者值得借鑒的地方? 第一，Hadoop 不代表大數據的全部，現在國內好像行成了一種風氣，Hadoop 就代表了大數據。但事實 Hadoop 能解決的也只是一部分的需求，特別在大數據的在線實時交互這一塊，NewSQL/NoSQL也是不錯的選擇。而這一點近一年多來，我們也在眾多的企業級用戶身上證實了。 第二，對于分布式數據庫本身。NoSQL和關系型數據庫這兩者肯定是逐漸融合的過程，NoSQL數據庫會不斷注重企業級功能如 SQL 支持的提升，也是因此現在衍生出了NewSQL的概念。數據庫未來將會是一個分布式、高性能的立足實時處理和在線服務同時作為數據源支持上層的數據分析應用的定位。 6.為什么很多分布式的數據庫都采用開源的模式?這種形式有什么優劣勢? 我們很認同一種劃分就是 “開源軟件商業化“和“商業軟件開源化“。巨杉走的是“商業軟件開源化“的路線。 我們堅持以商業化軟件為核心，向企業用戶提供為企業用戶提供高質量、穩定可靠的商業化產品與標準化專業化的技術服務，這也是企業市場不變的需求。 可以說是一種技術上的情懷，讓我們也和硅谷的前輩們一樣選擇開源，我們自己開發的數據庫產品，我們也希望和更多的開發者分享我們的技術。 同時我們也在商業化經營同時，通過產品的開源和開源生態建立，快速推進產品技術的品牌和用戶，同時能幫助構建自己的技術生態。 此外，開源也有出于我們團隊的技術自信，也是一種程度回應對于我們自己研發的質疑吧。 而對于“開源軟件商業化“，如果完全開放開源，對于商業化運營會有不小的影響。主要也就是商業化與社區版發展的關系，社區的需求與企業用戶的需求不一定一直，商業版本與社區版本的發展方向也可能互相沖突，甚至于商業化團隊無法完全掌握核心技術，這對于用戶來說可不是好消息。 7.對于想踏入或剛剛進入這個領域的新人來說，有沒有什么心得建議? 對于在這個領域經驗尚不夠豐富的朋友們來說，我個人認為最重要的兩點建議就是： 1)充分了解你想使用的分布式技術有哪些特點，并且一定要充分結合你的業務特點，這樣你才有可能做出最佳選擇。記住，絕沒有哪一項技術在所有的業務場景下都是最佳選擇，最適合業務場景的才是最佳選擇! 2)理論分析固然重要，但實測更有說服力!不要嫌麻煩，一定要用全面的測試結果來支持(或者推翻)你的方案。 上面這兩點看上去都是很樸素的道理，但實際操作中卻經常被忽略，也是極容易掉進去的坑。

« 互聯網金融風險專項整治工作答記者問：對重點領域進行整治 | 冠群馳騁緊把安全關 打造靠譜網貸平臺 »