【編者按】雖然大數(shù)據(jù)依然如日中天，但該領(lǐng)域曾經(jīng)的領(lǐng)頭羊 Cloudera 、Hortonworks 和 MapR 三家公司最近卻步履蹣跚，多少掩蓋了其幾分風(fēng)光。Cloudera 和 Hortonworks 合并，而 MapR 開始裁員。與此同時，大數(shù)據(jù)領(lǐng)域的 Elastic 、MongoDB 這類開源供應(yīng)商卻勢頭正猛。這到底是發(fā)生了什么事？ Hadoop 真的涼了？

文章轉(zhuǎn)載自InfoQ，作者田曉旭，經(jīng)億歐編輯整理發(fā)布，供業(yè)內(nèi)人士參考。

---

近日，Hadoop 領(lǐng)域發(fā)生幾件不太美好的事情，先是 MapR 宣布如果無法獲得新的投資，就必須要裁員百余人，并關(guān)閉硅谷總部，再是 Cloudera 股價暴跌 43%，估值縮水。眼看 Hadoop 三大商業(yè)公司起高樓，為何忽然之間樓斜了呢？為了搞清楚其中原因，我們采訪了多位行業(yè)內(nèi)的技術(shù)專家。

十年前，出世兩年的 Hadoop 順利通過孵化器成為了 Apache 頂級項目，同年，第一個 Hadoop 商業(yè)化公司 Cloudera 成立；五六年前，簡直就是 Hadoop 的主場，社區(qū)不斷建立的新組件來擴展 Hadoop 的應(yīng)用場景和可用性，其中有很多組件都成功脫離 Hadoop 成為了 Apache 頂級項目，例如 HBase、Hive、ZooKeeper 等。

但是最近劇情反轉(zhuǎn)得有點讓人猝不及防，上上周，美股開盤之后，Cloudera 股價暴跌 43%，曾經(jīng) 41 億美元的估值縮水為 14 億美元；上上上周，外媒爆料曾經(jīng)估值 10 億美元的 MapR 向加州就業(yè)發(fā)展局提交文件，稱如果找不到新的投資人，公司將裁員 122 人。

▍ 抱團取暖，裁員閉店，Hadoop 三大發(fā)行商遭“團滅”

在 Hadoop 的發(fā)展史上，有三家公司不得不提，分別是 Cloudera、Hortonworks 和 MapR。

Cloudera 是第一家 Hadoop 商業(yè)化公司，成立于 2008 年 8 月，創(chuàng)始人來自 Google、FaceBook 和 Yahoo!，其首席架構(gòu)師 Doug Cutting 也是 Hadoop 的第一位作者；Hortonworks 成立于 2011 年，是由 Yahoo! 的 Hadoop 團隊拆分而成；MapR 成立于 2009 年，創(chuàng)始人 M.C.Srivas 來自于 Google。

這三家公司同屬于 Hadoop 發(fā)行版提供商。所謂的“發(fā)行版”，其實是開源文化特有的，雖然在很多外行眼中，發(fā)行版只是將 開源代碼 打包，然后在添加一些自己獨創(chuàng)的邊角料。但其實發(fā)行版真正比拼的是對海量生態(tài)系統(tǒng)組件的價值篩選、兼容和集成保證以及支撐服務(wù)。

同樣是提供發(fā)行版，這三家公司的商業(yè)模式可以說是完全不同。 Cloudera 主要是發(fā)布 Hadoop 商業(yè)版和商用工具，其核心組件 CDH 開源免費，與 Apache 社區(qū)同步；而數(shù)據(jù)治理和系統(tǒng)管理組件閉源，用戶需要獲得商業(yè)許可，除此之外，商業(yè)組件也會提供企業(yè)生產(chǎn)環(huán)境中必需的運維功能。

Hortonworks 的商業(yè)模式是 100% 完全開源的策略，所有產(chǎn)品開源，用戶可免費使用。真正用來盈利的是技術(shù)服務(wù)支持。

MapR 的商業(yè)模式遵循了傳統(tǒng)軟件廠商的模式，采用私有化實現(xiàn)，用戶通過購買軟件許可來使用。

雖然三家公司的商業(yè)模式不盡相同，但是都曾從 Hadoop 中獲得了紅利，Cloudera 的估值在頂峰時高達(dá) 41 億美元，而 Hortonworks 和 MapR 的估值也曾超過 10 億美元。

不過，最近劇情急轉(zhuǎn)直下，2018 年 10 月，Cloudera 和 Hortonworks 宣布合并，Cloudera 的股東將擁有新公司 60% 的股權(quán)，Hortonworks 的股東持有 40% 的股權(quán)。合并時，雙方對于未來的盈利能力信心十足，“到 2020 年預(yù)計每年收入有望超過 10 億美元。”但是，事情發(fā)展并不如預(yù)期，合并半年多后，2019 年 6 月 6 日美股開盤，Cloudera 股價暴跌 43%，曾經(jīng) 41 億美元的估值縮水為 14 億美元。

相比于抱團取暖的 Cloudera 和 Hortonworks，MapR 的處境更為艱難了，甚至走到了“閉店裁員”的窘境，“如果再未能獲得新的資金注入，MapR 可能會裁員 122 人，并關(guān)閉位于 Santa Clara 的總部。”據(jù)外媒報道，MapR 裁員將于 6 月 14 日生效，但是就在前幾日，有消息稱 MapR 將尋找新資金的最后期限延長到了 7 月 9 日。

眼看 Hadoop 三大商業(yè)公司起高樓，為何忽然之間樓斜了呢？眾說紛紜，有人說是因為 數(shù)據(jù)庫 的發(fā)展，有人說是因為云計算的崛起，還有人說是自身模式有問題？…...清楚原因，我們采訪了多位各領(lǐng)域的技術(shù)專家。

▍ MongoDB 和 Elasticsearch 會是 Hadoop 的競爭對手嗎？

在一篇外媒的分析文章中，提出了這樣一個觀點：在受歡迎指數(shù)、收益等方面，大數(shù)據(jù)其他開源供應(yīng)商（如 Elastic 和 MongoDB 公司）和 Hadoop 三大商業(yè)公司呈現(xiàn)出了此消彼長的態(tài)勢，之前沒有人認(rèn)為 MongoDB 和 Elasticsearch 這樣的技術(shù)以及它們背后的公司能夠挑戰(zhàn) Hadoop 及相關(guān)產(chǎn)品，但是現(xiàn)在它們做到了。

事實真如這篇文章分析的那樣嗎？MongoDB、Elasticsearch 和 Hadoop 真的已經(jīng)成為了競爭關(guān)系嗎？

針對此，我們采訪多位 MongoDB 和 Elasticsearch 的技術(shù)專家，大家的觀點出奇地一致，那就是從目前來看，MongoDB 和 Elasticsearch 與 Hadoop 并不構(gòu)成競爭關(guān)系，甚至連重合點都很少。

“MongoDB 和 Elasticsearch 與 Hadoop 在本質(zhì)上是離線處理和在線處理兩個完全不同的方向。”MongoDB 中文社區(qū)主席唐建法這樣認(rèn)為：“Hadoop 的底層存儲是基于無索引的 HDFS ，核心應(yīng)用場景是對海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的永久存儲和離線分析，例如客戶肖像、流失度分析、日志分析、商業(yè)智能等。而 MongoDB 和 Elasticsearch 的核心場景是實時交互，通常用于人機交互場景，例如電商移動應(yīng)用，其特征是響應(yīng)時間一般是毫秒級到秒級。”

當(dāng)然，它們之間也不是完全沒有競爭的地方，但 MongoDB 、Elasticsearch 真正競爭的是 Hadoop 內(nèi)的生態(tài)組件，例如 HBase、Hive、Impala 等。以 Elasticsearch 為例，它滿足了比較基礎(chǔ)的即席查詢需求、在線業(yè)務(wù)檢索需求，甚至是輕量的 BI 需求，這些在功能上與 Hadoop 會有所重合。

除了競爭關(guān)系，這篇外媒評論文中還提到了一個重要觀點，那就是 Hadoop 使用繁瑣，用戶體驗糟糕，MongoDB 和 Elasticsearch 使用方便，而這也導(dǎo)致了 Hadoop 的“衰敗”。

“Hadoop 使用繁瑣”的觀點得到了眾多技術(shù)專家的贊同。Hadoop 的本質(zhì)其實就是 HDFS 存儲 +MapReduce 計算框架，但是 Hadoop 發(fā)行商為了提高自己的商業(yè)競爭力，在 Hadoop 技術(shù)上增加了各種組件。Elastic 社區(qū)首席架構(gòu)師吳斌稱，“假設(shè)你發(fā)現(xiàn)了一個符合需求的組件，那么在部署使用它之前，可能還需要部署它的存儲和配置管理組件，這時就不得不把精力放在諸如 HDFS、Zookeeper 等組件之上。在真正使用服務(wù)之前，用戶就在 HDFS 和 Zookeeper 上付出了不少代價，這個過程往往會讓入門級選手心灰意冷，進(jìn)而追求門檻更低的服務(wù)，例如 Elasticsearch 或者 MongoDB。”

即使成功邁過了入門的門檻，很多企業(yè)也會因為復(fù)雜性難以充分利用 Hadoop 。MongoDB 中文社區(qū)主席唐建法曾在兩間銀行看到過這樣的情況，他們一家使用 MapR，一家使用 Cloudera，在系統(tǒng)上線 2 年后的今天，只完成了一個最簡單的業(yè)務(wù)場景，行內(nèi)一部分業(yè)務(wù)數(shù)據(jù)的歸檔功能。他們提到了一個共同的問題就是，如果說寫進(jìn)數(shù)據(jù)湖（Hadoop)?還算可以做得到， 把數(shù)據(jù)從里面讀出來使用是更加困難的！

▍ 公有云會給 Hadoop 致命一擊嗎？

在很多分析文章中，都把 Hadoop 近日來的“頹勢”歸因為公有云的發(fā)展，Hadoop 的出現(xiàn)代表了當(dāng)時革命性的技術(shù)，而云計算代表了數(shù)據(jù)處理的新方法，解決了與 Hadoop 相同的問題。Hadoop 主要是應(yīng)用了比之前廉價的存儲，但是云計算的出現(xiàn)，讓存儲變得更加廉價，且用戶體驗也獲得了成倍提升。

云計算廠商打造了完全集成的一站式云原生服務(wù)，并且在云上提供了很多組件來替代原有的 Hadoop 組件，例如 AWS 的 S3 替代了 HDFS，K8S 替代了 Yarn。而 Hadoop 因其龐然的架構(gòu)，本身并不適合以彈性靈活快速擴展的公用云環(huán)境。

公有云的出現(xiàn)給了 Hadoop 一定的壓力，但會成為 Hadoop 的致命一擊嗎？

綜合多位技術(shù)專家的意見， 答案是否定的 。

本地化部署的 Hadoop 頹勢確實和公有云產(chǎn)品有關(guān)。吳斌認(rèn)為：“云計算廠商提供的托管服務(wù)在部署和運維上給予了用戶太多便利，且從計算資源角度來看，云廠商大大降低了用戶的成本，尤其是競價實例，在給終端用戶節(jié)省成本的同時，也做到了資源的合理利用和自身利益的最大化。”

在采訪中，唐建法還提到了另外一種情況：“支撐大部分實體經(jīng)濟的企業(yè)，例如制造業(yè)、金融業(yè)、政府等強監(jiān)管行業(yè)，還遠(yuǎn)遠(yuǎn)沒有達(dá)到把企業(yè)全量數(shù)據(jù)存放到公有云的階段，甚至?xí)鲇跀?shù)據(jù)安全的考慮，永遠(yuǎn)不放在公有云上。”也就是說，公有云也不是銀彈，即使發(fā)展得更好，也不可能完全侵占 Hadoop 的應(yīng)用場景。

在很多分析文章都把云公司和 Hadoop 發(fā)行版公司放在了對立的兩端，事實上它們并不是天然的對手，Hadoop 發(fā)行版公司也在積極的向云端轉(zhuǎn)型，甚至 Cloudera 原本的初衷就是提供云服務(wù)。Cloudera 創(chuàng)始人在某次訪談中提到：“Cloudera 在創(chuàng)建時原本打算做的服務(wù)是類似于現(xiàn)在 AWS 的 Elastic MapReduce 那樣的云上服務(wù)。但很快發(fā)現(xiàn)這個模式太超前，所以轉(zhuǎn)向了做 Hadoop 發(fā)行商的角色。”

云會威脅 Cloudera 嗎？Cloudera 創(chuàng)始人 Mike Olson 在 2018 年接受采訪時，是這樣回答的：“如果五年后我們只是一個本地部署供應(yīng)商，我們將成為一個注腳。我們的大好機會是幫助客戶遷移到云，并提供云和本地部署之間的可移植性。由于我們在早期所做的賭注，我們可以讓用戶在不編碼到專有 API 的情況下進(jìn)行遷移。我們與所有的超大規(guī)模云提供商都有良好的合作關(guān)系。當(dāng)然，他們在某種程度上與我們競爭，但我的機會不是擊敗 Redshift 。Redshift 的目的是幫助那些希望訓(xùn)練機器學(xué)習(xí)模型的客戶在所有云提供商中提供這種能力。而我們的目標(biāo)是將客戶想要的所有可移植性與他們需要的法規(guī)和遵從性功能集成并提供給他們。”

▍ Hadoop 三大發(fā)行商的衰落是否代表了 Hadoop 的衰敗？

“Hadoop 三大發(fā)行商的衰落是否代表了 Hadoop 的衰敗？”這是很多人關(guān)心的問題，也是技術(shù)人在熱情討論的問題。首先，需要明確的是 Hadoop 三大發(fā)行商無法全權(quán)代表 Hadoop，其次，與前幾年相比，Hadoop 的熱度確實在下降。

與其說 Hadoop 衰敗，倒不如說是 Hadoop 走下了神壇。早些年前，Hadoop 是與大數(shù)據(jù)劃等號的存在，但是現(xiàn)在，大家對于大數(shù)據(jù)產(chǎn)品的需求更豐富了，眼光也更挑剔了。最早大家只要求能夠處理海量數(shù)據(jù)，后來追求高效實時，而現(xiàn)在大家還要求經(jīng)濟便宜，功能豐富。

唐建法認(rèn)為 Hadoop 生態(tài)的衰敗并非是指技術(shù)，而是市場炒作的一種理性回歸。因為低成本、海量擴展能力，以及對半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的支持，Hadoop 在大數(shù)據(jù)分析、歷史數(shù)據(jù)歸檔方面是有獨特地位的。如果 Hadoop 能夠?qū)Ｗ⒂谏瞄L的離線場景，并提升用戶使用體驗，那么基于 Hadoop 的技術(shù)方案在未來還是很有前景的。

▍ Hadoop 真正面臨的競爭態(tài)勢是什么？

既然 Hadoop 真正的競爭對手不是 MongoDB、Elasticsearch 等其它開源產(chǎn)品，也不是公有云，那么真正的對手是誰？

首先，我們不能簡單的把 Hadoop 理解成一款產(chǎn)品，它是一種生態(tài)。所以，Hadoop 真正面臨的其實是生態(tài)之爭，而不是某款產(chǎn)品之爭。

Elasticsearch 技術(shù)專家表示：“與 Elasticsearch 生態(tài)相比， Hadoop 的產(chǎn)品功能相對比較分散。Elastic Stack 的整合程度則非常高， 且 Elasticsearch 的分析速度更快更實時，從數(shù)據(jù)接入到前端分析展現(xiàn)都有完整的產(chǎn)品，打通了整條數(shù)據(jù)分析的鏈路，開箱即用，用戶體驗要好得多。”

而云計算廠商通常會選擇更多的生態(tài)伙伴來一起合作，例如 Google 宣布將 MongoDB 納入 Market Place 產(chǎn)品目錄，AWS 與 MongoDB 簽署全球金牌合作伙伴，騰訊云和 Elastic 達(dá)成合作。

與單個產(chǎn)品或環(huán)節(jié)的競爭不同，生態(tài)之間的競爭更加復(fù)雜多樣，既包括了產(chǎn)業(yè)鏈上的生態(tài)，也包括了跨行業(yè)的生態(tài)，所以競爭結(jié)果不只是簡單的爭長競短、你死我活，也有可能是互相融合、共同繁榮。Hadoop 生態(tài)與其它大數(shù)據(jù)生態(tài)各自有自己的使用場景和成熟的生態(tài)鏈，它們之間不只有競爭，更有互補的地方，從這個角度來看，Hadoop 未來的機會不是打敗對手，而是做好自己。

雖然大數(shù)據(jù)依然如日中天，但該領(lǐng)域曾經(jīng)的領(lǐng)頭羊 Cloudera、Hortonworks 和 MapR 三家公司最近卻步履蹣跚，多少掩蓋了其幾分風(fēng)光。Cloudera 和 Hortonworks 合并，而 MapR 開始裁員。與此同時，大數(shù)據(jù)領(lǐng)域的其他開源供應(yīng)商（如 Elastic 和 MongoDB 公司）卻勢頭正猛。這到底是發(fā)生了什么事？雖然這背后可能有種種原因，但其中一個事實是：老牌 Hadoop 供應(yīng)商把大賭注押在了錯誤的目標(biāo)用戶上，瞄準(zhǔn)的是所謂數(shù)據(jù)中心的專職架構(gòu)師。然而，市場已經(jīng)轉(zhuǎn)向了在云計算環(huán)境中尋求自由的個體開發(fā)人員。Hadoop 氣數(shù)已盡？

本文已標(biāo)注來源和出處，版權(quán)歸原作者所有，如有侵權(quán)，請聯(lián)系我們。