Tom Reilly, chief executive officer of Cloudera Inc.

今年6月6日，Hadoop 商業 公司Cloudera突然暴跌了40%，一時間引發了大家激烈的討論，在這些討論之中，最具代表性的觀點便是Cloudera的暴跌代表著Hadoop的隕落。

但我認為Cloudera的暴跌與Hadoop無關。

健康的Hadoop

Hadoop現在還是非常健康的。

圖1 Hadoop大數據分析市場情況

首先，我們看一下Hadoop的市場情況，根據statista的測算，2019年全球Hadoop和大數據市場規模約在340億美金左右，且5年復合年增長率高達28.5%——從這點看，Hadoop沒有衰落的跡象。

其次，我們再看一下現在最火的云計算廠商的情況，打開他們的產品頁，我們看一看對大數據怎么想：

圖2 四大云廠商Hadoop情況

從圖2可以看到，不管是Amazon的EMR、谷歌的Dataproc還是阿里云的E-MapReduce和Azure的HDInsight，四大云廠商無一例外都選擇了Hadoop，而且均占據了其產品頁頭部的位置，這足以說明Hadoop在云廠商心目中的地位——從這點看，Hadoop也沒有衰落的跡象。

然后，我們再看一下Hadoop本身。

圖3 Hadoop生態 from oreilly.com

Hadoop從2006年發布以來，不僅點燃了大數據的熱火，自身也在熱火中逐漸發展壯大，從一個軟件變成了一個生態。在HDFS和YARN基礎上長出來一系列大名鼎鼎的軟件，這里邊既有老牌的Hive和Hbase，也有熱度正在攀升的Spark和Flink，總體接近四十多個，從實踐中看，Hadoop仍然是企業大數據處理系統最佳甚至唯一的選擇——從這點看，Hadoop也沒有衰落的跡象。

最后，我們再來看看招聘要求，就拿中國最頂尖的這部分公司為例，比如百度、阿里、騰訊、頭條、美團、滴滴、網易等，這些公司對大數據工程師的要求第一點便是Hadoop。看完這些JD，毫不夸張的說，如果你是候選人而只讓你選一門技術做準備，那一定是Hadoop——從這點看，Hadoop也沒有衰落的跡象。

圖4 各大公司招聘要求

說Hadoop衰落的人提了一些論點，其中最有價值的便是S3正在動搖Hadoop的HDFS，K8S正在動搖Hadoop的YARN。HDFS和YARN是Hadoop的根基，根基受到挑戰，Hadoop將會淪陷。

但我們看一下Hadoop的歷史就會發現它從來不缺挑戰，比如Spark，當時號稱比Hadoop快一百倍，后來仍然成了Hadoop生態中的一部分，跟Hadoop和諧共生。而且當時Hadoop才出來沒多久，考慮到已經在各大公司部署的龐大Hadoop集群，現在看到K8S和S3就說Hadoop要衰亡，這就有點為時過早了。

Cloudera怎么了？

如果說Hadoop沒問題，那Cloudera暴跌是怎么回事呢？

我們先看這次暴跌發生的時間點。

這次暴跌發生在Cloudera 現任 CEO?Reilly宣布辭職，并公布了FY20 的第一季度財報之后。

Cloudera在財報里表示其營收略低于預期（預期$188M，完成$187M），并且也調低了FY20營收預期，從$835M - $855M降到了$745M - $765M，對應的年增長降到了0%-10%。

有人說這種增長率顯然對一個新技術公司來說太低了，是這次暴跌的主要原因。

但我認為這并不充分。

Cloudera在今年1月的時候剛剛完成了與Hortonworks的合并，這種合并必然需要一段時間的調整期，所以財務情況跟預期略有出入也不是特別意外。

那是不是說這次暴跌是黑天鵝事件，Cloudera本身是沒問題的嗎？

當然不是，Cloudera有問題，而且很大。

它既有遠慮，也有近憂。

先說近憂。

前面提到Cloudera和Hortonworks在今年1月份進行了合并（合并后還叫Cloudera），而兩者都是Hadoop商業服務公司，各自在Hadoop基礎上都有了自己的產品線，Cloudera的產品叫CDH，Hortonworks的產品叫HDP。

所以合并之后第一個問題便是新公司的產品策略是什么。

圖5 Cloudera產品策略

Cloudera CPO Arun Murthy 是這樣說的：Cloudera會在2022年前繼續支持CDH和HDP兩條產品線，同時也正在開發新的整合產品——CDP（Cloudera Data Platform）。CDP分兩個版本，第一版基于CDH6和HDP3，目標是兼容兩者現有作業，并做初步整合，算是一個beta版，之后的第二版才是真正的統一版，它將在第一版的基礎上把CDH和HDP兩條產品線里最好的部分挑選出來并進行整合，給客戶更超值的體驗。

Cloudera雖然沒有明確給出CDP的時間點，但Arun簡潔的線框圖似乎在極力暗示著時間是一年一版。

但事實遠不像畫線框圖這么簡單，CDP除了時間之外，還存在著產品形態的不確定性。

因為CDH和HDP里存在著互斥的部分，只能二選一，比如管理部分，CDH用的自己開發的管理工具，HDP用的是開源的Ambari；再比如安全部分，CDH用的是Ranger而HDP用的是Sentry。所以到底選哪個，怎么選，選完后原來的客戶要怎么辦，這些都不確定。

不僅如此，CDH和CDP現在又在分別整合對方，比如CDH整合了HDP里的實時處理部分HDF，HDP也整合了CDH的數據科學組件CDSW，這更讓人看不懂。

所以Cloudera似乎是迷失在了短期需求與遠期規劃的三條線路中，還沒找到一個真正的收斂方案。

那就更不要說它的客戶了。

對于現有客戶來說，他們不知道是該在原版本上繼續升級還是等待整合后的統一版本：原版本升級雖然簡單，但已經明確知道這會在兩三年時間內被廢棄，到時候還得做遷移，等整合版本吧，又不知道什么時候才能使用。總之是不管哪個決策都不夠理想，所以只能再等等看看，這點在第一季度的財報電話會議上也得到了現任CEO Reilly的承認，他表示Cloudera現有客戶似乎都因為這個的問題推遲了續費。

而對新用戶來講，更是不知道該選CDH還是HDP還是再等等選CDP。

打個不恰當的比方說，Cloudera讓自己的客戶陷入了驢子吃草的困境之中，這無異于在給競爭對手創造機會。

這個對手不是同做Hadoop商業服務的MapR，而是全球公共云廠商。

這便是Cloudera的遠慮。

現在已經沒必要討論云計算是不是趨勢的問題了，大企業都在IT上云，云計算已經成了規律，那么自然而然的，作為IT一部分的大數據也就被云廠商順手拿走了。

以AWS為例，根據分析師Rishi Jaluria的預測，單單AWS上的EMR（托管的Hadoop）和Redshift（類似Hadoop+Hive的數倉解決方案）在2018年的營收之和就接近$700M，幾乎跟合并后的Cloudera總收入相當。如果再考慮其他大數據產品，比如營收高達$1.6B的S3（對標Hadoop的HDFS），那么AWS上大數據收入將是Cloudera的數倍。

更不要說加上Azure、Google Cloud和阿里云的部分了。

公共云廠商正在吃掉一切。

而更可怕的是這根本不是競爭。比如前邊雖然提到了有人說S3正在挑戰Hadoop的HDFS，但這種討論只在云的背景下有意義，因為S3不是軟件而是服務，如果你在本地自建一個大數據集群，那無論如何S3都威脅不到Hadoop。可一旦企業上了云，云廠商便掌握了主動權，他有各種機會引導客戶去使用其自研的產品。

這才是真正讓Cloudera頭疼的事情。

Cloudera的反擊

Cloudera對這一切非常清楚，他也給出了自己的對策，這就是前邊提到的CDP。

CDP，全稱叫Cloudera Data Platform，是一個混合云/多云的大數據平臺，既支持在本地或私有云上部署，也支持在多個公共云上部署——雖然時間還沒確定，但根據Cloudera的描述，CDP將會支持AWS、Azure、Google Cloud、IBM Cloud和Oracle，幾乎覆蓋了美國所有云廠商。

而Cloudera的邏輯是，企業上云已經不可避免，但企業同時想要選擇權，這便是多云/混合云的機會，而且比起某個云廠商來說，第三方多云平臺會更具中立性，這便是CDP的機會。

從某種程度上來說，Cloudera的邏輯和IBM收購Redhat的Openshift是一致的。

所以CDP是Cloudera現在最關鍵的一步，如果成功的話，它不僅統一了Cloudera和Hortonworks的產品線，還能讓Cloudera在云計算的浪潮之中找到自己的位置，可謂一箭雙雕，既解了遠慮又消了近憂。

至于Cloudera的CDP會不會成功，我想現在誰都沒結論，但有一點是肯定的，那就是在公共云廠商正在吃掉世界的現在，它的問題值得所有技術公司認真考慮。

這是云廠商之間的戰爭，也是技術公司生存的環境。

【來源：鈦 媒體 ? ? ? ? ? ? ? 作者： 郭華 】