數(shù)據(jù)湖的發(fā)展契機，來源于近年來的AI熱潮和云計算、5G的發(fā)展，在日益發(fā)展的海量數(shù)據(jù)時代，數(shù)據(jù)已成為企業(yè)發(fā)展的核心資產(chǎn)，通過構建適用于大數(shù)據(jù)的底層架構，圍繞Hadoop提供語義一致性、數(shù)據(jù)治理和安全性。Hadoop作為數(shù)據(jù)湖最常用的解決方案之一，其的部署和需求仍然很大并且正在增長。在最近的一項涉及235名受訪者的調(diào)查中，

大數(shù)據(jù)經(jīng)過了多年的發(fā)展，以Hadoop生態(tài)為核心的大數(shù)據(jù)框架已經(jīng)十分成熟，這個過程伴隨著對存儲需求的不斷變化，從而演進出了數(shù)據(jù)湖的概念以及在數(shù)據(jù)湖存儲方面的幾個新需求特征：如數(shù)據(jù)的分布組織與元數(shù)據(jù)的高效管理；存儲和計算分離，大幅降低成本；數(shù)據(jù)全生命周期管理；多訪問協(xié)議支持達到All in One的存儲能力；具備數(shù)據(jù)的智

2019年將近尾聲,談到截止目前,2019年星環(huán) 科技 所取得成績,創(chuàng)始人孫元浩做了一些簡單的總結。 “第一,從產(chǎn)品線來說,從2017年開始,星環(huán)科技已經(jīng)基本確定三條產(chǎn)品線,大數(shù)據(jù)產(chǎn)品是主要產(chǎn)品線,而人工智能機器學習平臺和容器的智能大數(shù)據(jù)云平臺,是圍繞客戶在使用大數(shù)據(jù)基礎軟件的基礎需求上

【編者按】雖然大數(shù)據(jù)依然如日中天，但該領域曾經(jīng)的領頭羊 Cloudera 、Hortonworks 和 MapR 三家公司最近卻步履蹣跚，多少掩蓋了其幾分風光。Cloudera 和 Hortonworks 合并，而 MapR 開始裁員。與此同時，大數(shù)據(jù)領域的 Elastic 、Mongo

Tom Reilly, chief executive officer of Cloudera Inc. 今年6月6日，Hadoop 商業(yè) 公司Cloudera突然暴跌了40%，一時間引發(fā)了大家激烈的討論，在這些討論之中，最具代表性的觀點便是Cloudera的暴跌代表著Hadoop的隕落。

Tom Reilly, chief executive officer of Cloudera Inc.文｜郭華今年6月6日，Hadoop商業(yè)公司Cloudera突然暴跌了40%，一時間引發(fā)了大家激烈的討論，在這些討論之中，最具代表性的觀點便是Cloudera的暴跌代表著Hadoop的隕落。但我認為Cloudera的暴

快手大數(shù)據(jù)架構工程師鐘靚近日在 A2M 人工智能與機器學習創(chuàng)新峰會分享了題為《SQL on Hadoop 在快手大數(shù)據(jù)平臺的實踐與優(yōu)化》的演講，主要從 SQL on Hadoop 介紹、快手 SQL on Hadoop 平臺概述、SQL on Hadoop 在快手的使用經(jīng)驗和改進分析、快手 SQL on Ha

HDFS作為Hadoop生態(tài)系統(tǒng)的分布式文件系統(tǒng)，它被設計用來存儲海量數(shù)據(jù)，特別是TB、PB量級別的數(shù)據(jù)。它的設計的初衷也是存儲大文件，而如果HDFS上存在大量的小文件，會對系統(tǒng)性能帶來嚴重的問題。本文想跟大家聊下小文件的處理。本文的小文件是指那些大小比HDFS的block (Hadoop 2.x的默認大小128MB)

【編者按】在 開源 已經(jīng)逐漸成為一種政治正確的時候，開源項目最終會走向哪里？本文針對Cloudera和Hortonworks的宣布合并一事進行發(fā)問，回溯 Hadoop 的商業(yè)化和合并前后歷程，試圖尋找這一答案。 本文首發(fā)于IT經(jīng)理世界，作者李昊原；