大数据架构详解

4、 大数据的三大技术支撑要素：分布式处理技术、云技术、存储技术。 一、分布式处理技术 分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务。 比如Hadoop。

2、 为所有处理任务采取流处理为先的方法会产生一系列有趣的副作用。 这种流处理为先的方法也叫做Kappa架构,与之相对的是更加被广为人知的Lambda架构(该架构中使用批处理作为主要处理方法,使用流作为补充并提供早期未经提炼的结果)。

3、 二、大数据基本架构 基于上述大数据的特征,通过传统IT技术存储和处理大数据成本高昂。 一个企业要大力发展大数据应用首先需要解决两个问题:一是低成本、快速地对海量、多类别的数据进行抽取和存储;二是使用新的技术对数据进行分析和挖掘,为企业创造价值。

1、 大数据存储的目的是为了支持数据分析。 大数据可以分为存储和分析两个方面，而这两者相辅相成。 有效的存储技术是大数据分析和价值实现的基础。 大数据的三个层面：第一层面：理论 理论是认知的基础，也是大数据被广泛理解和传播的起点。 从大数据的特征定义出发，我们可以对大数据进行整体描绘和定性。