大数据底层架构详解

3、 为所有处理任务采取流处理为先的方法会产生一系列有趣的副作用。 这种流处理为先的方法也叫做Kappa架构,与之相对的是更加被广为人知的Lambda架构(该架构中使用批处理作为主要处理方法,使用流作为补充并提供早期未经提炼的结果)。

2、 大数据的三个层面：第一层面：理论 理论是认知的基础，也是大数据被广泛理解和传播的起点。 从大数据的特征定义出发，我们可以对大数据进行整体描绘和定性。 探讨大数据的价值，深入理解其重要性。 此外，从大数据隐私的角度，我们可以看到人与数据之间的长期博弈。

1、   通常情况下，我们会按照结构模型把系统产生的数据分为三种类型：结构化数据、半结构化数据和非结构化数据。 结构化数据，即行数据，是存储在数据库里，可以用二维表结构来逻辑表达实现的数据。 最常见的就是数字数据和文本数据，它们可以某种标准格式存在于文件或记录的固定字段中。 相对应的，没有固定结构不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。