生活中的大数据应用及原理

2、 大数据最本质的应用就在于预测,即从海量数据中分析出一定的特征,进而预测未来可能会发生什么。 实际上,上述例子仅仅是大数据应用的最初级阶段。 因为它所涉及的数据的范围并不广泛,其分析原理也非常简单。 而如前言所述,大数据有数据量大、数据多样性等特征,实际是将各个维度的数据进行综合分析进而进行一定的预测。

3、 hadoop mapre duce hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。 大数据存储阶段：hbase、hive、sqoop。 大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。 大数据实时计算阶段：Mahout、Spark、storm。 大数据数据采集阶段：Python、Scala。

1、 1.数据采集,搭建数据仓库，数据采集就是把数据通过前端埋点，接口日志调用流数据，数据库抓取，客户自己上传数据，把这些信息基础数据把各种维度保存起来，感觉有些数据没用（刚开始做只想着功能，有些数据没采集， 后来被老大训了一顿）。