3、 从数据上游到数据下游,大致可以分为:数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可化 等几个方面 工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。
2、 开发大数据安全技术:改进数据销毁、透明加解密、分布式访问控、数据审计等技术;突破隐私保护和推理控、数据真伪识别和取证、数据有完整性验证等技术。
1、 基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。 hadoop mapre duce hdfs yarn:hadoop:Hadoop 概念、版本、历史,HDFS工作原理,YARN介绍及组件介绍。 大数据存储阶段:hbase、hive、sqoop。 大数据架构设计阶段:Flume分布式、Zookeeper、Kafka。 大数据实时计算阶段:Mahout、Spark、storm。
4、 第一阶段:大数据技术入门 1大数据入门:介绍当前流行大数据技术,数据技术原理,并介绍其思想,介绍大数据技术培训课程,概要介绍。