大数据工程师主要是什么

1、 1、数据采集：业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。 2、数据清洗：一些字段可能会有异常取值，即脏数据。 为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。

3、 大数据工程师的主要工作是:分析历史、预测未来、优化选择。 1、分析历史,找出过去事件的特征: 大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。 找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。 通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。

2、 大数据应用工程师是做大数据开发的,主要的工作是负责搭建大数据应用平台以及开发分析应用程序,也属于程序员的范畴。 基础部分基础部分为java语言和linux操作系统;大数据相关技术部分大数据相关技术部分为hadoop、hive、hbase、oozie、flume、python、redis、kafka、scala、spark、ELK、flink等。