大数据开发工程师具体干嘛

2、 负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等;主要从事网络日志的大数据分析工作,包括:网络日志的数据提取、数据融合及分析;专注于实时计算、流式计算、数据可视化等技术的研发，负责网络安全业务主题建模等工作。

1、 3、研发基于大数据平台的数据仓库平台产品；4、参与大数据平台的容量规划、持续交付、业务监控、应急响应，保证平台正常运行；5、利用大数据相关技术实现对数据的加工、分析、挖掘、处理、及数据可视化等相关工作；6、推动团队内成员技术经验分享，关注相关前沿技术研究，通过新技术服务团队和业务。

3、 1、数据采集：业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。 2、数据清洗：一些字段可能会有异常取值，即脏数据。 为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。