首页 深度学习 增强现实 无人驾驶 环保科技 物联网

当前位置:首页 > 大数据 > 大数据开发工程师工作内容是什么

大数据开发工程师工作内容是什么

发布时间:2024-07-03 11:34:34 作者:何季童

3、 1、数据采集:业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。 2、数据清洗:一些字段可能会有异常取值,即脏数据。 为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填。

1、 3、研发基于大数据平台的数据仓库平台产品;4、参与大数据平台的容量规划、持续交付、业务监控、应急响应,保证平台正常运行;5、利用大数据相关技术实现对数据的加工、分析、挖掘、处理、及数据可视化等相关工作;6、推动团队内成员技术经验分享,关注相关前沿技术研究,通过新技术服务团队和业务。