首页 深度学习 人工智能 虚拟现实 大数据 无人驾驶

当前位置:首页 > 大数据 > 大数据开发工程师都做什么

大数据开发工程师都做什么

发布时间:2024-07-03 04:07:29 作者:六孟叶

1、 1、大数据工程师可以做大数据开发工作,开发,建设,测试和维护架构,负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。

4、 大数据开发工程师与数据分析工程师有什么不同?从工作内容来看大数据开发主要负责大数据采集,数据清洗(ETL),数据建模,数据应用开发工作。

2、 1、数据采集:业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。 2、数据清洗:一些字段可能会有异常取值,即脏数据。 为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填。