大数据处理的四个主要流程
全部回答（1）
大数据处理的四个环节：
摄取：原始数据有不同类型，格式、位置、存储、时效性等各不相同。 数据摄取从异构数据源收集数据并将其转换为适当的格式以便于处理。
存储：收集到的数据应根据成本、格式、查询、业务逻辑等需求存储在适当的存储中，以便于进一步分析。
转换：原始数据在适合分析之前需要进行转换和丰富，例如将网络日志中的IP地址替换为省份和城市、纠正传感器数据中的错误以及对用户行为进行统计。
分析：通过整理的数据分析发生了什么、为什么发生、发生了什么以及将会发生什么，帮助企业做出决策。
大数据处理过程包括：数据采集、数据预处理、数据存储、数据分析和数据呈现。
📈数据采集
数据采集包括从头开始创建数据的过程和使用Flume等工具将数据采集到指定位置的过程。
🔍数据预处理
数据预处理使用mapre duce程序对采集到的原始日志数据进行预处理，如清洗、格式化、过滤脏数据等。
并将该数据合并到数据点击流模型中。
🗄️数据仓库
数据仓库将预处理后的数据导入到HIVE仓库中相应的库和表中。
📊数据分析
数据分析是项目的核心内容，即根据要求开发ETL分析报告，得到不同的统计结果。
📉数据呈现
数据呈现通常通过图表来可视化正在分析的数据。
数据治理过程是从数据规划、数据采集、数据存储管理到数据应用的从混乱到有序的过程，以及创建标准化流程的过程。
根据各个流程的特点，数据治理流程可以概括为四个词：“管理”、“采集”、“存储”、“使用”。
1.管理：组织业务流程，规划数据资源
>对于企业来说，每天的实时数据超过TB级别。 大量数据应该在哪里以及如何定位和收集？
这些问题需要提前规划和从故障到订单的一系列流程是的，这个过程需要跨职能协作，包括前端、后端、数据工程师和数据分析角色。 工程师、项目经理等
2.采集：ETL采集、去重、脱敏、转换、关联、异常值去除
前端和后端将采集到的数据提供给数据部门去做。 数据部门通过ETL该工具从源到目的地提取、转换和加载数据，目的是集中存储分散的、杂乱的数据。
3.存储：大数据的高性能存储和管理
大量的业务数据驻留在哪里？为了提供便利，我们需要一个高性能的大数据。 存储系统，数据被分类到相应的库中。
4.用途：实时查询、报表监控、智能分析、模型预测
数据的最终目的是支持业务决策。 为最终的查询、分析和监控铺平道路。
这个阶段是数据分析师的家，他们使用这些标准化数据来运行实时查询，建立指标和报告系统，还可以分析和预测模型。
