大数据分析平台框架

3、 1、Hadoop Hadoop 采用 Map Reduce 分布式计算框架，根据 GFS开发了 HDFS 分布式文件系统，根据 Big Table 开发了 HBase数据存储系统。 Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。 Yahoo，Facebook，Amazon 以及国内的百度，阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建自己的分布。

1、   对于大数据分析平台的选择，应该根据公司的具体需求和预算来决定。 以下是一些常见的大数据分析平台及其特点：1. Hadoop：是一个开源分布式计算框架，可用于处理大规模数据。 它具有高可靠性、高扩展性和高容错性，适用于处理各种类型的数据，包括结构化、半结构化和非结构化数据。 2. Spark：是一个开源分布式计算系统，具有快速、通用和可扩展的特点。 它可以处理大规模数据，并且可以与各种数据源和库集成。 3. Flink：是一个开源流处理框架，具有高性能、低延迟和高吞吐量的特点。 它可以用于实时数据处理和分析，以及批处理和流处理场景。 4. Storm：… 美林数据技术股份有限公司依托二十年行业数字化服务经验，凝聚10多位算法专家，50多位工程师的智慧，历时九年研究与实践，打造出“面向企业级用户的一体化大数据分析平台”——Tempo大数据分析平台。 旨在为企业用户提供大数据环境下，满足不同领域业务需求的数据分析与应用服务。 Tempo是一款集数据接入、数据处理、数据挖掘、数据可视化、数据应用于一体的软件产品。 它秉持“智能、互动、增值”的设计理念，面向企业级用户提供自助式数据探索与分析能力，为企业提供从BI到AI的一体化数据分析与应用解决方案。

2、 Kafka Kafka是一个分布式流处理平台，主要用于构建实时数据流管道和应用。 它提供了高吞吐量、可扩展性和容错性，允许发布和订阅记录流。 Kafka常用于实时日志收集、消息传递等场景，与Hadoop和Spark等大数据框架结合使用，可以实现高效的数据处理和分析流程。

5、 来看看我们公司的大数据平台 我们的DataZ具备高性能实时和离线计算能力,丰富的统计、分析、挖掘模型,为行业全流程、全周期的生产运营活动提供商业智能支持,并能可视化您的数据,高效挖掘数据深层次信息。 可以应用于金融大数据风控。

4、 大数据计算框架有：批处理计算框架、流式计算框架、图计算框架、分布式数据库计算框架、深度学习计算框架。 1、批处理计算框架 适用于对大规模的离线数据进行处理和分析。 典型的批处理计算框架包括Apache Hadoop MapReduce、Apache Spark等。 2、流式计算框架 适用于实时或近实时处理连续的数据流。