大数据用什么语言开发

大数据开发常用的编程语言有哪些？大数据常用的编程语言是Java。 Java可以用来做大数据工作。 无需使用Java来开发大数据或应用程序。 目前最流行的大数据开发平台是Hadoop，而Hadoop是用Java编写的。 一方面，由于hadoop的历史原因，Hadoop项目诞生于Java专家；另一方面，它也具有Java跨平台方面的优势，基于这两点原因，Hadoop采用了Java语言。

大数据学习需要什么语言？1、Java，大数据必备语言
Java可以说是大数据最基本的编程语言，以我多年来的经验，大数据的开发很多都是我来的。 接触过的都是JaveWeb开发的人，都被调到这里了（当然这也不是绝对的，我也见过有人被调到做产品大数据开发的，这太不可思议了）。
首先，大数据的本质无非是对海量数据的计算、查询和存储，后台开发很容易接触到海量数据访问的场景应用
第二是了解Java语言是天然的优势，因为很多大数据组件都是用Java开发的，比如HDFS、Yarn、Hbase、MR、Zookeeper等。 想要深入学习，跨越生产环境中遇到的各种陷阱，就得先学Java，然后再看源码。
说到咀嚼源码，一开始肯定会很困难，你需要对组件本身有深入的了解，实践会让你在这个阶段慢慢来，习惯阅读源码代码解决了问题，你会发现源码真的很好吃。
Scala和Java非常相似。 它们都是运行在JVM上的语言，在开发过程中可以无缝地互相调用。 Scala在大数据领域的影响力大部分来自于社区明星Spark和Kafka。 这两件事大家应该都知道（我会在后面的文章中更加维度地介绍）。 场。
Python和Shell
Shell不需要太多介绍。 它被广泛使用，是程序员必须具备的一项常见技能。 Python最常用于数据挖掘领域，编写一些复杂的日常脚本，这些脚本很难在shell中实现。
2.分布式计算，
什么是分布式计算？分布式计算研究如何将一个需要巨大计算能力的问题划分为许多小的部分，然后将这些部分分配给许多服务器进行处理，最后将这些计算结果组合起来得到最终的结果。
打个比方，就好像团队领导划分了一个大项目，要求每个团队成员开发一部分，最后合并每个人的代码来完成这个大项目。 听起来很简单，但是真正参与过大型项目开发的人一定都知道，要做的事情有很多。
目前最流行的分布式计算工具有：
离线工具Spark、MapReduce等。
实时工具SparkStreaming、Storm、Flink等。
稍后我们会讲这些的区别以及各自的应用场景。
3.分布式存储传统的网络存储系统使用集中式存储服务器来存储所有数据。 单台存储服务器的I/O能力有限，成为系统性能的瓶颈。 服务器的可靠性和安全性无法满足需求，尤其是大规模存储应用。
分布式存储系统存储分布在多个独立设备上的数据。 它采用可扩展的系统结构，使用多个存储服务器来分担存储负载，并使用位置服务器来定位存储信息。 不仅提高了系统的可靠性、可用性和访问效率，而且易于扩展。