首页 云计算 虚拟现实 物联网 无人驾驶 环保科技

当前位置:首页 > 大数据 > 大数据分析技术的基本框架学习

大数据分析技术的基本框架学习

发布时间:2024-07-03 05:48:30 作者:庹伯畴
壹、大数据分析应该掌握哪些基础知识呢?前言,要学习大数据,首先要换电脑:
确保你的电脑有8G4核内存和64位操作系统,并且尽量有SSD作为系统盘,否则你会失去信心。 硬盘越大越好。
1.语言要求
首次开始使用Java时需要Javase。
Scala是学习spark的基本方式。
后期深入需求:
javaNIO、netty、多线程、ClassLoader、底层和jvm调优等、rpc。
2.操作系统要求
在Linux中使用基本的shell脚本。
Crontab是最常用的。
一款分析瓶颈、查看CPU、内存、网络、磁盘等状态的工具。
配置和使用scp、ssh、host。
使用telnet、ping等网故障排除命令
3.sql的基本用法
SQL有platform、hive、sparksql等。 是必要的,大多数公司仍然以数据仓库为中心,SQL必不可少。
SQL统计、排序、连接、分组等,然后调整SQL语句、设计表等。
4.对大数据有基本的了解
必须熟练掌握Zookeeper、hadoop、hbase、hive、sqoop、flume、kafka、spark、storm等框架的功能和构建。 的基本环境。 可以进行运行、维护和堵塞分析。
5.Mapre duce及相关框架hive、sqoop
深入理解mapre duce核心思想。 特别是混洗、串联、文件输入格式、映射编号、减速器编号、调整等。
6.Hive、hbase这样的仓库
Hive、hbase本质上是大型数据仓库的标准配置。 要重用,请了解如何调整和排除故障。
hbase阅读了浪剑hbase系列文章。 Hive稍后会更新。
7.使用消息队列
Kafka的基本概念、使用方法以及拥塞分析。 读浪剑卡夫卡系列。
8.实时处理系统
storm和sparkStreaming
9.Sparkcore和sparksql
Spark用于离线分析,这是两个重要的功能。
10.最终令决定
a)、操作和维护。 (精通所有系统及故障排除,并能编写运维脚本。 )
b)、数据分析。 (熟练掌握算法)
c)、平台开发。 (掌握源码)
自学还是培训?
没有基础知识的学员应在培训前观看视频,避免盲目培训跟不上讲师的进度,浪费时间、精力和金钱。
如果你有背景,可以尝试学习一些基本的视频制作技巧,然后与群里的年长者互动。 前提是大家都愿意。
最好的办法就是想办法去做。 与大人物交朋友。