大数据基础知识小结笔记

一、大数据开发要懂大数据的哪些东西？涵盖哪些大数据开发课程？
大数据工程师是2020年最热门的职业之一。 大数据技术人才是智能革命的先行者，也是智能时代最直接的受益者。
大数据开发的基本周期是Hadoop框架。 在学习大数据开发工程师的技术之前，通常会先学习Java的基本语法和框架。
今天，西安汇杰学院用友大学为大家带来大数据开发课程大纲。
第一部分是Java基础知识：Java概述、运行机制、环境配置、正则命令、Java标识符、判断语句、循环语句和数组；
第二部分是J2SE：Java类和对象、内存和堆等，Java重载，关键字，对象类，Java线程；
第3部分数据库和标签：SQL语法，PL/SQL语法，Web脚本，服务器，CSS，Jsp和servlet；
第四部分大数据基础与实践：Linux、hadoop分布式安装、MapReduce理论与实践、hadoop环境、Spark与Storm、大数据挖掘与机器学习；
框架第五部分：持久层框架、Spring与框架集成
这些只是学习大数据的总体框架的一部分，其中包含很多小细节。
学习大数据开发需要足够的耐心和细心。 每个小知识点都有其独特的作用。 为此西安汇杰学院向大家推荐如下：
1．学习时做不同的笔记，越详细越好；
2．每个技术点反复练习，直至理解、熟悉为止；
3.善于总结，总结知识点，总结可能出错的地方；
4．有问题及时澄清，不要分组，给以后的学习带来问题；
5．每一章中学到的所有技术都应该以连贯的方式组合和练习。
在这个科技日新月异、大数据人才极其稀缺的社会，尽快掌握这项技术，尽快掌握时代潮流。
以春天的温暖开始，以夏季的炎热结束。 大数据开发工程师的学习周期一般为四个月到四个半月。 当春天温暖、鲜花盛开时，你就开始学习。 可以在炎热的夏天开始工作，职场也能稳定下来，通过科技来逐渐提高生活质量，改变生活。 二、【《大数据时代》读书笔记2】大数据视角下，一切皆可“量化”近年来，“大数据”的前景并不新鲜。 如果我们回顾历史，它已经存在很长时间了。 只是当时“大数据”这个词还没有被发明。
19世纪，“量化”被应用于导航。 19世纪还是一个航海经验靠口口相传的时代，有的甚至被证明是假的。 莫里航海家通过定量分析制作的导航地图是大数据的最早实践之一。 一次马车事故导致他的一条腿残疾后，年轻的海军军官莫里辞去了海上工作，去了一家海图和仪器工厂。 在这个后来被证明是他的福地的地方，莫里在对仓库里存放的航海书籍、海图、地图和航海日志进行了翻阅和整理后，将这些记录整合成数据，将整个大西洋按照经度分为五个部分。 和纬度，并根据经度和纬度将其分为五个部分。 月份绘制温度、风速和风向，为寻找更高效的航行路线提供参考。 后来，为了提高准确性，莫里创建了记录导航数据的标准表格，并在所有军舰和部分商船上使用。 通过分析这些数据，找到了一些适合航行的自然路线，从而减少了船只的数量。 海军和商船的船舶。 三分之一的旅程。 早在信息数字化之前，人工开发数据就充分显示了其有效性。 随着数据存储和处理能力不断提高，“大数据”技术的应用领域也在不断扩大。
20世纪，“量化”对于投资来说非常重要。 在金融领域，“量化”一词经常出现在“量化投资”等术语中，指的是利用量化的方法和计算机编程来发出买卖指令，以获取稳定收益的交易方法。 其本质是取代传统的定性分析来做出有数据支持的投资决策。 “量化投资”在国外已经发展了30多年。 其投资业绩稳定，规模和市场份额持续增长，受到越来越多投资者的认可。 金融领域是数据相对集中、容易感知的领域，但量化阶段远不止于此。
进入21世纪，坐姿研究开始采用“量化”。 日本产业技术综合研究所的小清水重臣教授将量化方法应用于坐姿研究。 通过扫描人就座时的体形、姿势和体重分布，它可以生成针对每个骑手的精确数据，并识别乘员的身份。 基于人体对座椅的压力差，准确度达98%。 该技术可用作汽车防盗系统。 通过该系统，汽车可以识别驾驶员是否为车主，并实施相应的安全措施。 数据挖掘是你想象不到的，但关键在于如何提取和使用它。
数据化，而不是数字化。 第一个是指将现象转化为可以制表和分析的定量形式的过程；第二个是指将模拟数据转换为以0和1表示的二进制代码。 在数字时代的初期，清楚地了解这两个概念非常重要。 数据化侧重于“I（信息）”，数字化侧重于“T（技术）”。 数字化的发展提高了数据化的可行性。
文本“数据”。 谷歌的数字图书馆是文本数字化的典范。 通过将文本数字化，人们可以用它来阅读，机器也可以用它来分析它。 谷歌利用这些数字化文本来改进其自动翻译服务。 从几年前相当于高中水平的翻译水平到今天惊人的水平，他居然超越了某位英语水平不断恶化的作者（首先是作者荣）。 ）找个地方蹲着哭一会儿）。
“数字化”的方向。 随着手机的广泛使用，实时位置信息也可以数字化。 位置信息的数字化催生了许多新的价值。 例如，无线数据技术公司Jana的创始人Eagle就使用了100多个国家200多家无线运营商的手机数据。 他不仅仅关注家庭主妇平均每周去自助洗衣店的次数。 ，同时也尝试解答有关疾病等问题。 无论是商业研究还是社会研究，新的用途都在不断被创造出来。
“数据驱动”的沟通。 个性化是数字化的前沿。 Facebook将关系数字化，Twitter将情感数字化，LinkedIn将个人经历数字化。 这些社交媒体平台以各种方式将个人及其通信数字化，并存储大量用户数据。 初步应用，例如对冲基金德温特资本对微博数据的文本分析，已经获得了股市投资的信号。 尽管由于隐私问题，数据的使用还远未成熟，但不难想象，当数据得到充分利用时，一切皆有可能。 世界上的问题不再是世界上的一切，而是海量的数据？
当我看到一切都可以量化的说法时，我还是有些保留的。 因为太绝对了。 但看起来这只是一种思想的传递，只是为了表达数据的重要性。 大数据视角提供了看待世界的另一种视角，但它绝不是唯一的视角。