python大数据分析分析什么

一、Python数据分析要学什么数学
因为我不知道学到的数学知识有什么用。 IT公司的研发人员总觉得在进入大数据相关岗位之前需要学点数学。 但在广阔的数学世界里，数据技术的尽头在哪里？
说到数据技术，很多人首先想到的是数学，可能是因为数字在数学系统中的位置天然固定。 本文讨论数据技术的数学基础。 （推荐学习：Python视频教程）
我们知道数学主要有三个分支，分别是代数、几何和分析。 随着研究的发展，每个分支都会扩展到许多小分支。 在这个数学体系中，与大数据技术密切相关的数学基础主要包括以下几类。 （有关这些数学方法在大数据技术中的应用，请参阅《互联网大数据处理技术与应用》一书，2017年，清华大学出版社）
（1）概率论与数理统计
这一部分与大数据有关。 数据技术的发展与条件概率和独立性、随机变量及其分布、多维随机变量及其分布、方差分析和回归分析、随机过程（特别是马尔可夫）、参数估计、贝叶斯理论等基本概念密切相关。 等等，对于大量数据的建模和挖掘非常重要。 大数据本质上具有高维属性。 高维空间中数据模型的设计和分析需要一些多维随机变量及其分布的基础。 贝叶斯定理是分类器构造的基础之一。 除了这些基础知识之外，还可以利用条件随机场CRF、隐马尔可夫模型、N-gram等来分析大数据分析中的词汇和文本，构建预测分类模型。

当然，基于概率论的信息论在大数据分析中也发挥着一定的作用。 信息增益、互信息等特征分析方法都是信息论的概念。
（2）线性代数
这部分数学知识也与数据技术的发展密切相关，矩阵、转置、秩分块矩阵、向量、正交矩阵、向量空间、特征值和特征向量也是对大量数据进行建模和分析的常用技术手段。

在互联网大数据中，很多应用场景的分析对象都可以抽象为矩阵表示，例如：比如大量的网页及其关系、微博用户及其关系、文本与词汇文本句子之间的关系等。 用矩阵来表示。 例如，如果一个网页及其关系用一个矩阵来表示，则矩阵元素表示页面a和另一个页面b之间的关系，这种关系可以是指向关系，1表示a和b之间存在超链接。 表示a和b之间没有超链接。 著名的PageRank算法就是基于这个矩阵来量化页面的重要性并证明其收敛性。

基于矩阵的各种运算，例如B.矩阵分解是提取分析对象特征的方法。 由于矩阵代表了一定的变换或映射，因此分解后得到的矩阵就代表了空间中新特征的分析对象。 因此，单值分解SVD、PCA、NMF、MF等在大数据分析中得到广泛应用。

（3）优化方法

模型学习和训练是许多分析挖掘模型求解参数的一种方法。 基本问题是：给定一个函数f:A→R，找到一个元素a0∈A，使得对于A中的所有a：f(a0)≤f(a)（最小化）；或f(a0)≥f(a)（最大化）。 优化方法取决于函数的形式。 从今天的角度来看，优化方法通常是基于微分和导数的方法，如梯度下降法、登山法、最小二乘法、共轭分布法等。

(4)离散数学

离散数学的重要性是显而易见的。 它是计算机科学所有分支的基础，当然也是数据技术的重要基础。 这里不会更详细地讨论这一点。

最后值得一提的是，很多人认为自己数学不好，不能做好数据技术的开发和应用，但事实并非如此。 清楚地思考自己在大数据开发和应用中的角色。 大数据技术研究和应用可以考虑以下切入点。 上述数学知识主要体现在数据挖掘和建模层。

当然，使用这些数学方法来改进算法在其他层面上也很有意义。 例如，在数据采集层面，可以利用概率模型来估计爬虫采集到的页面的价值，以便做出更好的判断。 在大数据计算和存储层，采用矩阵分块计算实现并行计算。

有关Python的更多技术文章，请查看Python教程专栏。

二、大数据分析一般用什么工具分析1.专业的大数据分析工具
2.各种第三方Python数据可视化库
3.其他语言的数据可视化框架
1.专业大数据分析工具
1、FineReport
FineReport是一款纯Java编写的集数据展示（报表）和数据录入（表单）于一体的企业级Web报表工具。 只需简单的拖放操作，即可设计出复杂的中国式报表。 报告，构建数据决策分析系统。
2.FineBI
FineBI是新一代自助式大数据分析商业智能产品。 提供从数据准备、自助数据处理、数据分析挖掘、数据可视化的完整解决方案。 它也是最受推崇的可视化工具之一。
使用FineBI的感觉与使用Tableau类似。 他们都提倡可视化探索性分析，很像数据透视表的增强版。 上手简单，拥有丰富的可视化库。 它可以作为数据报告的门户和业务分析的平台。
2.Python的第三方数据可视化库
Python正在慢慢成为数据分析和挖掘领域的主导语言之一。 在Python生态中，很多开发者针对各种场景提供了非常丰富的第三方数据可视化库。 这些第三方库可以让我们结合Python语言绘制出漂亮的图表。
1.pyecharts
Echarts（下文会提到）是一个免费、开源的javascript数据可视化库，可以让我们轻松绘制专业的数据图表。 当Python遇见Echarts，pyecharts诞生了。 这是由chenjiandongx等一群开发者维护的EchartsPython接口，它可以让我们通过Python语言绘制各种Echarts图表。
2.Bokeh
Bokeh是一个基于Python的交互式数据可视化工具。 它提供了一种优雅简洁的方法来绘制各种图形，并且可以高性能地可视化大型数据集和数据流。 帮助我们创建交互式图表、可视化仪表板等。
3.其他数据可视化工具
1.Echarts
前面提到，Echarts是一个免费、开源的javascript数据可视化库，它可以让我们轻松绘制专业的业务数据图表。
大家都知道百度的大数据产品如百度迁移、百度思南、百度大数据预测等。 去年春节期间就报道过，最近央视的大计划也全部实现了。 通过电子图表。
2.D3
D3(DataDrivenDocuments)是另一个支持SVG渲染的JavaScript库。 然而，D3可以提供除折线图和条形图之外的大量复杂图表样式，例如Voronoi图、树形图、圆形簇和词云。