首页 人工智能 3D打印 虚拟现实 物联网 高科技

当前位置:首页 > 大数据 > 大数据缺失值处理的四个方法

大数据缺失值处理的四个方法

发布时间:2024-07-02 20:45:44 作者:竹叔邦
缺失值估计的方法有哪些?

1.原问题解释:
具有伪随机属性的值插值方法()。
A.比率插值
B.最近距离插值
C.回归插值
D.平均插值
正确答案:B


二、估计方法:
1.平均替代
①除以数据。 根据缺失值相关系数最大的属性分成多个组,然后分别计算每个组的平均值,并将这些平均值放入缺失值中。
②缺点:改变了数据分布,有些优化问题会对方差进行优化,使得方差优化问题不准确。
2.随机填充
①我一直觉得这个方法不好。 这涉及在此属性列中随机查找一个数字来填充缺失值。
②缺点:不可靠。
3.Hot-Deck方法
①对于有缺失值的变量,Hot-Deck方法是在数据库中找到与其最相似的对象,然后使用它。 填写这个相似对象的值。 不同的问题可能使用不同的标准来确定相似性。
②最常见的是使用相关系数矩阵来确定哪个变量(例如变量Y)与缺失值所在的变量(例如变量X)最相关。
③然后根据Y的值对所有变量进行排序。 然后变量X的缺失值可以用缺失值之前的案例的数据来替换。
④缺点:太烦人了。 与均值替换法相比,使用热图填充法对数据进行插值后,其变量的标准差更接近于插值前。 但在回归方程中,采用热卡填充法很容易增大回归方程的误差,使参数估计不稳定。 此外,这种方法不切实际且耗时。
⑤另外,对应的方法是Cold-Deck。
4.由最近距离确定的填充方法
①假设当前时间为时间y,上一时间段为时间x,则根据第二天的值填充y的值。
③但是,如果时间影响比较大的话,这可能就不行了。


5.回归填充法(Regression)
①假设我的生肖y缺失,那么我知道属性x,那么我用回归的方法,用真实的数据来训练模型,然后输入属性x,预测属性y,然后填写缺失的部分。
②缺点:由于属性x完全是通过预测属性y来预测的,所以会增加属性之间的相关性。 这可能会影响最终模型的训练。
6.多重插补法(M-heuristic)
①以贝叶斯理论为基础,然后利用EM算法实现缺失值处理算法。
②给每个缺失值赋予M个缺失值,使数据集变成M。 然后用同样的方法对这M个样本集进行处理,得到M个处理结果,即这些M的总和。 ,最终得到目标变量的估计。

网贷大数据怎么清理?网贷大数据清洗可以通过以下方式进行:
1.重复数据删除:通过识别和删除重复的数据记录,确保每个借款人或投资者只有一个唯一的数据。
2.数据标准化:将不同格式或错误格式的数据统一为标准格式,如统一日期格式、金额格式等,方便后续分析处理。
3.缺失值处理:对于缺失数据,可以选择通过填充、删除、插值等方式进行处理。 常见的方法有均值填充、插值、回归模型等。
4.异常值处理:为了识别和处理异常值,可以使用异常值检测算法或基于规则的方法来确保数据的准确性和可靠性。
5.数据合并:合并多个数据源的数据,确保数据的完整性和一致性,以便进行全面分析和建模。
总结:
清洗网贷大数据是保证数据质量的重要一步。 通过重复数据删除、标准化、缺失值处理、外部处理、数据合并等方法,可以获得干净、准确、可靠的数据。 获得的数据为后续的分析和决策提供了有力的支持。
详细信息:
网贷大数据清洗过程还可能包括数据脱敏、特征工程和数据采样等技术,以满足数据隐私和分析要求。 此外,数据清洗还需要考虑操作规范、数据安全等问题,以确保合规性和可靠性。