数据清洗方法 | 郭飞的笔记

证书和著作读书笔记库精选技术博客演示【生活】小郭菜谱【生活】运动读完的书单

Java、Python、C混合编程【Rust1】基本语法【Rust2】包、Crate、模块【Rust3】实战笔记【Rust4】trait 【Rust5】常用工具包【Rust6】并发【Rust7】collections 【html】笔记【css】笔记【JavaScript】结合html 【JavaScript】全笔记【jQuery】全笔记【swift】初学笔记【合集】建站日志（5 篇）【合集】趣文（17 篇）【合集】Matlab （17 篇）【合集】Java （4 篇）【合集】C/C++ （9 篇）【合集】TensorFlow （14 篇）

【☆5285】【改进】blind_watermark 【☆44】【PyLSHash】Locality Sensitive Hashing 局部敏感哈希【工具】二维码生成器【轮子】带约束的岭回归【☆23】恶俗古风诗歌生成器【☆23】震惊体标题生成器【☆20】github star数量统计【☆1201】文本盲水印【☆5285】blind_watermark 【☆5285】【en】blind_watermark 【☆4928】scikit-opt 【☆4928】【en】scikit-opt 【☆39】用几个圆圈画任意图【工具】在线sql工具【工具】清爽搜索【工具】在线文本去重工具【工具】在线文本比较工具

0x00_读论文 8

【论文学习】论文目录【论文学习7篇】Understanding/Generalization/Transfer 【论文笔记7篇】Optimization/Training Techniques 【论文笔记】CNN 【读论文4篇】图神经网络【论文学习】水印类算法【论文学习】Hash 类算法【读论文】prophet

0x11_算法平台 15

【Linux】常用命令【git】语法速查表【Docker】入门【SQL】SELECT专题【spark, Hive, Hadoop, yarn】汇总【spark】DataFrame 【spark】sql.functions 【spark】工程实践【Hive SQL】速查打包Python库 mySQL配置【SQL】通用语法【python】sqlAlchemy 数据查询优化详解拉链表

0x12_Pandas与numpy 12

【pandas】读入与读出【pandas】数据筛选【pandas】去重、填充、排序、变换【pandas】index&colums 【pandas】描述统计&简单作图【pandas】groupby 【pandas】时间序列【pandas】合并数据表【pandas】练习题【numpy】ndarray 【numpy】linalg线性代数【numpy】ufunc

0x13_特征工程 4

【特征工程】归一化/标准化/正则化 Unbalanced Data 数据清洗方法经典数据集

0x21_有监督学习 21

【sklearn】一次训练几十个模型机器学习模型汇总【sklearn】模型选取+参数选择【模型评价】理论与实现【交叉验证】介绍与实现【Bagging&Boosting】理论与实现【半监督学习】理论与实现【logistics】理论与实现【Decision Tree】理论与实现【SVM】理论与实现【Random Forest】理论与实现【MLP】BP神经网络实现【KNN】理论与实现【Naive Bayes】理论与实现【判别分析】理论篇【CRF】理论篇【HMM】理论篇【EM算法】理论篇【Probit】理论简介【Elo模型】理论篇【dummies】虚拟变量回归

0x22_上世纪神经网络 10

RBF&GRNN 离散Hopfield 连续Hopfield 竞争神经网络&LVQ SOM Elman PNN Boltzmann机【ELM】极限学习机【感知机】理论简介

0x23_深度学习 7

【ChatGPT】提问的艺术（prompt指导）【DNN】Structuring DNN Projects 【DL】反向传播和优化算法【TensorFlow】AutoEncoder Practical aspects of DNN 【DL】hyperparameters tuning Structuring Machine Learning Projects

0x24_NLP 13

文本分词并画词云【NLP】任务【NLP】feature提取【NLP】【Python】新词发现【Torch】word2vec 【tensorflow】RNN LSTM 【NLP】基本数据结构【NLP】主题模型/关键词提取【NLP】文本分类【HanLP】NER流程【NLP】NLTK 【HanLP】分词、词性标注、NER

0x25_CV 11

【CNN】介绍【CNN】实现【DeepDream】初学【CNN】face recognition 【CNN】Object Localization 【OpenCV1】读写、空间变换【OpenCV2】滤波器、边缘、轮廓【OpenCV3】直方图、频域【OpenCV4】二维码识别【CV】数字图像处理【OpenCV5】人脸识别

0x26_torch 11

【pytorch】【进行中】基本配置【pytorch】基本语法【pytorch】data 【pytorch】建立模型【pytorch】hub 【pytorch】CNN和图像类算法【pytorch】RNN和TextCNN 【pytorch】GAN 【pytorch】BERT 【pytorch】OCR Diffusion Model

0x31_降维 10

【PCA】理论与实现【KernelPCA】理论与实现【LLE】理论与实现【Isomap】理论与实现【FA】理论与实现【ICA】理论与实现【MDS】Python实现【特征选择】【SVD】分解【有监督降维】LDA

0x32_聚类 5

【聚类】汇总【Kmeans】理论与实现【层次聚类】理论与实现【DBSCAN】理论与实现【GMM】理论与实现

0x33_图模型 9

【协同过滤】原理与实现【PageRank】简介【强化学习】简介【规则学习】简介【networkx】图挖掘包【图挖掘】社区检测【Apriori】关联规则【CQL】总结neo4j 【Spectral Clustering】谱聚类

0x41_统计模型 9

【统计推断】理论与实现【相关分析】理论与实现【回归分析】理论与实现【statsmodels】Quantile regression 【statsmodels】WLS加权最小二乘法【statsmodels】OLS最小二乘法【Kalman】卡尔曼滤波【statsmodels】（进阶）(补全中) 【ridge&lasso】理论与实现

0x42_概率论 7

常见统计分布随机变量的数字特征 law of large numbers 参数估计概率测度简介概率统计趣题信息熵

0x43_时间序列 10

【时间序列】总览【描述时序】趋势、季节和随机性【描述时序】指数平滑法【统计时序1】工具【统计时序2】平稳性【ARIMA】理论与实现【统计时序】GARCH 【统计时序】Granger因果检验【统计时序】非平稳数据的处理【时间序列】马尔科夫法

0x44_随机过程 2

【随机过程】【随机过程】1

0x51_代数与分析 14

【代数1】线性空间【代数2】线性映射【代数3】多项式【代数4】矩阵【代数5】群、环、域【解析几何】【集合】定义、序偶、可列【Real analysis(1)】范数、测度和距离【集合】开集、度量空间勒贝格测度【Real analysis(3)】Sequence in Metric Space 【Real analysis(4)】级数，巴拿赫空间与希尔伯特空间【Real analysis(5)】连续性与拓扑多元微积分【集合】其它

0x52_方程 2

常微分方程二阶线性偏微分方程

0x53_复分析与积分变换 8

【Complex Analysis0】基本概念【Complex Analysis1】极限、微分、解析【Complex Analysis2】Julia set 【Complex Analysis3】共形映射【Complex Analysis4】积分【Complex Analysis5】级数、留数【fourier】傅里叶变换【积分变换】拉普拉斯变换

0x55_数值计算 7

【数值计算】数值逼近【数值计算】数值线性代数【数值计算】数值常微分方程【解方程】scipy.optimize.solve 【数值计算】若干简介【插值】scipy.interpolate 【数值积分】scipy.integrate

0x56_最优化 11

【最优化】理论篇【线性最优化】理论篇【非线性无约束最优化】理论【最优化】应用场景【整数规划】理论【多目标最优化】理论【约束非线性优化】拉格朗日法与KKT 【最小二乘估计】scipy.optimize.leastsq 【cvxopt】最优化库（持续更新中）【最优化】scipy.optimize.fmin 【动态最优化】变分法

0x58_密码学 13

【改进】blind_watermark 【PyLSHash】Locality Sensitive Hashing 局部敏感哈希文本盲水印 blind_watermark 【en】blind_watermark 【加密】算法和实践【zip】文件结构【纠错码】理论和Rust实现【擦除码】理论和实现信息嵌入技术【2】【进行中】密码学相关知识【纠错码】入门【信息隐藏技术】隐写术、盲水印知识体系

0x59_应用数学 9

【离散数学1】数理逻辑【离散数学3】格和布尔代数【应用数学】博弈论【排队论】基本概念【AHP】层次分析法原理与Python实现【流形】基本概念【模糊论】基本概念数学模型【逻辑学】连锁悖论、真值度、超赋值理论与认知主义

0x60_启发式算法 8

【GA】遗传算法【PSO】粒子群算法【ACA】蚁群算法【IA】免疫优化算法【DE】差分进化算法【AFSA】人工鱼群算法【SA】模拟退火算法【智能算法】混合智能算法

0x70_可视化 13

【plotly】多图表【plotly】基本图表【matplotlib】设置【matplotlib】面向对象绘图【matplotlib】绘图方法汇总1 【svg】SVG基础知识、Pygal 【seaborn】绘图方法汇总2 【Matplotlib】3D视图【matplotlib】键鼠响应事件【matplotlib】动画【pyecharts】漂亮的可视化【tkinter】GUI设计【reveal.js】ppt

0x80_数据结构与算法 17

【数据结构0】知识体系【数据结构1】线性表【数据结构2】Queue、Stack、heapq 【数据结构3】hash 【数据结构4】递归【数据结构5】搜索【数据结构6】排序（Python）【数据结构7】树理论篇、最小生成树【数据结构7】【Python】Tree 【最小生成树】Prim和Kruskal 【图论】欧拉图、汉密尔顿图【数据结构8】Graph ACDoubleArrayTrie 【数据结构9】动态规划【文章集合】刷题【概率论】趣味小题生成迷宫

0xa0_蒙特卡洛方法 6

【Mento Carlo 1】背后的数学理论【Mento Carlo 2】随机数发生器【Mento Carlo 3】给定分布生成随机数【Python】【scipy】Random Variable 【Python】【numpy】random随机【探索】曲面上均匀随机采样

0xb0_Python语法 18

【Python】基本数据类型【Python】运算符&math 【string】字符串&正则【Python】sys,os,subprocess,exec,eval 【Python】copy 【Python】open&zip&print 【Python】异常和错误【加速】multiprocessing多线程、多进程、并行、numba 【Python】datetime 【Python】pickle&json序列化【Python】collection&itertools&bisect 【Python】【pynput】键鼠控制【Python】requests、bs爬虫【python】web 【python】socket 【python】redis/ES/dbm 【纠错码】BCH 【numpy-financial】金融计算模块

0xd0_设计模式 6

【Python】【面向对象】继承&多态【Python】【面向对象】字段&方法【Python】【面向对象】类的特殊成员【decorator】装饰器【Python】设计模式重构

数据清洗方法

2017年10月19日 Author:Guofei

文章归类: 0x13_特征工程文章编号: 100

版权声明：本文作者是郭飞。转载随意，但需要标明原文链接，并通知本人 ✉
原文链接：https://www.guofei.site/2017/10/19/cleandata.html

缺失值

1. 直接使用

有些模型支持缺失值，如决策树

2. 删除特征

如果某个特征大多数都是缺失值，那么可以删除这个特征

3. 补全

均值填充
缺点是填充的值都一样
众数填充
插值法填充
聚类，然后同类均值插补
建模预测
缺点是：如果缺失属性与其他属性无关，那么预测结果无意义。如果高度相关，那么可以删除特征。
高维映射
优点：最准确的做法，因为完全保留了信息，也不增加任何信息。
确实按：非常稀疏，因此样本量非常大才好。
做法类似One-hot Encode，前提是取值离散，缺失值也当做某类取值处理。

异常值

极端值指的是5 Sigma之外的值，离群值指的是3 Sigma之外的值

确认的方法

画box图检查
用5倍std检查

解决方法

盖帽法
把3sigma之外的数据定为sigma
取ln
分类建模
把干扰变量变成分类变量（异常为1，不异常为0）
离散化
例如做成高、中、低，三种字段。
剔除
- 剔除整行
- 剔除整列

冗余值

drop_duplicates

模型反馈

数据清洗有没有问题
数据抽样有没有问题
数据理解有没有问题
- 主成分分析看一下
- 聚类看一下
模型选择有没有问题
参数调整有没有问题

您的支持将鼓励我继续创作！