数据挖掘期末复习-作业（简答）

作业

１、数据挖掘的定义?

数据挖掘是从大量的、有噪声的、不完全的、模糊和随机的数据中，提取出隐含在其中的、人们事先不知道的、具有潜在利用价值的信息和知识的过程。

２、数据挖掘主要有哪些技术方向？

答：数据挖掘的技术可分为：统计方法、机器学习方法、神经网络方法、数据库方法。

３、简述数据挖掘的过程？

（1）数据采集　（２）特征提取和数据清洗　（３）分析处理和算法

４、数据预处理的主要任务？

（１）数据清洗：填补缺失值 | 平滑噪音数据 | 识别并移除异常值和噪音数据 | 解决不一致性 | 解决数据整合后带来的冗余；

（２） 数据整合：集成多个数据库或多个文件；

（３） 数据转换：正则化 | 聚合化；

（３）数据缩成：提取有特征化的数据，减少数据量，并能够产生相同或相似的分析结果；

（４） 数据离散：对某些数值型数据有时需要

５、简述高维数据的可视化方法？

高维数据可视化：箱线图和平行坐标图

６、PCA（主成分分析）和LDA（线性判别分析）的异同点？
相同点：两者均可以对数据进行降维；都属于特征提取；两者在降维时均使用了矩阵特征分解的思想；两者都假设数据符合高斯分布。

不同点：
（1）LDA是有监督的降维方法，PCA是无监督的。

（2）LDA降维最多降到类别数K-1的维数，PCA没有这个限制。

（3）LDA选择分类性能最好的投影方向，PCA选择数据最大分差的方向。

（4）LDA可能会过拟合数据。

７、数据规范化的方法和公式？

（1）极值标准化：

 (2)Z-Score 规范化:

８、特征提取和特征选择的区别？
特征提取的方法主要是通过属性间的关系，如组合不同的属性得到新的属性，这样就改变了原来的特征空间。特征选择的方法是从原始特征数据集中选择出子集，是一种包含的关系，没有更改原始的特征空间。

９、属性间相关联系分析方法和公式？

（１）皮尔森相关性

（2）卡方检验

１０、ID３的优点？缺点？

缺点：

• 只考虑分类的特征，没有考虑连续特征
• 对缺失值没有考虑
• 没有考虑拟合问题
• 划分过程会由于子集规模过大而造成统计特征不充分而停止

优点：理论清晰，方法简单，学习能力较强

１１、Ｃ４.５算法基于ID３算法做的改进？
改进1:用信息增益率代替信息增益来选择属性

改进2:能够完成对连续值属性的离散化处理
改进3∶能处理属性值缺失的情况
改进4:在决策树构造完成之后进行剪枝

１３、什么是频繁项集？性质？

频繁项集是指支持度大于等于最小支持度(min_sup)的集合。

性质1：频繁项集的子集必为频繁项集

性质2：非频繁项集的超集一定是非频繁的

１４、APRIORI算法的核心及思想？

核心：生成所有频繁项集。

思想：逐级搜索，先找出长度最大的频繁项集，接着找出长度为２的频繁项集，以此类推：Ｌ１＝＞Ｃ２＝＞Ｌ２＝＞Ｃ３．．．．．

１５、APRIORI算法的不足之处？

（ 1 ）可能产生庞大的候选集。
（２）算法需多次遍历数据集，算法效率低，耗时。