数据挖掘是指有组织、有目的地收集和分析数据，从这些大量的数据中提取有用的信息，从而找出数据中的规律、规则、知识、模式、关联、变化、异常和意义。 。 结构。
01 数据挖掘的意义
数据挖掘是指有组织、有目的地收集和分析数据，从这些大量的数据中提取有用的信息，从而找出数据中的规律、规则、知识、模式、关联、变化、异常和意义。 。 结构。
数据挖掘是从大量数据中发现存在的规律、规则、知识、模式、关联、变化、异常和有意义的结构的技术。 它是统计学、数据库技术和人工智能技术的综合。
02 数据挖掘的本质
数据挖掘的本质是找出数据中的规律、规则、知识、模式、关联、变化、异常和有意义的结构。
03 数据挖掘学科联系
数据挖掘是一门涉及面很广的交叉学科，包括数理统计、人工智能、计算机等，涉及机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。
04 数据挖掘的价值、目的和作用
数据挖掘的价值
数据挖掘的价值大部分在于利用数据挖掘技术改进预测模型、产生学术价值、促进生产、产生和促进商业利益，一切都是为了商业价值（数据—>信息—>知识—>商业）。
数据挖掘的目的
数据挖掘的最终目的是实现数据的价值，所以单纯的数据挖掘是没有意义的。
数据挖掘的作用
查找大量数据中存在的模式、关联、变化、异常和有意义的结构。
05 数据挖掘技术背景
海量的大数据已经远远超出了人类的理解范围。 如果没有强大的工具和技术的帮助，很难弄清楚大数据中包含的信息和知识。 如果重要的决策仅仅基于决策者的个人经验，而不是基于信息和知识丰富的数据，那么这将是数据的巨大浪费，同时也会给我们的商务、学习、工作带来极大的不便。和生产。 障碍。
因此，需要能够方便、高效、快速地从大数据中提取海量的信息和知识。 因此，数据挖掘技术应运而生。 数据挖掘弥合了数据、信息和知识之间的差距。
06 数据挖掘与数据分析的区别
数据分析的两个版本
即广义的数据分析和狭义的数据分析。 广义的数据分析包括狭义的数据分析和数据挖掘，我们常说的数据分析是指狭义的数据分析。
数据分析（狭义）
（一）数据分析（狭义）的定义：简单地说，狭义的数据分析就是对数据进行分析。 用专业术语来说，狭义的数据分析是指根据分析目的，采用适当的统计分析方法和工具对收集到的数据进行处理和分析，提取有价值的信息，充分发挥数据的作用。
（2）功能：主要实现状态分析、原因分析、预测分析（定量）三个功能。 狭义的数据分析目标明确，首先做出假设，然后通过数据分析验证假设是否正确，从而得到相应的结论。
（3）方法：主要采用比较分析、分组分析、交叉分析、回归分析等分析方法；
（4）结果：狭义的数据分析一般得出指标统计结果。 比如求和、平均值等，这些指标数据需要结合业务进行解读，才能发挥数据的价值和作用。
数据挖掘
（1）定义：数据挖掘是指通过统计、人工智能、机器学习等方法从大量数据中挖掘出未知的、有价值的信息和知识的过程。
（2）方法：主要采用决策树、神经网络、关联规则、聚类分析等统计、人工智能、机器学习等方法进行挖掘。
（3）结果：输出模型或规则，可以得到对应的模型分数或标签，模型分数如流失概率值、总分、相似度、预测值等，标签如高、中、低价值用户，流失与非流失、信用良好、信用较差等。
数据分析（狭义的）和数据挖掘的本质是一样的。 他们都从数据中发现有关业务的知识（有价值的信息），从而帮助业务运营、改进产品、帮助企业做出更好的决策。 因此，数据分析（狭义）和数据挖掘构成了广义的数据分析。
07 数据挖掘软件及其开发
第一代，针对软件：该公司早期的 CART 系统。
第二代，代表软件：SAS Miner；，是加拿大大学开发的多任务数据挖掘系统，其前身是SAS Miner。
第三代代表软件：SPSS，SPSS是SPSS公司的数据挖掘平台； 它是世界领先的数据挖掘解决方案。
第四代正在开发中。
08 数据挖掘技术（方法）有哪些
数据挖掘常用的方法有：分类、聚类、回归分析、关联规则、神经网络、特征分析、偏差分析等，这些方法从不同的角度挖掘数据。
(一)分类
分类的含义：就是找出数据库中一组数据对象的共同特征，并按照分类方式将其分为不同的类。 分类是按给定类别对对象进行划分。
分类的目的（功能）：其目的是通过分类模型将数据库中的数据项映射到给定的类别。
分类应用：客户分类、客户属性与特征分析、客户满意度分析、客户购买趋势预测、应用分类、趋势预测等。
主要分类方法：决策树、KNN方法（K-）、SVM方法、VSM方法、贝叶斯方法、神经网络等。
分类算法的局限性：分类作为一种监督学习方法，要求必须事先清楚地知道每个类别的信息，并断言所有待分类的项目都有一个与其对应的类别。 然而，很多情况下，上述条件是无法满足的，尤其是在处理海量数据时，如果通过预处理使数据满足分类算法的要求，那么成本会非常高。 这时候就可以考虑聚类算法了。
(2)聚类
聚类的含义：聚类是指事先不知道任何样本的类别标签。 根据对象的相似性和差异性，将一组对象分为若干类别，每个类别中的对象之间的相似度较高。 不同类中的对象之间相似度较低或差异明显。 我们并不关心某个类是什么，我们需要实现的是将类似的东西聚集在一起。 聚类是一种无监督学习。
聚类方法（算法）：主要的聚类算法可以分为以下几类，分区方法、层次方法、基于密度的方法、基于网格的方法和基于模型的方法。 每一类都有广泛应用的算法，如划分方法中的k-means聚类算法、层次方法中的凝聚层次聚类算法、基于模型的方法中的神经网络聚类算法等。
聚类的应用：可应用于客户群体分类、客户背景分析、客户购买趋势预测、市场细分等。
(3)回归分析
回归分析的含义：回归分析是一种统计预测模型，用于描述和评估因变量与一个或多个自变量之间的关系； 它反映了交易数据库中属性值的时间特征，并生成一个数据函数，将项映射到实值预测变量，并发现变量或属性之间的依赖关系。
回归分析的应用：回归分析方法广泛用于解释市场份额、销售额、品牌偏好和营销效果。 它可以应用于营销的各个方面，例如客户寻找、保留和防流失活动、产品生命周期分析、销售趋势预测和有针对性的促销活动等。
回归分析的主要研究问题：数据序列的趋势特征、数据序列的预测、数据之间的相关关系等。
（四）协会规则
关联规则的含义：关联规则是数据项之间隐藏的关联或相互关系，即从一个数据项的出现可以推断出其他数据项的出现。 关联规则是描述数据库中数据项之间存在的关系的规则。
关联规则的目的（作用）：发现数据之间隐藏的关联或相互关系，从一件事的发生推断另一件事的发生，从而更好地理解和掌握事物的发展规律等。
关联规则的应用：关联规则挖掘技术已广泛应用于金融行业来预测客户需求。 银行通过将客户可能感兴趣的信息捆绑在ATM上，方便用户了解和获取相应信息，从而提高自身水平。 营销。
(5)神经网络法
神经网络作为一种先进的人工智能技术，由于其自身处理、分布式存储、高容错等特点，非常适合处理非线性问题以及知识或数据模糊、不完整、不精确的问题。 ，非常适合解决数据挖掘问题。
(6)Web数据挖掘
Web数据挖掘的含义：Web数据挖掘是一门综合技术，是指Web从文档结构和所使用的集合C中发现隐藏的模式P。 如果将C视为输入，将P视为输出，那么Web挖掘过程可以看作是从输入到输出的映射过程。
目前常用的Web数据挖掘算法有：算法、HITS算法、算法。 这三种算法提到的用户都是一般用户，不区分个人用户。
(7) 特征分析
特征分析的含义：特征分析就是从数据库中的一组数据中提取关于这些数据的特征表达，这些特征表达表达了数据集的整体特征。
特征分析的目的（作用）是从海量数据中提取有用信息，从而提高数据使用效率。
特征分析的应用：例如，营销人员可以通过客户流失因素的特征提取，获得导致客户流失的一系列原因和主要特征，并利用这些特征来有效防止客户流失。
(8)偏差分析
偏差分析的含义：偏差是数据集中对象的一小部分。 通常，偏差对象被称为异常值、例外、野点等。偏差分析是寻找与大多数其他对象不同的对象。
偏差分析的应用：在企业危机管理及其预警中，管理者更感兴趣的是那些意想不到的规则。 意外规则的挖掘可以应用于各种异常信息的发现、分析、识别、评估和预警。 其原因有物种不同、自然变异、数据测量或采集误差等。
09 什么是“异常”
(1)给出了异常的本质定义：异常是数据集中不寻常的数据，使人怀疑这些数据不是随机偏差，而是由完全不同的机制产生的。
(2)聚类算法中异常的定义：异常是聚类嵌入的背景噪声。
(3)异常检测算法对异常的定义：异常是既不属于簇也不属于背景噪声的点。 他们的行为与正常行为有很大不同。
结尾。
