什么是数据挖掘,数据挖掘概念

经典图书推荐：《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《Python标准库》、《thinkinginJava》、《ThinkinginC 》、《数据结构》等。

大数据和数据挖掘的区别？

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘流程：定义问题：清晰地定义出业务问题，确定数据挖掘的目的。数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。

数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。数据挖掘的技术，可粗分为：统计方法、机器学习方法、神经网络方法和数据库方法。统计方法，可细分为：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、CBR、遗传算法、贝叶斯信念网络等。

从零开始，如何学习数据挖掘？

这个问题思考了很久，作为过来人谈一谈，建议在看我这篇回答之前先去了解一下数据挖掘的概念和定义。在学习数据挖掘之前你应该明白几点：数据挖掘目前在中国的尚未流行开，犹如屠龙之技。数据初期的准备通常占整个数据挖掘项目工作量的70%左右。 数据挖掘本身融合了统计学、数据库和机器学习等学科，并不是新的技术。数据挖掘技术更适合业务人员学习（相比技术人员学习业务来的更高效）数据挖掘适用于传统的BI（报表、OLAP等）无法支持的领域。

数据挖掘项目通常需要重复一些毫无技术含量的工作。如果你阅读了以上内容觉得可以接受，那么继续往下看。学习一门技术要和行业靠拢，没有行业背景的技术如空中楼阁。技术尤其是计算机领域的技术发展是宽泛且快速更替的（十年前做网页设计都能成立公司），一般人没有这个精力和时间全方位的掌握所有技术细节。但是技术在结合行业之后就能够独当一面了，一方面有利于抓住用户痛点和刚性需求，另一方面能够累计行业经验，使用互联网思维跨界让你更容易取得成功。

不要在学习技术时想要面面俱到，这样会失去你的核心竞争力。一、目前国内的数据挖掘人员工作领域大致可分为三类。1）数据分析师：在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询，商务智能，出分析报告。2）数据挖掘工程师：在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。3）科学研究方向：在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。

二、说说各工作领域需要掌握的技能。(1).数据分析师需要有深厚的数理统计基础，但是对程序开发能力不做要求。需要熟练使用主流的数据挖掘（或统计分析）工具如SAS）、SPSS、EXCEL、BI工具等。需要对与所在行业有关的一切核心数据有深入的理解，以及一定的数据敏感性培养。经典图书推荐：《概率论与数理统计》、《统计学》推荐David Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用 》、《Excel 2007 VBA参考大全》、《IBM SPSS Statistics 19 Statistical Procedures Companion》等(2).数据挖掘工程师需要理解主流机器学习算法的原理和应用。

需要熟悉至少一门编程语言如（Python、C、C 、Java、Delphi等）。需要理解数据库原理，能够熟练操作至少一种数据库（Mysql、SQL、DB2、Oracle等），能够明白MapReduce的原理操作以及熟练使用Hadoop系列工具更好。经典图书推荐：《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C 》、《数据结构》等。

(3).科学研究方向需要深入学习数据挖掘的理论基础，包括关联规则挖掘 （Apriori和FPTree）、分类算法（C4.5、KNN、Logistic Regression、SVM等) 、聚类算法 （Kmeans、Spectral Clustering）。目标可以先吃透数据挖掘10大算法各自的使用情况和优缺点。

相对SAS、SPSS来说R语言更适合科研人员The R Project for Statistical Computing，因为R软件是完全免费的，而且开放的社区环境提供多种附加工具包支持，更适合进行统计计算分析研究。虽然目前在国内流行度不高，但是强烈推荐。可以尝试改进一些主流算法使其更加快速高效，例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。

需要广而深的阅读世界著名会议论文跟踪热点技术。如KDD，ICML，IJCAI，Association for the Advancement of Artificial Intelligence，ICDM 等等；还有数据挖掘相关领域期刊：ACM Transactions on Knowledge Discovery from Data，IEEE Transactions on Knowledge and Data Engineering，Journal of Machine Learning Research Homepage，IEEE Xplore: Pattern Analysis and Machine Intelligence, IEEE Transactions on等。

可以尝试参加数据挖掘比赛培养全方面解决实际问题的能力。如Sig KDD ，Kaggle: Go from Big Data to Big Analytics等。可以尝试为一些开源项目贡献自己的代码，比如Apache Mahout: Scalable machine learning and data mining ,myrrix等（具体可以在SourceForge或GitHub.上发现更多好玩的项目）。

经典图书推荐：《机器学习》 《模式分类》《统计学习理论的本质》《统计学习方法》《数据挖掘实用机器学习技术》《R语言实践》，英文素质是科研人才必备的《Machine Learning: A Probabilistic Perspective》《Scaling up Machine Learning : Parallel and Distributed Approaches》《Data Mining Using SAS Enterprise Miner : A Case Study Approach》《Python for Data Analysis》等。

三、以下是个人对数据挖掘岗位的感受真正从数据挖掘项目实践的角度讲，沟通能力对挖掘的兴趣爱好是最重要的，有了爱好才可以愿意钻研，有了不错的沟通能力，才可以正确理解业务问题，才能正确把业务问题转化成挖掘问题，才可以在相关不同专业人才之间清楚表达你的意图和想法，取得他们的理解和支持。所以我认为沟通能力和兴趣爱好是个人的数据挖掘的核心竞争力，是很难学到的；而其他的相关专业知识谁都可以学，算不上个人发展的核心竞争力。

说到这里可能很多数据仓库专家、程序员、统计师等等都要扔砖头了，对不起，我没有别的意思，你们的专业对于数据挖掘都很重要，大家本来就是一个整体的，但是作为单独一个个体的人来说，精力有限，时间有限，不可能这些领域都能掌握，在这种情况下，选择最重要的核心，我想应该是数据挖掘技能和相关业务能力吧（从另外的一个极端的例子，我们可以看， 比如一个迷你型的挖掘项目，一个懂得市场营销和数据挖掘技能的人应该可以胜任。

这其中他虽然不懂数据仓库，但是简单的Excel就足以胜任高达6万个样本的数据处理；他虽然不懂专业的展示展现技能，但是只要他自己看的懂就行了，这就无需什么展示展现；前面说过，统计技能是应该掌握的，这对个人的迷你项目很重要；他虽然不懂编程，但是专业挖掘工具和挖掘技能足够让他操练的；这样在迷你项目中，一个懂得挖掘技能和市场营销业务能力的人就可以圆满完成了，甚至在一个数据源中根据业务需求可以无穷无尽的挖掘不同的项目思路，试问就是这个迷你项目，单纯的一个数据仓库专家、单纯的一个程序员、单纯的一个展示展现技师、甚至单纯的一个挖掘技术专家，都是无法胜任的）。

这从另一个方面也说明了为什么沟通能力的重要，这些个完全不同的专业领域，想要有效有机地整合在一起进行数据挖掘项目实践，你说没有好的沟通能力行吗？数据挖掘能力只能在项目实践的熔炉中提升、升华，所以跟着项目学挖掘是最有效的捷径。国外学习挖掘的人都是一开始跟着老板做项目，刚开始不懂不要紧，越不懂越知道应该学什么，才能学得越快越有效果。

我不知道国内的数据挖掘学生是怎样学的，但是从网上的一些论坛看，很多都是纸上谈兵，这样很浪费时间，很没有效率。另外现在国内关于数据挖掘的概念都很混乱，很多BI只是局限在报表的展示和简单的统计分析，却也号称是数据挖掘；另一方面，国内真正规模化实施数据挖掘的行业是屈指可数（银行、保险公司、移动通讯），其他行业的应用就只能算是小规模的，比如很多大学都有些相关的挖掘课题、挖掘项目，但都比较分散，而且都是处于摸索阶段，但是我相信数据挖掘在中国一定是好的前景，因为这是历史发展的必然。

如何从概念上分清数据挖掘与数据分析？

通俗点说，数据分析是本科生，通过简单的统计来观察小数据，解决相对简单问题，比如用户年龄分布分析；而数据挖掘是研究生，通过机器学习算法建模，要深挖大数据背后的模式，来解决复杂问题，比如个性化推荐。方法论方面：一个是统计，一个是机器学习数据分析作用的多数是概率统计理工具，比如留存率的分析，大多数上是对历史数据的某个维度的展示。

而数据挖掘，背后的目标隐藏在大数据中，需要通过机器学习、深度学习理论去预测，比如挖掘用户的喜好，本质上是对用户未来行为的预测。工具层面：一个是excel，一个是代码数据分析，通过excel可以基本搞定，excel内置很多统计函数，顶多做个简单的线性回归分析。而数据挖掘，将要利用大数据、机器学习等用更专业的编程语言来实现，比如python调用sklearn或xgboost，来实现。

大数据、数据分析和数据挖掘的区别是什么？

对于很多人来讲，这几个概念经常分不清，我当初入门的时候也一样，只不过那时候没有大数据的概念，作为一个数据分析从业者，其实并不需要关注这些名字直接的本质区别，只要明白一件事，数据最终是为了决策服务。鉴于大家对此还是有些好奇，这里我大概说说我的理解，希望和各位有所交流，不足之处还望大家指正。先看看数据分析与数据挖掘的区别：首先要搞懂，什么是数据，什么是信息，这两者本质的区别就是数据是存在的，不用人脑，而信息是需要人脑进行处理，上面意思呢？比如你装修完了房子，打算开始买家具，那么第一件事就是用尺子量房屋各处的长度和宽度，这些都是可以主观的看到的，客观存在的，这就是数据，而信息则不同，例如你要去买沙发，你会说，我们放5米的沙发刚好，4米的有些短，看着不大气，6米的太大了，看着不美观，那这种就属于信息，是需要人们经过大脑去判断的，属于主观，判断的依据就是数据（客观存在）。

其次，数据分析是对客观存在的已知的数据，通过各类维度的分析，得出一个结论，例如我们发现用户注册量下降：可以从:区域上看，某区域的注册量下降了x%渠道方面，搜索引擎带来的注册了下降了X%年龄来看，20岁~30岁的注册量下降了X%等等，这样不同的业务类型去看过去一段时间发展的趋势来做结论判断。数据挖掘则更注重洞察数据本身的关系，从而获得一些非显型的结论，这是我们从数据分析中无法得到了，例如关联分析可以知道啤酒与尿布的关系、决策树可以知道你购买的概率、聚类分析可以知道你和谁类似，等等，重在从各个维度去发现数据之间的内在联系因此两者的目的不一样，数据分析是有明确的分析群体，就是对群体进行各个维度的拆、分、组合，来找到问题的所在，而数据发挖掘的目标群体是不确定的，需要我们更多是是从数据的内在联系上去分析，从而结合业务、用户、数据进行更多的洞察解读。

举个例子来理解一下：比如一个分析师一直单身，想去找一个女朋友，他可以很迅速的知道这个女孩的身高、收入、学历等，但无法从这些数据中获知这个女孩是不是适合自己、她的性格如何，这时我们就需要从一些日常行为的数据进行推断，一种是主观的推断，我觉得、我估计、我认为，不可能在一起另一种是客观 主观的推断，比如整合微博数据（可以知道微博的内容、发送行为、关注的领域等），和自己的行为进行数据挖掘，来看看数据内在的匹配度有多高，这时候，你会说，我们在一起的概率有90%，从而建立信心，开始行动.....当然统计学上讲，100%的概率都未必发生，0%的概率都未必不发生，这只是小概率事件，不要让这个成为你脱单的绊脚石。

最后，思考的方式不同，一般来讲，数据分析是根据客观的数据进行不断的验证和假设，而数据挖掘是没有假设的，但你也要根据模型的输出给出你评判的标准。我们经常做分析的时候，数据分析需要的思维性更强一些，更多是运用结构化、MECE的思考方式，类似程序中的IF else分析框架（假设） 客观问题（数据分析）=结论（主观判断）而数据挖掘大多数是大而全，多而精，数据越多模型越可能精确，变量越多，数据之间的关系越明确什么变量都要，先从模型的意义上选变量（大而全，多而精），之后根据变量的相关系程度、替代关系、重要性等几个方面去筛选，最后全扔到模型里面，最后从模型的参数和解读的意义来判断这种方式合不合理。

以上就是我认为的三个区别，其实不论数据分析还是数据挖掘，能抓住老鼠的就是好猫，真的没必要纠结他们之前的区别，难道你给领导汇报时，第一部分是数据分析得出，第二部分是数据挖掘得出？他们只关注你分析的逻辑、呈现的方式。下来说说我理解的大数据，常常有人问我，感觉现在的大数据分析培训和讲解，都是把之前的各类数据分析资料，前面加了了“大”，然后变成了大数据分析培训....,其实想一想这位兄弟说的真TM对。

大数据对我的感觉并不是数据量大，也不是数据复杂，这些都可以用工具和技术去处理，而是它可以做到千人千面，而且是实时判断规则例如定向广告的推送，就是大数据，它根据你以往的浏览行为，可以准确的给你推相关的信息，基本做到了你一个人就是一个数据库，而不是一条数据。但我们所作的数据分析更多是针对群体的，而非针对每个个人。

要做到千人前面，侵犯你隐私数据是避免不了的，或多或少都有知道一些，而做到千人千面的大数据不就是要更多的了解你，引导你、杀你、留住你吗？为了达到这类手段，就要不断的去完善自家数据，甚至要购买数据来360度的让你在数据下裸奔，从而解决数据孤岛的问题所以大数据时代也显露出了各类问题，数据的隐私、数据杀熟、数据孤岛等，这也许就是我们目前看到大数据分析更看重的是技术、手段的原因，它其实是一门纯技术，但有时候确实可能需要艺术。

数据分析和数据挖掘有什么区别，想学习一下？

你们班10个女生，40个男生，你分析出最理想的情况下至少会有20个光棍。这是数据分析！但是，你综合自己的身高，体重，颜值，性格爱好，家境和对未来老婆的畅享等诸多因素。你发现某个女生A可能是你的菜，并且你的成功率很大，而且你知道了她的很多小秘密，小爱好，你知道了努力的方向。深挖下去，最后你们走进了婚姻的殿堂。