多语言展示
当前在线:1749今日阅读:58今日分享:42

数据挖掘的方法有哪些?

世界包含的多得难以想象的数字化信息变得更多更快……从商业到科学,从政府到艺术,这种影响无处不在。科学家和计算机工程师们给这种现象创造了一个新名词:“大数据”。大数据时代什么意思?大数据概念什么意思?大数据分析什么意思?所谓大数据,他的来源在哪里,讲了那么多,那么数据挖掘是什么呢?
大数据下的数据挖掘
1

数据挖掘:在大型数据库中,通过分析发现有用信息的过程。在前篇文章中说到大数据的存储等问题,面临新的数据集带来的问题时,传统的数据分析技术往往会遇到很多实际困难。下面我们来说一下具体的问题。

2

可伸缩:如果数据挖掘算法要处理海量数据集,则算法必须是可伸缩的(scalable)许多的数据挖掘算法使用特殊的搜索策略处理指数级搜索问题。为实现可伸缩可能还需要实现新的数据结构,才能有效的访问每个记录。

3

高维性:现在,常常遇到具有成败上千属性的数据集,而不是几十年前的只具备少量属性的数据集。

5

数据的所有权与分布:有时,需要分析的数据并非存放在一个站点,或者归属一个机构,而是地理上分布在属于多个机构的资 源中。这就需要开发分布式数据挖掘技术。分布式数据挖掘算法面临的主要挑战包括:(1)如何降低执行分布式计算的通信量?(2)如何有效的同意从多个资源 得到的数据挖掘结果?(3)如何处理数据安全性问题?

6

非传统的分析:传统的统计方法基于一种假设——检验模式,即提出一种假设,设计实验来收集数据,然后针对假设来进行分析数据。但是,这一过程劳力费神。当前的数据分析人物常常需要产生和评估数千钟假设,因此需要自动地产生和评估假设,这促使人们开发了一些数据挖掘技术。

推荐信息