大数据与数据挖掘技术
近些年,由于以社交网站、基于位置的服务LBS 等为代表的新型信息产生方式的涌现,以及云计算、移动和物联网技术的迅猛发展,无处不在的移动、无线传感器等设备无时不刻都在产生数据,数以亿计用户的互联网服务时时刻刻都在产生着数据交互,大数据时代已经到来。在当下,大数据炙手可热,不管是企业还是个人都在谈论或者从事大数据相关的话题与业务,我们创造大数据同时也被大数据时代包围。在大量的数据中找到有意义的模式和规则。在大量数据面前,数据的获得不再是一个障碍,而是一个优势。对于数据量早已逾越TB、增长率惊人、实时性高的大数据,如何分析、管理、利用大数据等工作仍将面临若干的挑战。
互联网数据中心对大数据的定义为:为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代构架和技术。所有对大数据的定义基本上是从大数据的特征出发,通过这些特征的阐述和归纳给出其定义。在这些定义中,可将大数据的特点总结为:规模性(volume)、多样性(variety)、高速型(velocity)和价值性(value)。
大数据的核心:数据挖掘。从头至尾我们都脱离不了数据挖掘。其实从大学到现在一直都接触数据挖掘,但是我们不关心是什么是数据挖掘,我们关心的是我们如何通过数据挖掘过程中找到我们需要的东西。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程,也是一种决策支持过程。其主要基于人工智能,机器学习,模式学习,统计学等。通过对大数据高度自动化地分析,做出归纳性的推理,从中挖掘出潜在的模式,可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场,并做出正确的决策。目前,在很多领域尤其是在商业领域如银行、电信、电商等,数据挖掘可以解决很多问题,包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。
最后,大数据不是最终答案,而是参考答案,千万不要神化了大数据。往往从神化到妖魔化只有一线之隔。记住,更大的数据是人类本身,在使用这一科技资源时要怀有谦恭之心,时刻铭记人性之本。
上一篇:大数据挖掘常用方法