1.可视化研究

大数据研究的用用者能大数据研究专家，1起还能1般客户，但他们二者和大数据研究最基本的条件是可视化研究，因为可视化研究可直观的呈现大数据特征，1起可最好受观众所接受，就如同看图说话1样简单明了。

2. 数据挖怎么算方法

 大数据研究的理论核心是数据挖怎么算方法，各种数据挖的怎么算方法根据不同的数据类型及格式才能更科学的呈现出数据本身具备的特征，也正是因为这些受全世界统计 学家所公认的各种统计方法（可称之为真理）才能深入数据内部，挖出公认的价值。另外11个方面也是因为能这些数据挖的怎么算方法才能更快速的办理大数据，如 果11个怎么算方法的花至好几年才能的出结论，那大数据的价值也就无从说起了。

3. 预期性研究

 大数据研究最终要的软件领域之1是预期性研究，从大数据中挖出特征，用科学的建立模具，后便可用模具带入新的数据，从而预期未来的数据。

4. 语义引擎

 非结构化数据的多元化给数据研究带来新的pk，我们准备1套装备系统的办疗研究，提炼数据。语义引擎准备设计至能足够的人工智能以足以从数据中主动地提取信息。

5.数据质量及数据管理。
大数据研究离不开数据质量及数据管理，高质量的数据及能效的数据管理，不论是有学术研究是有商业软件领域，都可保证研究结果的真实及能价值。

大数据研究的基础是以至五1个方面，当然更深入大数据研究的话，还能最多最多更能特征的、更深入的、更专业的大数据研究方法。

大数据的技术

数据采集： ETL装备负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取至临时间中间层后进行清洗、转换、集成，最后加载至数据库或者数据集市中，成为联机研究办理、数据挖的基础。

数据存取： 关系数据库、NOSQL、SQL等。

基础架构： 云储存、分布式文件储存等。

数据办理： 自然话办理(NLP，Natural Language Processing)是研究人与怎么算机交互的话问题的1门学科。办理自然话的关键是要让怎么算机”理解”自然话，所以自然话办理又叫做自然话理解也称为怎么算话学。1方面它是话信息办理的11个分支，另1方面它是人工智能的核心课题之1。

统计研究：  假设检验、显著性检验、差异研究、相关研究、T检验、 方差研究 、 卡方研究、偏相关研究、距离研究、回归研究、简单回归研究、多元回归研究、逐步回归、回归预期与残差研究、岭回归、logistic回归研究、曲线估计、 因子研究、聚类研究、主成分研究、因子研究、快速聚类法与聚类法、判别研究、和应研究、多元和应研究（最优尺度研究）、bootstrap技术等等。

数据挖： 分类 （Classification）、估计（Estimation）、预期（Prediction）、相关性分组或者关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述及可视化、Description and Visualization）、复杂数据类型挖(Text, Web ,图形图像，视频，音频等)

模具预期 ：预期模具、机器学习、建模仿真。

结果呈现： 云怎么算、标签云、关系图等。

大数据的处理

1. 大数据办理之1：采集

大数据的采集是指利用多1个数据库来接收发自客户端（Web、App或者者传感器形式等）的 数据，并且客户可用这些数据库来进行简单的查看及办理工作。比如，电商能用用传统的关系型数据库MySQL及甲骨文等来储存每1笔事务数据，除 此之外，Redis及MongoDB这样的NoSQL数据库也常用于数据的采集。

有大数据的采集过程中，其主要特征及pk是并发数字高，因为1起能能能能成千至万的客户 来进行访问及控制，比如列车票售票网及淘宝网，它们并发的访问量有峰值时间达至至百万，所以准备有采集端部署大量数据库才能支撑。并且如何有这些数据库之间 进行负载均衡及分片的确是准备深入的思考及设计。

2. 大数据办理之二：插入/预办理

虽然采集端本身能能最多数据库，但如果要和这些海量数据进行能效的研究，是应该将这 些来自前端的数据插入至11个集中的大型分布式数据库，或者者分布式储存集群，并且可有插入基础至做1些简单的清洗及预办理工作。也能1些客户能有插入时间用 用来自Twitter的Storm来和数据进行流式怎么算，来符合部分业务的即时间怎么算求。

插入与预办理过程的特征及pk主要是插入的数据量大，每秒钟的插入量老是能达至百兆，甚至千兆等级。

3. 大数据办理之三：统计/研究

统计与研究主要利用分布式数据库，或者者分布式怎么算集群来和储存于其内的海量数据进行1般 的研究及分类汇总等，以符合大多数字常用的研究求，有这方面，1些即时间性求能用至EMC的GreenPlum、甲骨文的Exadata，以及根据 MySQL的列式储存Infobright等，而1些批办理，或者者根据半结构化数据的求可用用Hadoop。

统计与研究这部分的主要特征及pk是研究涉及的数据量大，其和系统资源，特别是I/O能能极大的占用。

4. 大数据办理之四：挖掘

与前面统计及研究过程不同的是，数据挖1般没能什么事先设置好的桌面，主要是有现能数字 据至面进行根据各种怎么算方法的怎么算，从而起至预期（Predict）的功效，从而实现1些高等级数据研究的求。最典型怎么算方法能用于聚类的Kmeans、用于 统计学习的SVM及用于分类的NaiveBayes，主要用用的装备能Hadoop的Mahout等。该过程的特征及pk主要是用于挖的怎么算方法最复杂，并 且怎么算涉及的数据量及怎么算量都最大，常用数据挖怎么算方法都以单线程为主。

 

整1个大数据办理的普遍流程至少应该符合这四1个方面的步骤，才能算的至是11个最全的大数据办理。