第一章 数据思维

1.1      数据思维概述

1.1.1   感知四阶段

数据——信息——知识——智慧  （数据、信息与知识三者之间的变化趋势是价值递减）

数据思维是关于数据认知的一套思维模型

知识：表述的是事物运动的状态和变化规律，认识世界的结果，也是改造世界的依据，是信息经过加工提炼后形成的抽象产物，是一类高级的、抽象的而且具有普遍适应性的信息，具有系统性、规律性和可预测性

智慧：是人类基于已知的知识，针对具体问题进行分析、对比、演绎找出解决方案的能力

数据分析思维模式：分类、回归、聚类、相似匹配、频繁项集、统计描述、链接预测、数据压缩、因果分析

分类：就是根据数据的某种共同的属性或特点，将对象划分到一个正确的类别中

聚类：将物理或者抽象对象分组成为由类似的对象组成的多个类的方法（图像分析技术、机器学习）

相似匹配：论文剽窃检测系统、用户输入纠错

频繁项集：挖掘出经常一起出现的变量（购物篮数据分析

统计描述：一般以平均指标和变异指标的计算、资料分布形态图表等方法

链接预测：预测未被发现的链接和未来可能形成的链接的方法

数据压缩：为了减少数据的冗余所使用的技术

因果分析：利用事物发展变化的因果关系进行预测的方法

来处理数据分析

1.1.2  数据分析一般步骤

是明确分析目的、数据收集、数据处理、数据分析、数据展示和报告撰写

数据处理主要包括清洗、转化、抽取、合并、计算等处理方法

数据分析报告是对整个数据分析过程的一个总结与呈现

数据分析是能从收集、处理后的数据中提取有价值的信息，形成有效结论的过程

1.2     大数据思维与技术

1.2.1  大数据特征特点

数据衡量单位：KB-MB-GB-TB-PB-EB-ZB-YB

大数据时代的数据可视化需结合大数据多类型、大体量、高速率、易变化等特征

大数据思维特点：从样本思维转化到全量思维，从自然思维转化到智能思维，从精准思维转化到模糊思维，从因果思维转化到关联思维

大数据的特点有海量的数据规模、多样的数据类型、快速的数据流转和动态的数据体系以及巨大的数据价值

大数据具有 4 个基本特征：Volume（规模）、Variety（类型）、Velocity （实时性）和Value（价值）

大数据引发的科学问题中最主要的是预测

大数据2.0时代强调数据的外部性

在大数据时代，数据分析更加强调大概率时间，也就是所谓的模糊性

大数据中预测问题主要分成2类：趋势和缺失信息预

2013年被称为“大数据元年”

1.2.2 大数据技术（数据收集、预处理、存储）

数据收集

数据收集一般可分为设备数据收集和WEB数据爬取两类。

数据预处理

数据预处理包括数据清理、数据集成、数据归纳、数据转换

数据存储

分布式文件系统中的文件在物理上可能被分散存储在不同的节点上，在逻辑上还是一个完整的文件

关系模型是最传统的数据存储模型，它使用记录按行进行存储，记录存储在表中表由架构界定

数据处理

目前主要大数据处理计算模型主要有：分布式计算框架，分布式内存计算系统，分布式流计算系统

MapReduce分布计算框架将计算任务分为大量的并行Map和Reduce两类任务

MapReduce是大数据时代最为典型，应用最广泛的分布式运行框架

Spark是开源的，当今最热门的基于内存计算的分布式计算系统

数据分析

深度学习是一种利用深度神经网络来解决特征表达的一种学习过程

分布式数据挖掘和深度学习技术可以进一步细分为：聚类、分类、关联分析、深度学习

数据可视化

数据可视化的关键技术包括：数据信息的符号表达技术，数据渲染技术，数据交互技术和数据表达模型技术

数据可视化运用计算机图形学和图像处理技术

数据矢量是数据表达模型中将多维信息空间与视觉符号空间进行映射与转换