工业大数据轻量上云四大好处：低存储、高弹性、高容灾性……
2018/11/26 10:56:31 来源：亿欧网
工业大数据的范畴
工业大数据包括制造企业信息化数据、工业物联网数据，以及外部跨界数据。信息化数据包括了ERP中的客户订单、生产计划等信息，工业物联网数据主要是从生产设备上采集到的各种产质耗数据和智能产品上获得的运维数据，而外部跨界数据包括环境数据、市场数据和竞品数据等，而其中从机器设备上得到的数据比重将越来越大。工业大数据的特征除了大数据的4V(数据量大、类型多、价值密度低、速度快)以外，还有专业性、关联性、和时序性特征。
为什么大数据上云要轻量化
制造企业在构建大数据分析系统时，除了采用传统的自建数据中心架构以外，还可以采用数据存储和分析构建在公有云平台，采用离线训练模型，结合边缘计算在生产现场利用实时数据和已经训练好的模型进行业务应用的两级架构。
两级架构的优点主要体现在以下四个方面：
1、降低存储成本：从设备传感器上采集的数据点往往是时序连续的过程量，随着采集频率的提高和周期延长，数据量是非常大的，如果考虑对海量的数据的存储、备份和还原全生命周期的管理，往往在公有云上成本更低。
2、提高弹性：在公有云上处理大数据，空间和时间灵活性约高，对数据存储和计算资源的要求会随着项目时间越来越长而要求越来越高，而公有云基本能做到想什么时候要就什么时候要，想要多少就要多少。
3、提高容灾性：传统的数据中心的容灾备份往往采用两地三中心的方式，为保证7*24的系统高可用性对系统的要求高，而公有云的IaaS和PaaS的容灾备份机制能实现低成本的低数据丢失率和更短恢复间隔。
4、数据共享更便利：企业应该把自身看成“大数据”价值链中的一部分，那么企业既是贡献者也是受益者，工业大数据的价值可以共享给企业上下游使用，采用统一的公有云平台，促进数据资源的融会贯通，使得数据共享更方便。
大数据上云以后由于网络带宽的限制、对数据处理的时效性要求高、数据存储成本以及模型训练复杂程度多方面的原因，也要求在企业边缘层对原始数据进行一些轻量化处理，在不损失大数据价值性的基础上减少原始数据量。
轻量化的方法
轻量化是在不损失大数据价值性的基础上减少网络传输、存储和训练的数据量，并不是要剔除异常数据。轻量化的方法是在业务分析人员以价值需求为导向去发现数据和提取数据，主要是通过采样中的特征选取和数据压缩两种方法。
特征选取是在可采集的样本特征集合中选择预测能力强的最佳子集，剔除重复，简化多个特征之间的相互关联。首先可以对多个特征做相关性分析，如果特征的相关性为1，表示两个特征的变化是完全相同的，通过找出两个特征的线性关系，能够通过一个特征还原另外一个特征，一个简单的例子如果产品的中文名称要求是唯一的，那么这个产品的中文名称和它的编码相关性就是1，不存在多个编码的产品取相同的名称，那么在做数据采集、传输、存储和训练的时候只需要保留产品编码，只需要在结果展示的时候通过对应表的方式找出产品名称。
采用压缩算法也是常用的轻量化手段。在带有时间戳的时序性连续变量采集中，随着采集频率的提高数据量也成级数上升，可以通过偏差检测处理和罗旋门压缩过滤，既能反映数据实际趋势，所需要采集、传输和保存的数据也显著减少。下面的三张图简单展示了数据压缩的过程。
而自编码神经网络是结合了以上两种方式，采用自编码神经网络既可以对特征维度进行降维，也会通过编码方式对数据进行压缩。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，可以通过设定神经网络的隐藏层节点数量来达到数据压缩的目的。
结语
在越来越多的制造业把大数据放在云端进行处理的时候，在网络、存储和计算能力有效的情况下，采用对数据进行压缩和对数据特征进行选取的方法进行数据轻量化处理，以满足数据业务分析需求和处理效率的高效。
