杨承志，张伟，尹丽君
（交通运输部水运科学研究院，北京 100088）
近年来，随着港口智能化和信息化的不断建设与发展，越来越多的传感器、测量仪表和监控设备被安装和应用于码头各处，以实现对码头设备的监测与控制。随着这些监测和控制设备的大范围、大规模应用，会产生大量的生产运行数据并汇集到码头监控调度中心，给港口码头的数据存储、分析与处理工作提出了新的挑战。面对如此巨大的生产运行数据流，传统平台和算法已无法满足数据处理的实际需求，研究和推广大数据分析技术在港口码头的应用十分必要。
随着码头信息化、智能化进程的不断发展，监测设备的大范围应用，码头生产作业和设备运行过程中产生的各项数据都呈现指数级增长。这些连续产生、实时变化的海量生产运行数据，对于正在以信息化手段加速转型升级，提升港口智能化水平的港口企业来说，既是挑战，也是财富。目前码头运行数据的特征可归结为如下几点：一是数据量大；
二是数据类型多；
三是价值大。
根据码头运行数据产生的方式不同，相关运行数据可以分为以下两种类型，即码头设备运行状态数据和码头生产作业统计数据。
（1）码头设备运行状态数据。通过设备上配置的相关传感器以及智能电表等监测设备可对设备自身运行状态的数据进行实时采集，对皮带机张紧和跑偏，电机电压电流、设备温度等运行参数进行监测。这些数据可以实时反映码头设备当前的运行效率和运行状态，具有巨大的使用价值。通过对这些运行数据的深入挖掘与利用，可以为码头制定科学合理的生产流程和运行维护方案提供有效的数据支撑。
（2）码头生产作业管理数据。码头生产作业过程中，各个部门会对码头设备运行时间、输送流量、工作效率、故障情况等系统运行数据进行统计，此类数据即为生产作业管理数据。这类数据是在码头设备运行的特定范围和时间内自动统计生成，从而对码头设备的总体运行状态予以反映。通过对这些生产作业管理数据的分析利用，码头可以精确掌握设备负载率在时间和空间上的分布情况，从而制定科学有效的生产计划和生产调度。
通过对码头生产运营数据的深入挖掘与分析，可以详细深入了解码头生产作业运行状态，掌握各个设备和系统的运行效率，从而制定科学合理的生产流程和运行维护方案，降低设备故障发生率，提高生产效率。因此采用大数据平台深入分析码头运行数据十分必要。
码头设备运行状态的大数据分析处理流程为：
（1）数据采集层。通过传感器、测量仪表、监控终端等元器件对码头现场设备的气压、张紧、跑偏、电压、电流、功率等机械与电气数据进行实时采集，构建设备运行的大数据基础。与这些数据一起被采集的还有监测地点、所属区域和设备编号等基础信息数据。
（2）物理层。通过现场总线、光纤通信、无线通信等技术手段将采集到的数据上传到服务器集群等物理机架上进行储存，完成物理层面的数据保留。
（3）大数据层。采用Hadoop 分布式计算平台对储存在物理机架上的数据进行分析计算。
（4）分析展示层。通过Hadoop 平台端对数据计算结果进行可视化查看和在线展示。
Hadoop 平台大数据处理流程见图1。
图1 Hadoop 平台大数据处理流程
综上所述，利用Hadoop 平台处理码头设备运行数据的流程是：首先通过HDFS 相关命令将采集到码头设备运行数据存入系统中，然后在YARN 框架平台上对数据进行Map Reduce 并行计算，最后再将运算结果通过HDFS 命令下载到本地进行后续处理分析和展示。
本文采用Hadoop 作为基础技术框架，对码头设备运行数据进行大数据分析。Hadoop 平台的核心模块主要包括有分布式文件系统HDFS、分布式并行计算框架Map Reduce、分布式资源管理框架YARN 和基础工具集Hadoop Common。其中HDFS 用于提供高效快速的数据存储与读取；
Map Reduce 用于进行大规模数据集的并行运算；
YARN 用于为上层应用提供资源管理、调度和协调；
Hadoop Common 用于为Hadoop 平台上的其它组件和程序提供运行环境和支持。
Hadoop 生态系统框架结构见图2。
图2 Hadoop 生态系统框架结构图
在分布式存储模式下，多个数据节点的使用可以有效保障数据安全，客户端的识别功能则可以提高数据读取效率。通过使用操作日志文件与数据镜像文件，可以实现操作更新记录，从而大大减少系统崩溃带来的数据丢失风险。利用分布式并行处理系统，则可以同时完成电机电流电压、转速、皮带流量等不断变化数据的处理。当任何一个map 出现故障时，都不会影响其余节点的运行，从而保障整个框架能够更加顺畅和稳定地运行。此外，利用Map Reduce 还可以实现大数据的挖掘，通过构建相关性模型，可以有效地挖掘设备故障、故障区域、影响因素等数据之间的内在关联度，从而有效地规避风险，以防代修，提升码头设备运行稳定性。
4.1 设备运行状态函数方程分析
由于码头作业和物料输送过程中，码头设备的运行过程是一个典型的大规模非线性系统，因此，在分析码头设备运行状态的相关数据时，可以将用于表示码头设备运行动态过程的非线性微分方程组，通过某一个给定的稳定运行参数，将该方程组线性化，从而得到一个可以用于反映码头设备在该稳定运行模式下状态变化情况的线性微分方程组。
通过该方程组求出相应的特征值，然后依据该特征值在根平面上的分布情况，可以判断码头相关设备的运行状态。在码头各个设备的正常运行过程中，可以将码头的设备运行和物料输送过程整体看做一个动态的运行过程，利用微分函数可将其描述为：
上述公式中，x 代表描述该设备动态运行过程中动态特性的状态变量向量，y 代表该设备动态运行过程中的运行变量向量。当码头设备整体处于稳定运行状态时，状态变量和运行变量均不随时间变化，此时可得出如下公式（2）：
在上式（2）所确定的设备稳定运行状态下，如果某一时刻，运行点xe，ye处发生一个变动，即：
将该变动代入上式（1）中，可得：
利用泰勒公式可以将上式（4）在变动发生点xe，ye处展开。当码头设备的运行状态变动较小，即、非常小时，此时可忽略二次以上项，由此可得到：
由上式（2）可知，当设备稳定运行时，存在如下公式：
因此可以得到码头设备在稳定运行状态点的线性方程为：
当码头设备的运行状态变动较大时，则可通过欧拉积分、中值积分、隐式积分等分析方法，对上式（4）展开后的泰勒级数高次项进行计算分析，从而得到对应的线性增量方程。
4.2 码头设备运行状态大数据分析处理步骤
（1）采用Hadoop 平台分布式管理码头设备运行状态的监控数据，同时利用Map Reduce 模型函数设计码头设备运行状态的相关规约函数。
（2）根据码头设备运行监测中得到的相关设备稳定运行状态数据，来确定各个变量的稳定值。
（3）对码头设备运行中出现的各种不稳定状态的非线性方程进行转化，将其简化近似为线性方程。
（4）将码头设备和系统运行过程中的不稳定状态数据带入对应状态方程，分析码头设备运行情况和状态变化趋势。
（5）根据码头设备运行状态变化趋势确定码头设备的运行状态和相关的操作处理措施，进行快速响应，或根据码头设备运行变化趋势制定检修维护计划。
随着港口码头智能化和信息化建设的不断深入，码头设备运行数据的种类和数量也越来越多。为了充分利用这些数据资源，提高设备运行效率，本文通过引入大数据分析技术，结合码头设备运行数据的特点，研究了码头设备运行数据的分析方法，建立了码头设备运行状态的大数据分析流程和系统框架，为码头精准掌握各个设备以及系统的运行效率和运行状态，制定科学合理的生产流程和运行维护方案提供了技术支撑和参考。
