大数据价值挖掘在货运行业的应用初探

 毕建涛，曲翠玉

 (大连理工大学城市学院，大连116600)

【摘要】物流成本高是货车超载、超速现象普遍的内在因素。利用大数据技术对交通数据进行深度分析进而优化货运调配，是提高货运效率、降低物流成本、实现安全运输的全新利器。本文探讨大数据相关技术以及大数据处理平台的构建理论，提出货运行业大数据价值挖掘系统架构。文章在分析货运大数据的来源、内容、类型、处理手段的基础上，对异构货运大数据进行处理整合，深度分析与挖掘，通过货车实时位置及运行轨迹，结合货运单形成货物迁徙图，为货运行业管理、物流企业、交通管理部门、相关服务企业提供具有深度价值行业信息，为行业规划、企业决策、交通监管提供强有力的支持。

【关键词】智能交通；大数据；Hadoop；货运行业；道路运输；货物迁徙图，数据价值挖掘

【中图分类号】F5 【文献标识码】A 【文章编号】1000-713X (2015) 12-0017-05

 The Junior Exploration of Big Data Value Mining in Freight Transportation

 BI Jiantao，QU Cuiyu

 (City Institute of Dalian University of Technology,Dalian 116600, China)

[Abstract] Logistics cost is the internal factor of overloading and speeding. In-depth analysis of traffic data usinglarge data technology and optimizing freight allocation, is a new tool to improve efficiency, reduce logistics cost andachieve safe transportation. This thesis discusses the related technologies of the big data as well as data processingplatform theory and proposes freight industry data mining system framework.Based on the analysis of the sources,contents, types and processing methods of freight big data, the paper analyzes and integrates the heterogeneousfreight data, and thus form a freight migration map through the combination of real-time position and runningtrack of freight vehicles and the freight documents, which provides a valuable industry information for the industrymanagement, logistics enterprises, transportation management departments and related services and also a goodassistance to industry planning, enterprise decision-making, traffic regulating.[Keywords] intelligent transportation; big data;Hadoop; freight transportation; road transportation; freight migrationmap; data value mining

关于“大数据”，Gartner的定义是：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的出现，使人们以全新的方式认识世界，挖掘数据中的价值，支持决策，预测未来。

 根据国家发改委的数据，2013上半年，社会物流总费用占GDP比率为18%，对比发达国家物流成本占GDP的比率控制在10%左右，还有很大的改进空间。利用交通管理、移动通信、社交网络等系统形成的大数据，结合行业业务数据，从行业管理的角度，对货运大数据进行加工、分析、挖掘，以掌握全面即时的货运信息，合理规划、优化布局，加强监管，指导物流企业安全运输，高效运输。

1  关于大数据技术

 大数据的特点可以用4个“V”来形容——Volume（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。对大数据的处理和应用技术有别于传统方式，要考虑并行处理、响应速度等。当前用于分析大数据的开源工具是Hadoop，该平台包括Hadoop HDFS. HadoopMapReduce、HBase. Hive等。

1.1  Hadoop分布式文件系统(HDFS)

 HDFS是一个高度容错性的系统，提供高吞吐量的数据访问，适合部署在廉价的机器上处理大规模数据集。HDFS为主从结构，一个HDFS集群由一个NameNode和若干个DataNode组成。NameNode操作文件命名空间的文件或目录操作，同时确定块与数据节点的映射。DHFS将一个文件分割成多个块，这些块被存储在一组DataNode中，DataNode负责读写请求，同时还执行块的创建、删除、复制等指令。

1.2 MapReduce

 MapReduce是一种对大规模数据集进行并行运算处理的编程模型：Map函数用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，以保证所有映射的键值对中的每一个共享相同的键组。MapReduce设计为面向顺序式大规模数据的磁盘访问处理，这样更适合只能在外存（磁盘）、廉价服务器上进行的大规模数据处理。

1.3  HadoopDatabase

 HBase是一个高性能、面向列的分布式开源数据库系统，是一个适合于非结构化数据存储的数据库。基于列而非行的模式，可使HBase具有高性能、可伸缩的特性：每次查询时只读关注的指定列而不需要读其他无关数据，同时，每列数据对应1个数据包，同构性可有效提高压缩性。

2货运行业大数据分析

 随着信息技术的发展，大规模、多类型数据的获取成为可能，货运行业数据可从以下几个方面获取。

2.1  行业管理数据

 指交通管理部门的车辆登记及年检信息、驾驶员登记及年检信息、违章记录，车辆厂商的车辆及保养维修信息，保险公司的车辆保险及理赔信息等。

 这些信息变更不频繁，多为结构化的数据，数据量不是很大，可用关系型数据库进行管理。

2.2企业运营数据

 指企业运营基本业务单据，包括物流企业、客户档案、物流网点、货运单等信息。

 这些信息多为事务性信息、结构化的数据，变更较频繁，数据量较大，可用关系型数据库进行管理。

2.3道路交通实时数据

 来源于交通管理部门的交通流检测网络通过线圈、红外、微波、视频和GPS检测到的交通流数据，包括道路监控探头的视频、图像；各卡口识别设备采集的图像；电子警察抓拍的图片；高速公路收费口及ETC数据；另外还有城市公交系统监控视频、图片等。

 上述数据的特点是数据量巨大、需要实时处理、所含价值复杂。利用大数据技术对上述数据的处理，可以获得车辆的位置及轨迹，以及道路交通流量实时信息。

2.4移动通信部门的数据

指由移动运营商提供的LBS服务数据，可以根据手机获得的驾驶员等相关人员的运行轨迹、运行速度、所处位置等数据。

 LBS基站定位是基于位置的服务，通过无线电通讯网络获取移动终端用户的位置信息。利用手机信令，根据起源蜂窝小区(COO)、到达时间(TOA)、到达时间差分(TDOA)、到达角度(AOA)、增强观测时间差分(E-OTD)等数据，获得手机所在小区的识别号，就可以知道手机所在区域（基站小区的经纬度），定位精度50～llOOm。LBS用于定位的主要数据说明如表1所示。

2.5车载GPS的数据

 GPS是根据高速运动的卫星瞬间位置作为已知的起算数据，采用空间距离后方交会的方法，确定待测点的位置。卫星定位不仅可以确定终端的位置，还能确定终端移动的速度、方向以及高度等额外属性值，而且在车载GPS数据中还可以确定车辆载重情况、作息时间等信息。车载GPS数据的详细描述见表2。

对于多源（LBS、GPS及交通卡口数据）和多层次（速度、流量和占有率等）的交通流信息进行融合处理，可以得到反映路网交通真实状况的一致可靠的交通流数据。

2.6社交网络的信息

 驾驶员、相关人员等在社交网络上发布的信息，可以通过网络数据挖掘技术，将所关心的文本、图片等内容收集起来，还可以通过网络日志收集相关人员上网行为数据。这些信息可能包括：途中经过的地点、天气信息、车辆状况、突发事件等，结合其他数据，通过关联分析，获取有价值的业务信息。

 从数据结构的角度来讲，上述数据可分为以下三类。

 结构化数据——具有结构的关系型数据，可采用关系型数据库进行处理。

 半结构化数据——与纯文本相比，具有一定的结构性，但结构变化很大；可采用XML文件的方式进行处理。

 非结构化数据——不具有结构性，可以用键、键值（内容）、描述，来组织数据，可借助Hadoop来处理。

 对不同类别的数据的存储与处理方式具体可归纳为如表3所示。经过处理后的数据集成于数据仓库，这样将大数据与其他结构化数据关联在一起，利用BI工具、统计报告、可视化查询等工具对数据进行查询、分析。货运行业数据处理与分析系统结构如图1所示。

3  货运行业数据的价值挖掘

 利用大数据技术，以全体数据而不是抽样数据为样本，对庞大的数据进行剥离、整理、归类、建模等操作，在此基础上建立数据分析的维度，对不同的维度数据进行分析，对数据进行深度挖掘和分析，让数据自己发声，为企业提供运营数据支撑，为企业的决策提供有力的依据。

3.1  车辆位置及轨迹数据

 通过对交管卡口数据的处理可以得到单个车辆的位置及轨迹信息。同样，根据车载终端GPS、手机LBS，分别得到车辆的运行轨迹、驾驶员的移动轨迹。三者相互补充、验证，即可得到准确、可靠的车辆位置及轨迹数据，这是后续的数据分析的基础。

3.2车流量分布数据

 汇总车辆位置及轨迹数据，可实时查询整个货车流的信息，包括某一时刻单个车辆的位置及轨迹，某地的车流量进出情况，某路段车流量情况，整个交通路网的车流量分布情况等。进一步可预测未来时刻的车流情况。

3.3货物迁徙图

 基于车辆位置及轨迹数据，结合运单信息，可匹配出物流运单执行数据，该数据描述具体每个运单的实现情况：起止地、时间、路径、运货量等。对物流运单执行数据进行汇总，可以得到货物的总体流动情况，并形成货物迁徙图。该图类似百度迁徙图，可以反映各时间段货物流向、物流强度、密度等信息。

 货物迁徙图以可视化的方式展示货运行业整体的货物流动情况，可查询某地的货物进出情况，某线路间物流运输的强度、密度等情况。

 根据货物迁徙图，货运行业管理部门，可从总体上了解货物迁徙的整体情况、物流总体需求情况、物流与需求的匹配情况、运力配置情况，合理制定行业发展规划。物流公司可根据车辆的位置信息、状态信息，优化运力调度，减少空载，提高车辆利用率；合理设置物流中转，减少仓储空间、时间，加快货物流通速度，降低物流成本；根据物流迁移情况，运力分布情况，制定有竞争力的运单价格政策、承接运单策略；根据以往数据，预测运力需求，从容应对市场需求变动。

3.4指导货运企业经营

 根据车辆位置及轨迹数据，分析不同路径的行驶时间，制定最佳路径，使货车行驶路径最优，提高运输效率，节省运输成本。

  跟踪具体货物运单，统计正点率、无损率等指标，以评价司机工作业绩，进而作为货运公司评价指标，供客户在选择物流公司时参考。

 车辆维修保养预警，车辆出故障一般不是瞬时的而是有迹象的。通过收集根据车载终端传回的数据以及司机通过社交网络等发布的消息，可以预先捕捉到车辆要出故障的信号，比如异响、过热等现象。通过聚类统计可以发现现象与故障之间的关联，及时预警、维修，节省保养成本，延长车辆使用寿命。

3.5指导相关企业经营的数据

 帮助保险公司设计合理的保险费率。根据行驶路段、行驶里程、行驶时间和紧急刹车程度等，可评估驾驶员风险。保险公司将个人驾驶情况与其他的统计信息（如该区域其他驾驶员的平均情况）进行对比，将驾驶员风险及保险精算信息与策略及档案信息相关联，从而计算出具有高竞争性、高收益的保险费率。

 帮助车辆生产厂商改进产品。车载终端收集的车辆信息、司机发布的车辆情况等信息，可以反映车辆使用过程中所出现的各种现象、故障等情况，对这些信息进行聚类，可以指导车辆生产厂商进行车辆保养、维修，改进车辆设计。

3.6交通监管辅助数据

 交管部门根据车辆位置及轨迹数据，实时监控货运车辆的整体情况，可以分析货车在整体车流中所占比例、货车流区域分布、时间分布情况，据此调配警力，有针对性对货车加强监控；根据历史数据，基于模型预测道路交通车流情况，在突发事件时进行合理引导、及时调度。

 可以实时监测货车，包括行驶时间、行驶速度、

车载情况，设置合理阀值，重点监控疲劳驾驶、超载

超速等情况，尽早干预、预警避免，提高交通安全监

管水平。

 对盗抢车辆，可及时发现车辆轨迹，与手机LBS数据匹配（与车辆轨迹高度关联的手机轨迹）锁定盗抢车辆人员信息，便于尽早破案。

3.7支撑宏观经济预测的数据

 对经济管理部门，通过物流迁徙图，可以了解物流集散情况，发现事实上的物流集散中心，为制定地区经济规划提供参考。

 对经济统计部门，根据某地物流进出情况的变化，可以间接地反映区域经济情况，为GDP统计提供参考。比如高峰期交通状况与失业率，零售商场附近的车辆与销售额等，通过对这些信息的关联分析，可以比财务报表更早地了解经济发展情况。

 对经营研究部门，根据运力情况、各地的进出货运输、城乡同城货运和同城配送三个部分，从具体的运输模式看又有整车运输和零担运输两种。选择其中某个领域切入后精耕细作，切实深入市场，做好特定人群的顾客体验，提高软件留存率，是车货匹配App货运信息平台企业发展的必经之路。此外，一些比较特殊的专业化运输领域应成为推广车货匹配业务的重点领域。如，冷链运输。冷链运输普遍是各大城市物流配送系统的薄弱环节，也是近几年国家大力发展的领域。如果专门做冷链车辆的匹配，企业不仅可以在一个竞争相对轻松的环境下发展，而且符合国家物流政策的导向。