交通大数据人才队伍建设研究:以贵州为例
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

第一节 贵州交通大数据人才素质建设

贵州交通大数据人才素质建设包括人才知识建设、技能建设、能力建设、经验建设、思想建设、品格建设六个方面(1)(2),如图2-1所示。

图2-1 贵州交通大数据人才素质建设内容

一、贵州交通大数据人才知识建设

贵州交通大数据人才是服务于交通运输行业的专门性人才,是能够用大数据知识解决行业痛点的创新型人才。贵州交通大数据人才应具备多样、全面和丰富的知识内容,具体包括贵州交通运输行业知识、信息科学技术知识、互联网知识、大数据专业知识、数据科学知识等。

贵州交通运输行业知识主要包括四个方面,分别是交通行业基础知识、交通业务知识、贵州省情以及贵州交通历史、现状及趋势。交通运输方式包含了公路、铁路、水路、航空、管道五个方面。贵州交通大数据人才需要了解贵州省这五个方面的基础设施建设情况、运输装备情况、服务能力情况和运输服务完成情况。交通业务知识则指在具体某一交通运输领域内的日常工作范围、业务和职责等内容。掌握贵州省情相关知识,如地理位置、地貌特征、经济发展情况、气候环境、旅游资源等,才能进一步掌握交通运输业现实发展及未来趋势的基础。了解贵州交通运输业历史发展过程,掌握现在发展状况,把握未来发展趋势,才能够更好地助力贵州交通行业的发展。

信息科学技术知识主要包括计算机操作知识、计算机软硬件知识、数据库知识、数据结构与算法、编程语言、信息管理知识、信息系统开发知识等。计算机操作知识具体指MS Office办公软件的操作,计算机日常维护,计算机常见故障检测、诊断与维修,计算机病毒防治等。计算机硬件知识主要掌握内部设备和外部设备的构成、运行原理和故障检测维修。计算机软件知识包括系统软件和应用软件两大类,主要掌握操作系统和应用软件的安装、维护、使用和管理。数据库知识需要掌握关于数据存储的方式和类型,以及数据库的类型及各种特点、数据库间的区别和联系等,至少掌握Microsoft Access数据库、Microsoft SQL数据库、MySQL数据库、Oracle数据库、DB2等关系型数据库和NoSQL、Cloudant等非关系型数据库中的一种或几种。数据结构与算法知识是一个程序员应该具备的基本能力,也是编程思想的核心。作为大数据人才则需要掌握数组、栈、队列、链表、树、散列等数据结构的逻辑结构和实现过程,还要掌握数据结构的算法、图论算法、排序算法、检索算法、加密算法等各类算法。编程语言是各种命令和程序实现的工具,是人与计算机进行交流的形式语言。编程语言有很多种,如Python、JAVA、C语言、C++、C#、JavaScript、Ruby、PHP以及Objective-C等。交通大数据人才需要掌握信息管理的基本理论和知识,掌握文献检索、资料查询和收集的基本方法;需要掌握信息的收集、加工、传播、储存和应用技术,掌握信息组织、分析研究、传播与开发利用的知识。交通大数据人才不仅要具备结构化生命周期法、面向对象法、原型法、软系统方法等信息系统开发的相关理论知识,还要有一定的系统开发实践经验,能独自完成一个系统的完整开发。

交通大数据人才应具备的互联网知识包括计算机网络知识、组网和网络管理知识等。计算机网络是个庞大而复杂的系统,对计算机网络而言,传输设备、传输介质、通信线路、网络操作系统、网络管理软件及网络通信协议是不可或缺的组成部分。大数据人才应掌握网络分类标准及类型、网络的体系机构(计算机网络的各层及协议集合)、认证协议。组网和网络管理则是计算机网络的实用技术体现,大数据人才需要掌握各类组网技术的使用条件及故障检测维修,注意组网的环境条件要求、网络结构要求、布线要求以及故障维修等。

大数据专业知识是每一位大数据人才应该掌握的特有知识储备,也是区分大数据人才和传统信息技术人才的依据。交通大数据人才应该掌握的大数据专业知识有云计算、互联网搜索及爬虫、大数据离线计算、大数据实时计算、大数据内存计算、机器学习和大数据安全知识。云计算是支撑大数据发展的核心,有关云计算的知识自然是大数据人才应该掌握的基础知识。交通大数据人才应该明确具备以下技能知识:编程模式、海量数据分布存储技术、海量数据管理技术、虚拟化技术、云计算平台管理技术。互联网搜索及爬虫是进行数据采集的主要方式,交通大数据人才需要具备能够利用技术手段获取互联网数据的能力,故应该掌握单机爬虫开发、爬虫高级开发、分布式爬虫、搜索系统技术、搜索系统框架、分布式搜索系统等知识。大数据离线计算针对的是已经存在的历史数据,是在计算前就已知所有输入数据,输入数据不会产生变化,且在解决一个问题后就要立即得出结果的前提下进行的计算。大数据人才需要掌握离线数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术,掌握数据仓库管理、元数据管理、数据稽查等常见处理技术,掌握Hadoop高可用配置管理,掌握MapReduce、Hive、Spark计算模型。随着海量数据的增长、大数据业务场景的复杂化,离线式的批量处理技术不能满足需求,大数据实时计算随之产生。大数据人才需掌握的实时计算知识包括实时数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术以及三种分布式实时计算系统Apache Storm、Spark Streaming、Apache Flink的其中一种或多种。大数据内存计算知识包括Sca语言、Spark基础、Spark RDD、Spark SQL、Spark Streaming开发技术。大数据人才需掌握互联网电商用户画像建模、开发、可视化(业务知识、技术开发、架构),掌握数据存储方法,掌握主要包括Spark、Storm、Pregel、GraphLab、SAP HANA等的大数据分析和内存计算技术。大数据人才需掌握机器学习基础概念、机器学习决策树模型、机器学习KNN(K-Nearest Neighbor邻近算法)模型、机器学习SVM(支持向量机)算法、机器学习感知机与BP神经网络流程。大数据人才需掌握数据生命周期各阶段的关键技术,去保护大数据安全和隐私,如数据清洗、数据匿名化、支持隐私保护的数据检索和分析、元数据管理、数据血缘管理、身份认证、数据隔离、数据加密存储、大数据平台边界保护和审计、访问控制、数据加密和审计。

数据科学是用科学的方法研究数据的一门学科,是随着处理大数据这一特殊数据类型而兴起的新兴学科。数据科学包括数据的收集、清洗、分析、可视化以及数据应用的整个迭代过程,最终帮助组织制定正确的发展决策。交通大数据人才应具备的数据科学知识包括统计学知识、数据认知、数据处理、数据分析、数据可视化、数据管理等。大数据人才需要掌握统计学相关的方法,如T检验、F检验、卡方检验、回归分析、聚类分析、因子分析等,还需应用SAS、SPSS、Stata等统计分析软件。大数据预处理可以对采集到的原始数据进行清洗、填补、平滑、合并、规格化以及检查一致性等,将那些杂乱无章的数据转化为相对单一且便于处理的构型,为后期的数据分析奠定基础。数据预处理主要包括数据清理、数据集成、数据转换以及数据规约四大部分。数据挖掘分析则包括可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量和数据管理等。

二、贵州交通大数据人才能力建设

交通大数据人才能力是指大数据人才完成业务活动所需具备的内在要素的总和。交通大数据人才能力不同于一般人才能力,主要体现在需要具备的能力均与大数据业务相关,其各项能力是构成个人素质的重要内容。贵州交通大数据人才应具备的能力包括交通大数据观察能力、想象能力、思维能力、洞察能力、分析能力、判断能力、创造能力、学习能力、实践能力、特殊能力。

交通大数据观察能力是指大数据人才对行业大数据的敏感性、感知性和辨别性,即个人对大数据持有一定的敏感性,能够利用工作经验感知交通运输行业哪些领域或业务范畴会产生大数据,能够观察、辨别出数据间的基础联系,判断数据的价值大小和利用率。

交通大数据想象能力是大数据人才对交通大数据业务、现象和本质进行联想、想象,以达到全面、透彻、根本解决交通大数据问题的能力。交通大数据人才需要利用行业大数据结合现实业务开展的需求,合理、有效地改善和解决当下业务难点,例如,实现交通云平台的完善和发展,并创新性和前瞻性地利用行业大数据想象、开发、实现新的业务需求,全面解决交通大数据问题,如完成智慧交通、智慧城市的建设。

交通大数据思维能力是指大数据人才要以数据的眼光来观察、思考、解释、处理行业业务问题的一种复杂性思维模式,大数据思维涉及人们看待事物的角度、方式和方法,并会对人们的行为方式产生直接影响。交通大数据人才需要培养具有整体性、多样性、平等性、开放性、相关性和动态性的大数据思维。

交通大数据洞察能力是指大数据人才通过对日常业务中产生的交通大数据进行观察、分析、理解,认识到隐藏在数据背后的数据间关系、本质和价值,以达到透过现象看本质的能力。交通大数据洞察能力要求大数据人才对大数据具有良好的认知性、敏感性、观察性和想象性,要能客观、深刻、全面地发现数据规律和发展趋势。

交通大数据分析能力是指大数据人才对洞察到的有价值的业务数据进行深度、科学的分析与挖掘,以达到完全体现数据价值的能力。大数据分析能力需要大数据人才具备基础的统计学知识、数据分析理论知识和良好的数据挖掘技能。

交通大数据判断能力是指大数据人才对业务大数据有一定的判断和识别能力,主要包括辨别数据质量是否符合业务要求和规范,辨别数据是否有价值需要进一步分析和挖掘,判断大数据分析结果是否不客观,存在分析错误。交通大数据人才要有交通行业发展对数据需求的判断能力,不能陷入数据的陷阱,一味地沉迷于数据。

交通大数据创造能力是指大数据人才可以利用业务大数据创造经济价值和社会价值,主要包括开发大数据新产品、提供大数据新服务,让交通大数据产品行业化或商业化。大数据创造能力要求大数据人才具备技术革新意识和创新意识,以进一步发挥大数据创造能力的作用。

交通大数据学习能力是指大数据人才对大数据知识技能的持续学习能力、快速学习能力和自主学习能力。由于大数据是一个新兴的事物,与其相关的知识、技术都在不断发展变化中,大数据人才必须具备学习能力。持续学习能力要求大数据人才在日常工作中能够持续不断地学习、更新大数据知识,快速学习能力要求大数据人才在短时间内能够掌握、应用大数据新知识,自主学习能力要求大数据人才能够积极主动地去学习、接受大数据知识。

交通大数据实践能力是指大数据人才利用大数据知识或技术有目的地实际解决业务需要的能力。大数据实践能力主要强调动手操作能力,即把想法转化为现实的能力,具体表现为能够把业务想法、概念、构想转变为大数据产品或服务。大数据实践能力由情境感知能力、知识构建能力、信息交流能力、人际沟通能力、机体运动能力等构成。

交通大数据特殊能力是指处理、解决交通大数据业务问题所需要的、与其他行业领域不同的能力。大数据特殊能力要求大数据人才具备大数据思维、跨界思维、数据洞察力、数据应用能力。交通大数据是传统的交通行业和新兴大数据行业的融合,既有业务融合,也有技术融合,数据要产生和体现价值,需要根据业务需求和大数据专业技术发挥作用,因此,大数据思维和跨界思维尤为重要,是大数据人才应该具有的特殊能力。

三、贵州交通大数据人才技能建设

大数据人才不仅要具备上述理论性较强的知识,更要具备实践性较强的相关技能,才能解决行业问题。贵州交通大数据人才应具备的技能包括计算机基础操作技能、编程技能、数据采集技能、数据存储技能、数据分析挖掘技能、数据可视化技能、数据共享与交换技能、数据决策技能等。

计算机基础操作技能是指与日常办公息息相关的计算机软硬件操作技能,包括MS Office办公软件的熟练操作、计算机日常维护和网络基础操作。

编程技能要求大数据人才至少熟练掌握和应用Python、JavaScript、C语言、C++、Ruby等程序语言中的一种或几种。Python语言正逐渐成为大数据时代主流的编程语言,交通大数据人才应该首先熟练掌握Python语言。Python语言是一种易于学习、功能强大的语言。Python是一个高层次结合了解释性、编译性、互动性和面向对象的脚本语言。由于该语言可提供高效率的高层数据结构,从而可以高效实现面向对象编程。Python语言语法简明,结构简单,且有相对较少的关键字,在使用过程中可以忽略程序语言在形式上的诸多细节和规则,便于专注程序本身的逻辑和算法,探究程序执行的过程。Python语言是完全面向对象的语言。在Python语言中,对象可以是函数、模块,也可以是数字、字符串,或者是用户自己定义的对象,且该语言还完全支持继承、重载、派生和多重继承。因此,用户在使用时无须考虑硬件和内存等底层细节。Python语言也称为胶水语言,它能够与其他语言所写的模块完美地联结在一起,此外,Python语言是一种开放源码软件,其丰富的API标准库可以让使用者轻松完成文档生成、单元测试、线程、数据库、网页浏览器、GUI等各种工作。

数据采集是大数据生命周期的第一个环节,它通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。交通大数据人才需要掌握专门针对大数据的采集方法,主要有系统日志采集、网络数据采集、数据库采集及其他数据采集,具体有Scribe、Sqoop、ETL工具、Chukwa、Flume、网络爬虫技术等。

大数据的数据类型不再是单一的结构化数据,而是半结构化数据、非结构化数据的混合,传统的关系型数据库已无法满足大数据的存储要求。大数据人才需要掌握的数据存储技能包括精通Oracle、MySQL、SQL server、DB2等关系型数据库和主流的No-SQL、NewSQL数据库、Cloudant等非关系型数据库其中的一种或几种,还需掌握数据集群的运行机制和体系架构,掌握分布式存储文件系统GFS(Google File System)、AFS(Andrew File System)和Lustre平行分布式文件系统三种主流的分布式存储文件系统。

数据分析挖掘是大数据生命周期中较为重要的一个环节,是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取隐含在其中的、人们事先不知道但又是潜在有用的信息和知识的过程。交通大数据人才需要具备的数据分析挖掘技能包括数据挖掘算法(向量机、期望最大化、决策树算法、遗传算法)、预测性分析、语义引擎、数据质量和数据管理四方面的技能,具体有SAS、SPSS、R等统计工具,以及数学建模、MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、Mahout、MLlib等。

数据可视化技术是利用计算机图形学及图像处理技术,将数据转换为图形或图像形式显示到屏幕上,并进行交互处理的理论、方法和技术。它涉及计算机视觉、图像处理、计算机辅助设计、计算机图形学等多个领域,成为一项研究数据表示、数据处理、决策分析等问题的综合技术。目前,数据可视化分析工具主要有Excel、Tableau、SAS、IBMSAP、ORACLE、Qlik、Google Chart API可视化应用、Flot可视化应用、D3(Data Driven Documents)可视化应用、Crossfilter Processing Gephi等,其中Tableau、SAS、IBMSAP、ORACLE、Qlik是目前商业主流的数据可视化工具。交通大数据人才需要至少掌握上述工具中的一种或几种。

大数据共享与交换需要经过数据接入、数据清洗、数据转换、数据脱敏、数据脱密、数据资产管理、数据导出等过程。大数据共享与交换技术可以完成数据交换整合、云端数据交换、跨部门共享交换、数据资源目录管理四类不同业务。交通大数据人才需要掌握的数据共享工具有Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service。

在大数据背景下,人们的决策方式发生了根本性变化,从“靠经验说话”逐渐转变为“靠数据说话”,科学决策变得越发重要。大数据将把数学算法运用到海量数据上,通过让数据做主的方式做决策,避免了人类经验的偏差,让决策活动更有预见性和准确性,决策更加客观、准确。交通大数据人才需要掌握的数据决策技术包括决策树算法、贝叶斯方法、神经网络、关联分析、Mahout、Tableau、Pentaho、R语言。

四、贵州交通大数据人才经验建设

交通大数据人才经验是构成交通大数据人才个人素质必不可少的一个要素。交通大数据人才经验源于日常工作业务、特殊行业经历以及各项社会实践。经验也是能力的另一种表现形式,大数据人才拥有的经验对于解决行业问题和发挥个人价值有着重要作用。交通大数据人才经验主要包括交通运输业从业经验、交通项目经验、大数据项目经验等。

交通大数据人才是大数据人才服务于交通运输业中的特殊人才,是利用大数据知识和技术专门解决交通运输行业业务难点、痛点问题的人才,交通运输业从业经验是交通大数据人才应该具备的首要经验。交通大数据人才需要具备一定年限的交通行业从业经历,因为交通行业从业经历是大数据人才了解、熟悉、掌握交通运输业行业知识和业务知识的最直接、最有效的办法。交通项目经验是交通大数据人才需要具备的第二经验,是指个人从事与交通运输行业相关的项目工作经历。大数据人才具备交通项目经验能够找到合适、恰当的大数据技术和交通运输业业务需求的对接点,知道哪些业务需求需要采用大数据技术才能够解决和完成,从而合理利用大数据技术解决行业痛点问题,体现交通大数据人才的价值。大数据项目经验是交通大数据人才应该具备的第三经验,是指个人经历一个完整的大数据项目的经历或收获,具体包括大数据平台架构经验、大数据处理经验、数据决策经验、数据应用经验等。大数据项目经验让大数据人才清楚、完整地知道大数据知识和技能可以解决哪些问题以及如何解决问题。

五、贵州交通大数据人才思想建设

贵州交通大数据人才思想建设是从意识形态和思维结果出发对人才进行建设,主要包括观念、看法、态度等方面。思想对人们的实践活动起着指导作用,具有引导性、指导性和科学性。贵州交通大数据人才思想建设内容包括对交通大数据人才的认识、大数据人才的看法、大数据人才的观念、大数据人才的眼界、大数据人才的态度五个方面。

对交通大数据人才的认识是首先需要具备的思想条件。交通大数据人才是具有高、精、尖、新、特特点的一类特殊人才,有别于传统的信息技术人才。交通大数据人才要对自己有个清晰的定位,认识既包括对交通大数据人才的本质、特点、作用的正确认知,又包括对大数据人才需具备的知识、技能、能力等素质要素的正确认识,要求大数据人才了解自身的优势和特点的同时,也要清楚知道自身的劣势和缺点,这样才能正确对待自己,发挥最大价值。大数据人才看法包含了大数据人才对自己的看法、对自然的看法、对社会的看法、对自己与自然关系的正确看法以及对自己与社会关系的正确看法五个方面的内容。大数据人才观念是指大数据人才要有敢于创新、接受改变的开放性、包容性、动态性的思想意识。大数据人才眼界是指大数据人才对交通大数据这一事物认识的宽度或广度。大数据相关知识和技术仍然处在不断发展完善过程中,目前还未形成一个完整、成熟的体系,大数据人才需要有前瞻性、敏锐性、预见性、深邃性、宽阔性和理性的眼界去认识大数据、交通大数据等一系列问题。大数据人才态度包括个人态度和工作态度,即大数据人才需要对大数据、交通大数据、交通大数据人才等相关问题秉承正确认知、包容接纳、积极向上、客观公正的个人态度以及在日常工作中保持认真、负责、踏实、肯干的工作态度。

六、贵州交通大数据人才品格建设

品格是个人素质的内在表达。交通大数据人才作为特殊的人才类别,有别于其他人才的特点和要求,故也有着该类人才特有的品格素质。品格取决于一个人内心深处的想法,以及这些想法所支配的行为。所谓优秀品格,是指一个人无论在任何场合都具有按照最高的行为标准做正确事情的内在动机。交通大数据人才品格建设就是将人类优秀的文化成果通过知识传授、环境熏陶,内化为人格、气质、修养,成为交通大数据人才相对稳定的、内在的品质。交通大数据人才品格建设内容包括包容性、创新精神、自信、自强、自律、专注、诚实、善良、勇敢、自由、平等、尊重、负责、拼搏、勤奋等。