1.1 从数据治理流程浅谈数据思维

数据是企业的核心资产，数据治理也是企业的核心工作之一，运用好数据能够为企业赋能。在为企业赋能的过程中，数据分析师起到了至关重要的作用。作为初学者，理解数据治理流程能够帮助我们更好地认识数据部门各个岗位之间如何协同配合，更加清晰地认识数据分析师的岗位职责。很多初学者认为数据分析师的工作只是分析，读完这一章，你会对数据分析师的岗位职责有更深的认识。

1.1.1 什么是数据治理

数据治理是逐步实现数据价值的过程。具体来说，数据治理是指将零散的用户数据通过采集、传输、储存等一系列标准化流程变成格式规范、结构统一的数据，并构建严格规范的综合数据管控机制；对这些标准化的数据进行进一步加工分析，形成具有指导意义的业务监控报表、业务监控模型，以辅助业务方进行决策。

在数据治理流程中，涉及前端业务系统、后端业务数据库系统以及业务终端的数据分析，从源头到终端再回到源头，形成一个闭环负反馈系统。同样地，在数据治理流程中，数据部门也需要一套规范来指导数据的采集、传输、储存及应用。

1.1.2 数据治理流程介绍

数据治理流程是从数据规划、数据采集、数据储存管理到数据应用的过程，是从无序到有序的过程，也是标准化流程的构建过程。数据治理流程如图1-1所示，根据每一个环节的特点，可以将数据治理流程总结为四个字，即理、采、存、用。

1. 理：梳理业务流程，规划数据资源

对于企业来说，每天的实时数据量都会超过TB级别，需要采集用户的哪些数据？这么多的数据放在哪里、如何放、以什么样的方式放？这需要事先规划一套从无序变为有序的流程。数据从无序变为有序的过程需要跨部门协作，需要前端工程师、后端工程师、数据工程师、数据分析师、产品经理等的参与。

2. 采：数据采集

前后端工程师将采集到的数据送到数据部门。数据部门通过ETL（Extract-Transform-Load）工具将数据从来源端经过抽取（extract）、转换（transform）、加载（load）送至目的端。这个阶段主要是将散落和零乱的数据集中存储起来。

3. 存：大数据高性能存储及管理

这么多的业务数据存在哪里？这需要一个高性能的大数据存储系统，在这套系统里将数据分门别类地放到其对应的库中，为后续的管理及使用提供最大的便利。

4. 用：即时查询、报表监控、智能分析、模型预测

数据的最终目的是辅助业务方进行决策，前面的几个流程都是为最终的查询、分析、监控做铺垫的。这个阶段是数据分析师的主场。数据分析师运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析，甚至是模型的预测。

1.1.3 从数据治理流程谈数据部门岗位职责

数据部门的岗位分布是和数据治理流程密不可分的，包括数据分析师、数据工程师、数仓工程师、数据挖掘与算法工程师等职位，各个职位的职责和要求不一样。本节会从数据治理流程出发谈谈数据部门的岗位职责，帮助读者更加清晰地认识不同岗位的分工合作，更好地理解数据分析师的岗位职责。

要讲清楚数据部门的职责，还得从数据治理流程说起。如图1-2所示，数据部门的数据来源于点击流日志和客户端、服务端上报的日志；将数据上传到数据部门后，在工程层面需要数据工程师、数仓工程师完成数据的清洗、入库；在应用层面，数据分析师则负责数据的即时查询和指标体系、报表体系的建设以及输出各项业务报告；数据产品经理则负责数据产品原型设计以及推动数据产品的实现和落地；数据挖掘与算法工程师会基于业务问题开发数据模型以辅助业务方进行决策。

1.1.4 数据分析师在数据治理流程中所需要的数据思维

数据治理流程涉及多部门、多岗位的分工协作，数据分析师在这个流程中也承担了重要的角色。如图1-3所示，数据分析师的职责不仅仅是分析，他还需要参与到数据规划、数据采集过程中；在数据应用过程中也需要完成指标体系、报表体系的建设以及部分临时的数据查询需求。以上过程都需要数据思维的指导，良好的数据思维和数据敏感度能够帮助数据分析师快速分析问题，找出解决方案。

数据分析师在数据治理流程中需要撰写数据埋点文档、搭建数据指标体系、报表体系以及分析业务问题，每一个技能都会在后续的章节中详细介绍。