激荡三十年，自助式数据分析的未来之路

琉璃鹤

我们认为“自助式数据分析”会是后续数据分析的一个发展方向。目前，诸葛io也是在朝着这个方向转换和发展。

在做诸葛io之前，我们最开始实际上也在给企业做一些DMP的产品和项目，当时也是从第三方数据切入的。比如：最早我们通过微博的数据给企业CRM里面的用户进行画像的丰富或者是通过其他社交网络上的数据补全用户的一些行为特征或者是消费模式。后来做诸葛io是因为我们认为企业内的第一方数据的价值是远远高于第三方数据的，所以我们先要帮助企业解决第一个问题，即通过内部数据驱动业务，挖掘数据价值。

一、自助式数据分析的兴起：BI发展的3个十年

自助式数据分析是最近几年兴起的一个概念。传统的数据分析需要传统的IT、数据部门去支持，最后通过数据分析师来帮忙实现。这个过程中间的依赖性比较强。所谓自助式数据分析主要是指业务人员能够自主、敏捷的通过一些数据分析工具满足自己分析的需求。在这一过程中，业务人员基本上不需要IT部门的支持，比如：二次开发、重新建模等一系列逻辑。

我们可以先回顾一下，正式的数据分析起源于所谓的BI，即商业智能。当时，BI核心的概念是基于商业的事实，通过一系列的概念和方法，最后去对这些事实进行分析，以达到辅助企业做商业决策的目的。这些核心的技术和方法基本上和现在的数据分析是一致的，从最基础的数据收集，到数据的整合，再到数据的挖掘、算法、洞察、可视化甚至是数据报告的协同工作等，整个过程其实是非常繁杂的。

这里面涉及到三类人员，第一类是IT人员，IT人员主要是做基础技术架构的实施。在这个过程中，他需要负责数据采集、整合、存储甚至是一些基础数据仓库架构的搭建以及一些检索的支持。往往这一部分的实施周期非常长，少则几个月，多则半年、一年。第二类人员就是需求方，即业务人员。业务人员的目标相对比较明确，他会提出自己的一些场景需求，有一些类似的假设需要去验证，或者是有一些需要探索的数据维度。中间一层就是分析师，分析师需要理解业务的需求，理解背后的数据模型，基于它去进行数据建模，包括一些统计模型的构建，最后形成一些报告或者可视化的图表。

在整个过程中间，从业务人员到分析师再到IT人员，整个流程是非常冗长的，响应的速度也非常有限。由于现在的业务敏捷性和快速性，导致很多业务端提出的需求在分析师和IT人员实施完之后，其实已经变得没有价值了。所以，这是90年代第一个十年的BI发展。基于这样的需求，后续我们演进到了BI的第二个十年。

第二个十年由于处在企业信息化的红利中，所以在部分成熟的企业里面，数据采集、信息化技术以及一些行业的数据积累越来越多，使得第二个十年的BI系统实施变得更加敏捷和迅速。在第二个十年里面，因为计算能力的提升，使得我们能够部分做到准时甚至是实时性的计算。同时由于云计算的兴起，让整个部署的复杂度也降低了，整个IT服务被快速的标准化。

第三个十年基本上是在2006年以后，出现了一个新的发向，我们叫做“ Analytics Anywhere”，即随处可用的数据分析。这需要从几个方面来讲，第一是我可以通过云端任意访问；另外是通过移动端也可以去查阅BI报表。但是，实际的背后是有两块核心的方向，一块叫做智能化数据分析，一块叫做自助式数据分析。

智能化数据分析相当于自动探索的模式，即如果你给我一些数据，我就能够部分的从数据本身的分布或者是特征上帮助你发现一些背后潜在的相关性。比如：Google的Google Spreadsheet，就是类似于Excel的工具，如果你用过会发现，上传一个Excel文档，Google在不需要人工干预的情况下，会自动给你生成一些报表，而这些报表都是基于你的数据类型、数据分布以及它们之间的相关性，通过统计模型统计出来的。

四、美国市场的发展现状

基于我们能拿到的2016年2月份Gartner出的关于新的BI领域的魔力象限分析，我们能看到在leader层面上有三家公司，即Tableau、Qlik、Microsoft，其中Microsoft会入选是因为其最近推出的Power BI，以前Excel的功能是非常强大的，只是大家不太会用，而Power BI是将Excel上面的部分功能加进来，另外它们也收购了一家加拿大做可视化或者是BI的公司，所以Power BI最终让Microsoft进入到Leaders的象限。

在Visionaries的象限中，表示的是你的愿景是完整的，但是你赋予企业的执行能力比Leaders还是稍有欠缺。从这一象限中我们可以看到，传统的SAS、MicroStrategy、IBM等都在这一象限中，为什么他们在Ability to Execute上面要比Tableau、Qlik、Microsoft要弱呢？主要原因在于后三者是自助式数据分析，而前面的还是以传统BI的方式，需要大量的时间去实施和部署。

左下方的象限叫做Niche Players，这里面有Domo、GoodData、Salesforce等，这些公司是在某些特殊领域里面已经有突破的，但他们的执行部分还是偏弱的。Domo从今年2月份之后做了很多次改版，我相信如果单纯从可执行的效率上来说，现在的Domo已经在Leaders层面了。

五、国内市场情况

从国内市场来看，其实有很多类似于Tableau的这种公司出来。比方说网易的有数、海智BDP、甚至还有一些新的创业者也在朝这个方向去做。这一块的厂商非常多，国内的现状也是非常早期。海智BDP相对来说是一家时间比较久的企业了。但是我觉得类似于Tableau公司的这种模式在国内是存疑的。为什么呢?因为国内的整个现状，即我们刚才说的第一方数据、第三方数据和整个API经济这块还不够成熟。即使第一方数据用的是别人的SaaS系统或者是私有部署的系统，那么过去的那些老系统对于数据的开放性还不行。比方说在广告监测行业，国内有两家做的比较出名，但是他们只能给你一份报告，如果你要看背后每一个用户的行为数据，他们要么没有，要么是给不了你。

我们当时做诸葛io的一个原因就是，诸葛io出生下来就是要拥抱数据API经济的，即你的数据就是你的，不管是SaaS化还是私有部署，我们都能提供丰富的数据API接口。但是，现在国内除了从SaaS开始做起的业务系统之外，整个数据的开放性还是不够的，不管是第一方业务系统还是第三方系统，像第三方系统只是给你做一些业务报表。所以，我们认为目前在国内要做自助式数据分析，你得搞好生态，把这些新型的数据相关业务系统的联盟给拉起来，这样大家就可以一起组建自助式数据分析平台。

从侧面来看，其实Tableau本身在中国市场上的占有率还是不错的，至少我们了解到的像银行、零售、物流等企业都在用Tableau做数据分析。但是我们通过访谈发现，他们只是把Tableau当成了一个数据可视化的工具，对于数据的联通性以及业务的联通性在国内做的都不是很好。当然，Tableau本身在业务联通性上在美国做的也是稍有问题，Domo在这一块做的就更好一些。

我们认为自助式数据分析这样一个大方向在国内还处于非常早期的阶段，这个市场是非常巨大的。从诸葛io的角度，我们是希望有更多开放的玩家进来，我们一起协作，去构建一个更完善、开放的生态。最终，帮助企业加速它们的BI或者是数据分析的流程，让企业的第一方和买来的第三方数据的价值真正能够得到商业的体现和回报。

作者：赵乾坤（诸葛io联合创始人）

原文链接：http://www.itongji.cn/cms/article/articledetails?articleid=4831

琉璃鹤

传统的BI在第三个十年已经到了一个新的阶段，就是BI或者数据分析要实现去中心化。以前有三类人需要牵涉到整个BI系统的环境或者是业务的搭建过程中，现在去中心化的意思就是，企业不再需要有一个专门的BI部门去完成整个业务的需求，而是业务部门的人员需要参与到数据分析的日常工作中间去。他有需求不需要向BI部门去提，而是自己有一个平台或者工作能够实时地满足自己的需求。自助式数据分析在国外的典型代表是tableau，tableau现在已经开始做一些自助式数据分析的深入尝试了。tableau支持灵活的可视化定制，通过简单的拖拽就可以实现数据的基础分析，同时也会提供一些专业的行业分析算法和模板。
二、自助式数据分析的突破点
1、数据的联通性
自助式数据分析的第一个突破就是数据源的对接，即数据的联通性是非常强的。我们把数据联通性分为三个核心要素。第一是第一方数据的联通或者是导入；第二是第三方数据的导入；第三取决于整个API经济的效应。现在越来越多的业务系统SaaS化，这些SaaS化的产品最终需要通过大量的API进行跨系统之间的数据交换。
从诸葛io的角度，我们首先切入的就是第一方数据。比如企业有自己的CRM系统、网站、APP，我们首先帮助你打通的就是这些数据的联通。同时，自助式数据分析也支持第三方数据的打通。我们需要让企业内部自助式数据分析的平台拥有跟其他第三方标准接口进行对接的能力，让这个过程通过一键就能完成，而不需要研发人员过多参与。
2、分析的实时性
自助式数据分析除了在数据联通性上有了突破以外，在分析的实时性上面也有一个突破。像我们刚刚提到的一些敏捷式的BI，它们也不能做到完全实时的分析。现在的解决办法是，通过一些新的技术基于行业去做一些分析。自助式数据分析有两个维度，一个是按照行业，另一个是按照职能，只有通过这两个维度的细分，才能最终实现高质量的自助式数据分析。有了行业和职能以后，我们对于实时性分析这部分的模型就可以做很好的优化。
3、技术方案的解耦性
自助式数据分析的第三个核心突破点就是，我们的方案必须要和业务解耦。其实我们的理解就是，所有的数据分析平台背后的数据都可以归为人、物、场以及行为。人就是消费者或者用户；物就是商品；场指的是场景。有了人、物、场之后，其实所有关联人、物、场的基本上可以定义为用户的行为。自助式数据分析背后的逻辑就是通过人、物、场和行为这样的抽象模式，最后可以实现一个通用的数据模型。不论行业还是职能，都可以通过这样的模型来进行后面的技术架构。
4、应用的联通性
自助式数据分析的第四个特点是应用的联通性。也就是说我们不仅需要跟业务系统进行数据的打通，也需要将业务之间的通道打通。
自助式数据分析就是每个业务人员能够以最小的沟通成本实现基于业务需求的各种数据分析。但是，刚才说的自助式数据分析更多的是指独立的第三方自助式数据分析平台，这在目前是远远不够的。现在很多美国的企业把分析进一步变成Embedded Analytics，就是把分析嵌入到相关的业务系统中去。比如传统做CRM的，刚才说的自助式数据分析更多的是将CRM的数据拿过来，然后在我的自助式数据分析平台上面整合CRM数据和其他数据，再进行分析。所谓的Embedded Analytics是指我应该把分析的功能更多地improve到我的系统，这样就会有Analytics CRM这样的工具出现。
三、自助式数据分析给分析行业和分析人员带来的变化
自助式数据分析给整个分析行业带来了什么样的新变化呢？直接的变化就是业务人员和分析人员最终合体，即我们的分析人员最终会变得对业务特别了解或者是业务人员最终变得对分析特别了解。但是IT这块基本上是被剥离出去了，我们不再需要专门的BI部门或者是为数据分析做IT支持的工作。现在很多的框架和模型都是开源的，所以这一块慢慢会被产品化的东西所替代。
自助式数据分析会对分析人员的要求有什么样的变化呢？我从5个方面来和大家讲一下。
第一、技术能力
从技术能力上来说，在传统BI的第一个十年和第二个十年时，甚至在中国目前所处的环境中，对于分析师的招聘其实还在强调你会不会写代码，至少要会SAS、R或者是SQL，传统的这些要求其实会慢慢降低，因为自助式数据分析平台慢慢会让业务人员通过简单的筛选、拖拽就可以实现分析的需求。
第二、分析能力
从分析能力上来说，传统的数据分析师可能要求是统计学专业或者是数学专业，至少统计学和数学上的这些模型知识必须要掌握，不管是一个简单的回归分析还是做一些聚类分析，甚至是一些预测的模型，你至少需要掌握算法以及算法背后的公式推演。而现在在新的自助式数据分析的场景下，这部分的要求也和技术能力一样，是从高到低，不断降低的一个过程。
第三、业务能力
从业务能力上来说，这一块能力在以前的要求反而没有那么高，但是现在更高了，就是我需要你有更丰富的行业知识。比如你要做电商业务的分析，你就必须要对电商的整个流程，从物流、资金流到信息流是如何流动的，中间的每一步过程是怎样的，甚至是对整个产业链的上下游都要有很深的理解。前面两块将数据分析人员的要求都降低了，那么就有理由在业务能力这一块要求更高一些。
第四、可视化制作能力
从可视化制作能力上来说，其实就是对于数据分析工具的使用能力。最早可能要求，你不会SAS、R，那么你至少会用Excel的透视表或者是tableau等这些工具。但是这一块的要求现在基本上已经没有了，因为自助式数据分析工具越来越简单，简单到你只要懂业务，就可以进行各种尝试。所以，这一块的进入门槛也变得更低了。
第五、解读和应用能力
从解读和应用能力来说，这一块的能力要求也是持续走高的。你需要对分析结果的商业价值、流程的价值以及客户的价值有一个判断，而这对于解读能力的要求其实是越来越高的，因为自助式数据分析让我们有了实现更多、更敏捷的数据分析探索的可能性，而每一个探索的结果都需要你认真的去解读。在解读的过程中间，除了对业务的理解，更多的也需要你对商业理解的深度达到一定的层次。

sadomasochism