设为首页收藏本站

EPS数据狗论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 7090|回复: 6

数据分析入门笔记

  [复制链接]

2

主题

45

金钱

87

积分

新手用户

发表于 2018-8-7 11:19:11 | 显示全部楼层 |阅读模式
  数据的一面是银弹(Silver Bullet):无所不能,增长黑客(Growth Hacking),决策分析(Decision Making);数据的另外一面是镜子(Reflection):可以看清楚很多苟且和远方的田野。如何发现利用数据的价值,就是数据分析的目标。
  数据分析的重要性可以分为两点:
  第一是帮助核心业务(Business)成长,找到和验证业务增长点
  第二是有效的业务推动(Marketing),提高推广的效率(ROI)。
  把营销(Marketing)作为独立的数据分析角度,因为数字营销极度依赖于数据分析,并且有一些通用的分析模型,它同时也是一个非常大的产业,它是各个软件巨擘必争之地。
  最近十几年,数据的收集和处理能力大大提升,越来越多的传感器和数据收集,许多大公司的数据正在从TB级别走向PB级别。互联网公司之间的模式竞争,也转战到对于数据价值的挖掘的能力上,很多时候也就是速度和效率的竞争。不要迷信数据,更不要忽视数据。很多时候,数据是你业务的指南针和护城河。
  数据量快速增长,数据分析人才紧缺,数据分析工具依赖性,数据分析服务的强需求都反映了公司从粗放型到精细化的转型。
数据分析入门笔记1.png

  1.什么是数据分析(Data Analysis)?
  为了理解数据分析,首先理解一下数据的概念。管理学家罗素·艾可夫在1989的《 “From Data to Wisdom”,Human SystemsManagement  》提出了DIKW体系体系,这是关于数据、信息、知识及智慧的一个模型,完美诠释了四者的关系。Data(数据)->Information(信息)->Knowledge(知识)->Wisdom(智慧)。
数据分析入门笔记2.png

  2. 数据分析的技术
  技术上就是以发现有用信息,知识和洞察为目的,进行数据收集,处理,清晰,过滤,以支持决策制定。有好几概念有些混淆,花点时间解释一下:
  a.  数据挖掘(Data Mining):数据挖掘是以预测为目标的数据建模和知识探索的一个子学科,好多年前,它一直是一个热门的研究生专业,直到信息检索专业的出现。
  b.  商务智能(Business Intelligence):BI是一个利用数据的聚合(Aggregation)和分片(Slice)的能力,进行业务监控和洞察发掘。
  数据分析也是一种艺术(Art),所谓艺术就是结合技术,想象力,经验和意愿的综合因素的平衡和融合。数据分析也是一个经验和想象力的融合:它涉及到数学算法,统计分析,工具和软件工程的一种结合,最后的目的是解决业务的问题,帮助人从数据中获得智慧。
  下面列了几个常用的分析技术范式:
  1.  统计模型:利用统计模型处理数据的方法
  2.  探索式(exploratory):不设定假设目标,自由发掘和探索
  3.  稳定性(Stability ofResults):分析结果的稳定性评估,又是进行交叉验证。
  4.  假定验证(HypothesisTesting):预先设定好结论,通过测试校验结论
  下面是涉及到算法,工程,统计等的相关技术,每一种细分技术都是一个大学问,好的数据科学家,可以游曳穿行其中,找到数据中有价值的洞察。
数据分析入门笔记3.png

数据分析入门笔记4.png

  3.数据从业者的职业名称
  从事数据的工作者,历史上我见识过了不少名称,包括“数据分析师”,“数据经理”,“运营分析师”,“软件工程师”,“算法工程师”,“策略分析师”,“数据科学家” 等等。其中最酷的名字还是LinkedIn发明的“数据科学家(Data Scientist)”,这个名称也被Forbes评为本世纪最”性感“的工作了。我估计,这是全世界最多的科学家团体了,小时候总觉得科学家必须白发苍苍才行的,现在很多同学刚毕业就是”数据科学家“,很让人羡慕。
  数据分析实际上是三个方面的融合,包括数据,工程和业务。数据是智慧的原矿石,工程是采矿机,业务是指北针,只有三个方面融合起来,才能最有效的发现数据的价值。我相信一个好的数据分析师必须有工程背景,必须对数据敏感,而且愿意主动解决业务问题。
数据分析入门笔记5.png

  4.数据分析公司的生态圈
  数据分析的的公司非常多,大大小小,林林总总。有小而美的硅谷创业公司,有老牌大公司的老树新花。很多创业公司的市值一路飙升到无法接盘的状态。例如,Palantir估值已经到了200亿美元,但是最近可持续的收入却不断减少,引来不少麻烦。
  我把数据分析公司分为三类:
  第一类是基础服务提供者,主要提供一些软件工具,Hadoop和Spark的生态公司,帮助数据基础架构的建设,也包括一些数据可视化公司。
  
  第二类是通用分析服务提供公司,包括Palantir,IBM的Watson Analytics,SAS, Google Analytics 等等,这类公司提供数据分析服务或者工具,利用专家背景,系统规模和数据资源,帮助解决客户的问题,特别是很多老牌公司通过收购传统数据分析公司,快速重新包装成新的高大上产品。
  
  第三类是专注行业的数据分析公司,例如生物信息,市场营销分析等等。
数据分析入门笔记6.png

  5.三种常见的业务分析模型:
  GrowthHacker,AARRR,LTV
  看完了欣欣向荣的数据分析行业,是不是感到有些热血沸腾。不过我们还是要回到现实的的,落地的数据分析任务。大部分互联网公司,面临的业务增长的压力,都希望通过数据分析来提升竞争力。其中,有三种常见的业务运营增长模型。
  1.  黑客文化的Growth Hacker
  2.  经典的AARRR漏斗模型
  3.  游戏中的LTV模型
  1)  增长黑客(Growth Hacker)的数据和分析
  GrowthHacking,它指的是一种用户增长的方式,简单说就是通过某些手段和策略帮帮助公司形成快速成长,通常是数据驱动的方法。对创业公司、特别是初创公司来说,在没有广告预算、市场营销活动以及市场推广专员的情况下,GrowthHacking 也可以获得良好的效果。
数据分析入门笔记7.png

  2)  AARRR模型
  AARRR是Acquisition、Activation、Retention、Revenue、Refer,这个五个单词的缩写,分别对应这一款移动应用生命周期中的5个重要环节。每一个环节都有些关键指标,可以进行数据分析,找到提升的机会。
数据分析入门笔记8.png

  3)   生命周期价值(LTV)模型:
  LTV是LifeTime Value,它是游戏行业用于衡量用户价值的一种方式和模型。LTV是指在一定时间内,某一客户可能为企业带来的利润额.顾客终身价值是指企业在获得新顾客后的一段时间内,每一位顾客的平均利润净现值。由于游戏有很强的时间相关性,因此LTV会累计一段时间的数据。
数据分析入门笔记9.png

  6.   几个有特点的数据分析工具
  从公司类型上来说,数据分析公司简单可以分为两类:1传统大型IT公司   2互联网创新公司。很多传统大公司都涌入数据分析行业,大多都是希望利用自己的客户,硬件和软件优势,通过数据分析转型成SaaS服务提供商,例如IBM,Oracle等。另外一个就是互联网创新公司,大量数据科学家形成了大大小小数据分析创业公司,很多都聚焦在一个细分行业,其中包括Qualtrics,Mulesoft,Medallia等,超过80%的数据分析公司在美国的加州。
数据分析入门笔记10.png

  这里介绍几个市面上的分析工具,对于浩瀚的数据分析市场来说,只是窥豹一斑,但是他们确实几类数据分析公司的代表:老牌软硬件公司,互联网公司,手机生态公司。
  1.  Google Analytics Suite 360
  2.  IBM Watson Analytics
  3.  Apple App Analytics
  4.  MixPanel
  1)  GoogleAnalytics Suite 360  
  2016年3月15日,谷歌发布了全新的数据服务GoogleAnalytics 360  套件,为广告主和互联网公司提供更优秀的数据服务。相比之前的Google Analytics,整个产品线有了极大的丰富,包括6大产品,覆盖埋点,分析,可视化,定向,转化,归因等方面,全方面贴近广告主的需求。
  数据是广告主的核心利益的护城河和运行效率指南针,数据一定要靠谱,全面。Google的数据服务套件升级,可以帮助广告主更加高效的投放。特别是GoogleAudience 360(DMP)的加入,看来谷歌也越来越重视“以人为本”营销。Facebook对广告主提供了优秀的数据服务(社交数据,按效果优化计费等),Google也感受到了压力,提升数据服务也是顺势而为之。
数据分析入门笔记11.png

  2)  IBM Watson Analytics
  IBM收购了多家BI技术公司后,而后结合鼎鼎大名的Watson,在2014年推出了IBM Watson Analytics。有IBM朋友介绍,这是IBM最接地气的软件之一,可以自助注册并且可以免费试用大部分功能。
  它提供全方位的自助服务分析功能,包含数据细化和仓储服务,以便他们更快捷地获取和准备数据,从而进行分析和可视化处理。WatsonAnalytics还实现了诸如数据准备、预测性分析以及可视化分析等众多步骤的自动化,确保营销、销售、运营、财务及人力资源等诸多数据密集型业务从业人员能够快速、智能地获取洞察。
  WatsonAnalytics是基于Watson认知技术构建的一个创新云分析平台,拥有自然语言认知查询、预测性分析以及可视化分析能力,能让商业人士跨越IT专业知识的障碍,获取与数据分析师相同的由认知驱动的预测性和指导性分析能力。

  3)  AppleApp Analytics
  苹果于2015年的开发大会(2015,WWDC)上正式推出了Apple App  Analytics提供如下功能:
  ·  查看用户访问App Store应用页面的频率
  ·  应用数据:启动应用的数量,Crash,用户停留时间
  ·  用户ID系统:使用Apple ID,而不是设备ID
  ·  营销分析:创建自定义、可追踪的营销链接,找出最多的引荐来源
  很多运营指标和已有统计分析数据不同,导致各种数据
  相较于其他统计服务者(Flurry, App Annie,GA等),Apple App Analytics不需要开发者写任何代码,也不要求在应用里集成特定的SDK。当然,这对于支持的统计力度有一些限制,事实上到目前为止,App Analytics只能提供一些应用启动数据,日活,留存,使用时长等基本数据而已。它的一个很大优势是集成了App Store的各种数据,创建访问App Store可跟踪的链接等。
  大部分时候,它也只是App开发工具的一个参考而已,而且Apple AppAnalytics的很多数据和其他的统计平台的数据并不一致,开发者需要花很多时间理解其中的不一致。例如,Apple的UV是根据Apple ID统计的,大部分统计工具使用的是苹果的设备ID,例如AAID等。

  4)   MixPanel
  MixPanel是美国一个领先的一个移动数据分析公司,主要用于移动和PC的分析平台,通过打点客户端,将数据上报到服务器,进行留存,分组,漏斗,A/B测试等服务。另外,它也支持可视化打点功能,帮助运营人员灵活配置。它也把打点服务/数据分析服务从免费方式转向收费增值服务的一个领先者。另外一些类似的数据服务公司,还包括专门做A/B测试的Optimizely,KISSMetrics和Leanplum等。

本帖被以下淘专辑推荐:

2

主题

4506

金钱

7641

积分

高级用户

发表于 2018-9-19 09:26:23 | 显示全部楼层
受教了,最近正好想学数据挖掘
回复 支持 反对

使用道具 举报

4

主题

358

金钱

574

积分

初级用户

发表于 2018-11-6 08:40:54 | 显示全部楼层
超赞,要好好学习
回复 支持 反对

使用道具 举报

7

主题

1004

金钱

1586

积分

初级用户

发表于 2018-11-6 20:48:47 | 显示全部楼层
学习了
回复

使用道具 举报

6

主题

14

金钱

278

积分

入门用户

发表于 2019-3-15 10:33:18 | 显示全部楼层
感谢分享,品一下
回复 支持 反对

使用道具 举报

0

主题

41

金钱

144

积分

入门用户

发表于 2019-3-15 12:47:59 | 显示全部楼层

谢谢分享
回复

使用道具 举报

0

主题

14

金钱

24

积分

新手用户

发表于 2019-3-17 00:08:43 | 显示全部楼层
学习了~!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

客服中心
关闭
在线时间:
周一~周五
8:30-17:30
QQ群:
653541906
联系电话:
010-85786021-8017
在线咨询
客服中心

意见反馈|网站地图|手机版|小黑屋|EPS数据狗论坛 ( 京ICP备09019565号-3 )   

Powered by BFIT! X3.4

© 2008-2028 BFIT Inc.

快速回复 返回顶部 返回列表