业务异动实时监测分析数据体系及产品设计

live忘有

背景介绍
最近几月AB业务数据异动情况频现，多次紧急排查，但是效果不佳，主要表现为问题难以定位，耗费过多资源等。
AB业务涉及多国家，多站点，多流量来源，结构分析非常复杂，日报数据本身覆盖面不足以判明具体问题。
AB管理层希望在业务数据发生异动时，能够24小时内定位问题，做出应对。（目前日报T＋2，复杂排查再＋N）
对于技术影响，AB管理层也希望能够及时了解网站表现除了在业务上的问题之外，是否受到网站性能的影响。


具体需求
实时监控分析体系需要能够满足数据链的闭环，才能实现问题的定位
      数据指标集需要能够支撑AB业务的各项基本面分析
      技术性能指标需要能够集成到此系统內
      业务动态数据以及外部环境数据需要能够集成到此系统内
实时监控分析体系需要能够满足数据的实时性，才能满足24小时內定位问题
      ODPS数据无法使用在实时监控分析体系中，需要重建实时分析数据底层表
      需要建立在多维分析系统基础上，才能分析多种组合数据，方便定位问题
实时监控分析体系需要能够沉淀排查分析思路

为了快速定位问题，不能依赖于每次出现问题后思考分析思路，而应该固化已经成熟的排查方案，并能不断补充。

数据分析体系

实施步骤
1、业务数据准备：
主要建立在Log日志，点击日志，订单表3张宽表为基础上的多维分析模型中商品数据等外围业务数据，不断补充到底层表
2、性能数据准备：
开发同学通过后台打点获取“访问报错”，“页面加载”，“网络可用性”等网站性能相关指标集对应的表，输出到业务数据所在的多维分析模型
跨业务，性能指标集，如登录申请等数据，由开发同学通过后台打点获取，输出到业务数据所在的多维分析模型
3、业务动态数据和外部环境数据准备：
业务动态通过Aone发布数据接口对接到实时分析系统
外部汇率数据通过网站汇率组件接口到实时分析系统
外部大事件由BI输入到实时分析系统
4、实时数据多维分析和交互呈现：
由于实时监控分析需要沉淀分析思路，同时需要灵活定制分析思路，所以会需要大量针对实时分析目标的个性化开发；
需要一个多维分析平台，有灵活的交互定制，作为实时数据多维分析的承载和交互实现工具。
通过节点颜色来警示问题点，阈值使用4周平均值的上下3个西格玛。
预警功能，母节点的字节点出现3个或以上超阈值情况，提示查看母节点可能出现异动。
支持手动添加时间轴事件，用于排查内外部事件对业务的影响。
交互呈现Demo：