作为数据产品经理,你需要知道这些技术知识
在数据剖析范畴下,总会被提及比方SQL、Hive,乃至Hardoop、Druid、Spark等这些技能上的词汇。那么作为一名数据范畴的产品司理,听着这些不是很常见的产品常识,又应该具有怎样的技能常识呢?本文首要从“用户行为数据“厨子介绍一整套的技能架构以及相关的技能要害。
本文将从数据搜集、数据接入、数据剖析、数据展现等4个重要当地,别离介绍相关触及的技能常识。这一节首要介绍全体概念。
用户行为剖析体系其实是指用户运用产品过程中,把发生的行为数据经过剖析而成的报表东西。此类数据差异于事务数据,大多为揭露、有权限获取的,比方一些设备信息、埋点信息等。
现在职业较为人熟知的有百度核算、友盟、神策等,而运用此类产品的首要是数据剖析师、数据运营和产品司理等。意图是为了核算埋点、根底目标剖析等,从而对产品进行体会优化或运营推行。
1.2.1 数据搜集
一般用户运用产品的时分,所填写的信息会经由事务体系加密贮存。而行为数据是不会经由这些体系搜集,而由专门的搜集东西进行搜集,这便是SDK。
1.2.2 数据接入
因为SDK搜集的数据对错结构化的,所以数据都是以原始数据的方法按批次定时或实时上传。服务端经过接口对这些数据进行解析、加工处理,开始构成结构化的日志数据,并在数据库按表进行存储。
1.2.3 数据剖析
当数据解析并存储之后,即可经过离线和实时两大方法进行剖析。部分目标核算量大且实时要求不高,则会采纳T 1、T 2等离线核算方法。
有些目标时效性要求高,如要害目标、日常运营活动等,就需求较高的实时核算方法,以便监测体现。两大方法选用的体系结构会有所不同,后边详解。
1.2.4 数据运用
当运用结构化数据进行剖析时,就需求可视化的图表进行展现,不论哪种方法,根本便是经过报表网站渠道进行展现。比方折线图、表格、柱状图等,乃至还需求供给更多维的剖析目标支撑用户自主查询。
2.1.1 界说
SDK是指一种软件开发东西包,是数据搜集的必备东西,英文为“Software Development Kit”。
本质上它其实是一些接口API的文件,为某个运用程序供给服务。也云泥之别理解为运用开发者经过接入这些文件,并调用里边的相关接口,即可搜集相应数据。
因为SDK的巨细必定程度上会影响运用程序功用,所以尽量轻量处理,占内存大多在几百K和几兆之间。
2.1.2 效果
不同事务下,SDK的运用性质是不同的。常见的就有数据行为类SDK、功用服务类SDK以及广告营销类SDK等。
其间功用服务类便是指运用经过接入SDK添加一些特别的产品功用服务,而广告营销类则指专门做音讯推送、营销推行等事务的SDK。而本文仅介绍数据行为类SDK。
首要分为客户端SDK和服务端SDK,客户端SDK是指这类SDK接入在运用的前端,比方iOS、安卓等。而服务端SDK是指接入在后端,更多的在后台底层。
2.2.1 客户端SDK
2.2.2 服务端SDK
2.2.3 小结
不同的用户有不同的事务诉求,客户端和服务端各有优缺点,首要取决于事务诉求。全体而言,大多数产品运用运用客户端SDK居多。
SDK大的使命就在于搜集数据、辨认数据和上报数据。
2.3.1 搜集数据
因为SDK搜集的数据较广,触及品种较多,首要分几类:
2.3.2 辨认数据