该文章适用于没听过,听过或者不了解数据分析师岗位的非从业人员,学生,甚至打算、正在、刚刚转岗的成为数分大军一份子的同学。
该文章的目的是普及,帮助理解数分的工作,意义和未来的发展,有别于个人的工作分享。
我国的数据分析师在官方定义上属于数据师的一种,在国家资质证书中可归为“统计师”一类。是在互联网和大数据的背景下,结合【数据结构和数据库基础】+【传统统计学&以机器学习为基础的新统计学】的相关从业人员。
数据分析师很早就出现在微软和谷歌等大型跨国公司中,且学校有专门的数据分析专业(Data Analysis/DA)以及数据科学家专业(Data Scientist/DS)。如果简单说DA和DS的区别是什么,大概是DS更多负责提供数据侧的“软件”,包括更先进的统计模型和可视化方案。
DS属于数据中的研究者,而DA属于数据中的应用者,DA的角色更多的是对清洗后的数据进行业务上的加工和初分析,赋予其业务意义和输出分析报告。
该岗位借着中国互联网的兴起一并传入中国企业,并优先在互联网企业的应用中(如腾讯和阿里巴巴)。直到目前,国内教学机构已有数据分析和大数据相关专业,但仍未明确区分出【数据管理】【数据分析】【数据科学】等相关的培养方向,仅仅是有着【大数据】这样方便大众理解的名义在。
其他传统企业也有类似的需求,但更多的是区分数据库搭建和数据应用,也就是数据的管数据,分析的管分析,以个人的理解,对“数据分析”这个名词使用最广的,还是互联网企业。
当前市场上的大部分数据分析师岗位,有着:用最牛逼的要求,干最普通的活的特点。
招聘方通常使用相似的岗位职责,例如:
熟练运用sql和python;
熟悉Hadoop,Spark等分布式架构;
有独立项目经历,有数据挖掘的经验;
数学、统计学、计算机等专业优先。
但他们给求职者最大的烟雾弹是:究竟数据分析师是否能承担或者有足够机会承担企业或项目中的重要决策角色?
一方面,该现象是由于用人单位很难明确数据分析的岗位职责。这在中国还算是一个新行业,因为到目前为止没有办法,或者官方定义数据分析师的职责。这导致企业用人部门“借用”市场上的数据分析师要求,来要求其他人做其它事情。
另一方面,求职者和招聘者纷纷模糊上述烟雾弹存在的情况,以期找到个人发展或企业自身要求的捷径,来提升自己或招聘的竞争力。这也是行业未固化时难以管理的原因之一。
在上述情况下,数据分析师们顶着这样一个看似“高大上”的头衔,却干着天差地别的活。
还未搭建数据部门的公司需要数据分析师做【数据仓库】的工作,承担埋点、数据清洗,库表搭建的职责;
刚刚搭建数据仓库的公司需要数据分析师来使数据产生价值,输出【可视化】的方案,满足【业务方】的需求;
已经有成熟数据管理的公司需要数据分析师来提供【长期稳定且主动的分析输出】,并为进一步的数据挖掘和数据科学提供业务上的指导和特征工程方案。
这种在行业发展过程中导致的招聘方与应聘方的供需混乱是产生这种现象的根源,若用发展的眼光看待,在未来的十几年,行业一定会找到供需平衡的点,这对于企业的降本增效,人才运用等有积极的作用。
企业需求导致的阶段性高薪,高校系统性教育的缺乏和教培市场的介入是混乱中的三方,但他们的未来都指向一个命题——即数据分析师的价值在哪里?
1、企业需求导致的阶段性高薪
企业为什么需要数据分析师,或者把命题在放宽一点,企业需要在数据和信息流通上搭建什么?
以对C端业务的互联网企业为例,我们在APP上的所有操作,都被记录在数据库中。庞大的流量和数据使得企业需要科学的数据仓库来分管和存放,可以理解为:书多了,我需要建一个图书馆。
而数据从业者,就是图书馆的管理人员。
企业在数据使用上需要几个职能:
(1)完成基础的数据搭建,包括制定埋点规范(埋点相当于在书旁边放一个传感器,你借一次,我们就知道你借了哪本书),数据仓库搭建和数据清洗;
(2)将清洗后的数据进行加工和可视化展示,类似于用切好的原材料去炒一盘菜。
(3)满足各业务部门的数据需求
(4)构建系统的指标体系,并用指标体系进一步优化数据报表和KPI管理
(5)搭建用户画像、生命周期等数据模型,在某些领域(供需模型、推荐模型等针对性的提出解决方案。)
(6)对已经跑通的业务进行数据挖掘和算法优化。
在上述情况下,所谓企业的阶段性高薪就来自于:1、对4、5、6职能中高端人才的期望;2、对1、2、3职能中人员补充的急迫;3、对以上职能需要的人才要求不明确或市场无法准确反馈。
更重要的是,以上6个主要职能,都可以叫数据分析师。
所以数据分析师的招聘要求大而全,且薪资诱惑力很大,一线城市的互联网大厂能给到应届生20~30w的年薪,与产品经理相似,仅次于软件工程和算法工程师。
在薪资的基础上,职能的不明确导致圈子内对数据分析师的观点不一,这就解释了所谓的:数分门槛低,薪资高的说法,但薪资高针对的是复杂的职能,门槛低针对的是企业现有阶段的需求,两件事叫同一个名字,却不一定是同一个人。
这样为教培市场的混乱埋下伏笔
在当前的百度百科中,数据分析师下更多的是CDA的宣传内容,但其只是民间组织,他对分析师等级的划分以及培养方案,都不能称之为行业规范。
类似的教培行业,非常多。
大部分教培标榜的数据分析门槛低,薪资高,两句话都是对的,但合一起是错的。
但整件事要辩证的去看待,正是因为企业需求不明确,且数据价值确实高,而国内高校没有成体系的培训方案,才会导致这个结果。
这是市场经济下的产物。
数据分析师的培训课程从几百到几万不等,声称学到以后月薪直接上万,一个月工资就可以回本,这属于老套的营销套路。最后将辛存者偏差进一步放大,便可以得到一个看似完美的商业模式。
但另一方面,培训的课程不是丝毫没有用处,只是通常报名者并不知晓应当学习的内容,也不知道数据分析师的职能和发展方向,只是受企业和教培的双向灌输,乱了手脚,信息闭塞,这也是我写这篇文章的原因之一。
关于CDA课程里所培训的,数据库知识,分析思路,数据挖掘等课程,已经达到了通识的目的,他能满足大部分企业的需求,作为转行者和初学者来说,恐怕除了私人培养以外没有更好的入行方式。
只是互联网营销模式下,职业教培同样会和k12的教培相似,有着通过辛存者偏差贩卖焦虑的普遍行为。
当然,这是营销手段而已。
而能够贩卖的根源,还是由于行业发展不完善,以及缺乏系统培养的指导方针。
行业内对数据分析的价值和能力尚在摸索中,而高校的培养无法与时俱进。
18年复旦开设了大数据专业,各高校甚至是职高也陆陆续续开展大数据专业,而专门的数据分析和挖掘,大多作为选修课程。
并且通过课程,也不能说明满足了企业的需要。
以财会专业为例,已经有成熟的行业标准,标准作为课程,教师按教材指导,不会出太多意外。
但在企业对数据分析师的要求,通常不在于要他解决什么固定的,具体的,有标准解法的问题,更多在于满足组织架构和个人管理的需要。
这就导致,即使从国外引入标准和教材,引入大企业的高级专家作为讲师,培养出来的学生也很难满足企业的个性化需求,他变成了能力培养而非专业培养。
这也是国内和国外,对于相似命名的数分和数挖,工作内容天差地别的缘故。主要原因是我们既说不清分析者和基建者的区别,也分不清研究者和分析者的关系。
这也是文化和市场环境相互作用的结果。
所以结果是,企业在招人时不会过多的限制某一种专业,而要求应聘者有适配的能力和经验,这种能力和经验有很大一部分是高校无法给予的,这样回应了上述教培市场的介入和企业阶段性高薪的推动。
造成了当前的混乱。
纵观数据分析师这个岗位的诞生和发展,私以为历经了三个阶段,而终将有五个阶段。
第一个阶段:部分行业领先者发现了大数据处理和流通的困难,通过建立科学的埋点,数据仓库,或者使用国外软件等方式,搭建好一个适合分析的架子。
第二个阶段:头部企业建立起较完善的分析理论,腰部企业高速发展。对数据挖掘和分析的要求提高。
第三个阶段:很多企业数据分析师很明确分析与数据处理的职责,开始分层培养。有成熟的数仓和埋点体系,部分分析师仅承担分析职责。
第四个阶段:形成成熟,标准化的分析思路和分析师的培养体系,完全融入国内外经验,将数据分析师与商业分析师,经营分析师和战略分析师作为企业核心架构的参与者。
第五个阶段:细分数据行业各职能,创造新的岗位和晋升机制,行业固化,人才引入依赖高校系统培养。
这几个阶段通常是其它行业曾经走过的路,数据行业也不会例外,即使很多人以为分析更多的靠主观能力和天赋,但企业在人才筛选时,更多的会考虑学历和经验,参考咨询行业的战略分析师一类。
当前中国各企业的阶段差距较大,诸如阿里,腾讯等企业,已经是第三阶段朝第四阶段迈进。但大部分企业,还被困扰在第一和第二阶段中。
而这对于从业者的警示是:你需要找准你的发展方向,数据分析是能力,而数据分析师并不是一个确定的发展方向,本文一直强调这个观点。
也就是说,未来所谓大数据行业的人才缺口,指的更多是建设性人才而非创造性人才。
回到前面的“烟雾弹”——最终能承担企业和项目决策角色的人,或许只是庞大数据从业者中很少的一部分。
并且随着数据产品,自动化分析工具越来越完善,“这样”的人只会少而不会多。一个有经验的分析师,在数据系统搭建完善的情况下(不需要花太多时间取数,讨论统计口径,埋点设计和报表维护),一定周期内可以支持4~5个项目(数据模型-提升策略-复盘优化),涉及数十个业务方。
随着更多的人分流到数据建设,更突出的人分流到分析决策,职能将会更明晰,也更能支持企业降本增效的目的。到那个时候,所谓低门槛和高薪资就产生了自我矛盾,谎言不攻自破。
1、统计知识和编程语言的结合
市场对数据分析师的要求非常广泛,总的来说就是:统计知识+编程语言。
形象表述就是:菜谱和菜刀。
数据分析师的终点是为了通过数据解决问题,也就是需要在复杂的数据分布中提炼出科学而简单的结论。数据分布的描述,处理;数据和数据间的关系,公式等;海量数据中的规律,相似性等都属于统计学的范畴。
熟悉统计学的分析师会明白对数据进行归一化,log/ln函数处理,指数函数处理等会有什么后果;以及聚类、回归和预测背后的逻辑是什么。而不熟悉统计学的分析师,即使有分析思路,但在数据的处理上始终会慢一拍。
编程语言是最好学的部分,主要是为了适用工作中交流和分析的效率。主要的工具包括SQL、Python的数据分析包,以及excel和ppt的熟练使用。
该部分的培养相对简单,这也是多数人认为的数据分析师需要的能力,但满足以上这些,只是够到了入行的门槛。
2、业务理解和沟通能力
无法理解业务的分析师生产出来的东西是空中楼阁,无法使用。
所以在很多公司,数据分析师的结论是否落地和被采纳,是绩效的重要评估标准。
复杂的分析报告无法体现数据分析师的水平,将复杂的理论和模型变成深入浅出的结论和策略才是终点。
如果数据分析师的结论不被采纳,数据就永远无法转化成生产力,至少不体现在这个分析师上。
业务理解不等于业务了解,例如某产品工作日的DAU和周末的DAU差距很大,背后的真实情况是产品的用户会将该产品配合B产品使用,而不是周末的用户更活跃,更喜欢使用产品内的工具。
前者是数据背后的真实逻辑,后者只是数据结果。之后的分析方向如果建立在后者上,那么只能刺激现有数据的增长,而不能阻止潜在流失和召回用户,因为你没有提供用户需要的,你只是把他手中的东西变得更多。
3.可供落地的解决方案
上面的很多能力大多作用在某一个小点,例如召回用户,提升活跃,为某项目提供数据支持等。
但这样始终无法形成自上而下的分析项目和体系,例如:如何建设指标体系?如何通过指标体系分析当前的问题?问题的严重程度如何?解决这些问题需要什么?ROI如何?
如果没有有经验的分析师,以上的问题就只能依赖老板和其它业务方考虑,等到需求提过来后,即使你觉得它再无理,也无法更改,只能被动承接。
相似的一套方案还有:如何通过指标体系做KPI管理?如何建立市场的供需模型?如何搭建适合用户的社区?
这些都是数据分析师在漫长的实验中才能找到并总结出来的东西,不是学习工具和精通算法就能得到的经验。
4.其它软实力
该能力更多的是所有岗位都需要的通用能力,包括自主自驱,积极沟通,号召力,总结归纳能力和表达能力等。
数分的岗位需要更多的沟通和拉齐信息,并非被动木讷的完成需求,不然同样无法承担创造性的岗位职责。
再往上的分析师如果不转型管理,更多的是拥有并挖掘更多可行的解决方案,并且通过拉动资源去解决事情,这个时候他的角色就不是单纯的数据分析师,而是集合了商业分析,数据分析,经营分析等能力的分析师而已。
数据分析师的日常工作每个公司每个岗位都不太一样,接触下来需要有几种:
(1)完成各方的取数需求
(2)埋点及制定统计口径
(3)报表开发和可视化
(4)活动复盘和数据报告
(5)ROI逻辑和效果评估
(6)跟进项目及自产项目
七、数据分析师的薪酬
之所以把这个放在后面,是希望诸位了解以上内容后对薪酬有清楚的判断。“烟雾弹”对薪资影响之大,是大多数人困扰的地方。
数据分析师的薪资可在boss直聘,拉勾,领英等求职网上搜索,以下仅为个人了解的样本。(主要为一线)
应届数据分析师:15-20k(非一线城市更多在8k左右,主要承担数据运营工作,差距下同)
1-3年:18-25k
3-5年:25-40k,年包约为30w-50w(受奖金和股票影响)
5-10年:35k-50k,年包约为50w-80w不等,明细难以参考
写在最后:
我一直想写一篇比较全面的普及文,这样在我看到奇怪的东西我可以有力回击,也让大家减少更多所谓大数据的恐惧,理解当前企业对于数据的运用如何,数据分析是承担了什么样的工作。
其实并没有什么特别的,还是那句话,最可怕的不是数据,是人心。
网站声明:如果转载,请联系本站管理员。否则一切后果自行承担。
添加我为好友,拉您入交流群!
请使用微信扫一扫!