最近在知乎上看到一则帖子,是关于“职场工具人“的讨论,网友对工具人的定义如下:
再一看评论区,果然是一片哀嚎:
干开发的吐槽自己的就是一个代码输出机器,天天接需求、改bug
运维觉得自己就是专业修理工、哪出问题都得随叫随到,空有一身本领,业务眼里也只是个修电脑的
测试天天就是找bug、找bug,时不时还要跟开发吵两架……
再反思一下我们数据部门的工作,好像也没能逃脱“工具人“的宿命,每天睁眼就是业务方五花八门的取数和报表需求,累死累活功劳还总被业务抢走,就跟打游戏一样,IT打“辅助“,业务拿“人头“。
最让我觉得自己是工具人的工作就是“取数“,基本上是所有数据IT的噩梦。在行业认知里,取数一项非常基础的工作,一个新人1年的成长基本上就可以自如应对各种取数工作,但是这项低技术含量的工作偏偏要耗费it很多的时间和精力。
一些公司都开设了取数岗来专门满足业务的取数需求,不过这个岗位在公司的地位可想而知,更尴尬的是,在很多厉害的互联网公司,一些技术牛逼的业务都会自己写sql数据了,更加看不起取数的IT
那我们干数据的IT怎么才能摆脱取数的噩梦,来个翻身农奴把歌唱?
我们回归到“取数“这件事本身,刚才上面说了从技术的角度讲,取数并不难,无非就是写两句sql嘛。而真正的阻碍是企业随着业务发展带来的复杂和冗余的取数需求和IT与业务之间巨大的需求沟通成本。
曾经在一家金融公司信息部工作过一段时间,深刻体会到取数这个活有多么不容易,大多时候业务的一张报表会涉及到多个取数需求,看起来没增加几张报表,但实际上背后隐含了N个取数过程。
而且对于集团企业来说,不仅总部的运营部、销售部和市场部等各个业务部门的报表需求都压在信息部身上,而且有可能分公司的需求经由总部对应部门也汇总到信息部身上,这就导致了信息部每天都要应对成千上万的取数需求。需求多了,响应速度慢,耽误了业务分析决策,业务还会毫不留情的投诉我们。
然而这还不是最难的,更令人心碎的是和业务往往复复的需求沟通。每接一个需求,都要找业务反复沟通核对,而且快速发展的业务让需求总是不停变化,IT不是在和业务部门沟通需求,就是在沟通需求的路上,给业务\IT双方来都带去了很多工作量,耗时又费力。
为了跨越IT业务之间的“取数“鸿沟,一些企业探索出了新的办法,那就是让业务实现自助取数,把取数这件事从IT身上转移到业务身上,让业务和想要的数据之间没有IT这个“中间商“,这样一来,“取数“这件事就从原来的“业务点餐“变成了“业务自助“,既缩短了取数流程又节约了沟通成本。
看到这里,业务朋友们肯定要开喷了:让我们业务去学sql取数?要你们IT干什么吃的。
当然,让业务去学sql取数必然是不现实的,而且数据全部下放给业务,IT更加会担心数据安全和混乱问题。为了实现业务自助取数,解决这个问题的办法就是搭建一个自助取数平台,通过IT集中数据管控来进行数据分发,业务通过平台自助完成取数工作,这样IT就省下了很大一部分的取数工作,业务不用等需求排期,很快拿到想要的数据。
不过,说起来容易做起来难,建设这类取数平台,除了要体验好,还要性能要高,在整个的开发过程中,如何设计好配置方式、如何做好业务和数据的映射、如何进行数据表之间的关联、如何实现数据权限管理等等一系列的问题都需要解决,还有一个前提是公司有足够的技术人力支撑。
所以对绝大部分的企业来说,量身打造这样一个自助取数的平台是非常困难的。
不过市场上现在已经出现了很多产品化的自助取数工具(单纯取数)和自助BI工具(自助取数+分析)可以帮助企业解决这个难题。
目前应用的比较多的是自助BI工具,业务能够实现自助取数和分析,直接为业务决策提供依据,这就有点像我前面说的“自助餐“概念了,原先是IT提供食材,业务分析加工得出结论(菜肴),现在是业务自行准备食材、加工、做成菜肴,即解放it,也让业务真正成为数据的主人,企业层面上也提高了数据应用决策的效率。
以我之前在的老东家应用的BI平台FineBI为例,简单介绍BI工具是如何解决取数这个问题的。
我们在平台建设之前,搭建了数据仓库,把业务系统产生的数据经过ETL加载到数据仓库,然后在数据仓库中设计好数据主题,配置好维度表和事实表数据集,将数据导入到FineBI中,配置好表间关联关系,供业务自助查询分析,把一些日常固定报表也固化到平台上供业务查询,我们IT只需要负责底层的数据梳理,和自助分析平台的数据权限的维护,比原来的工作量直接少了一半。
当然,要真正实现自助分析光靠工具肯定也不行,iT把平台搭好了,业务要能用得起来才行,所以自助BI工具的使用门槛要低,要让业务轻松就能取到数据,快速实现分析。
比如像Finebi的自助集数据处理功能,iT 和业务都可以创建自助数据集,抽取想要的数据,在数据集中进行数据加工,而且这些加工只需要鼠标点击就能完成,不需要写一行行的sql语句。
数据处理之后,业务通过拖拽就能实现快速自助分析,支撑业务决策
在这样的自助分析模式下,我们IT省下了时间去集中精力梳理底层数据,企业的数据质量也越来越好,业务分析需求也能够得到及时响应。
除此之外我们也有了时间去创新突破数字化转型道路上更多技术点,比如数据挖掘智能式BI等,领导也更加认可IT在企业中的价值。这样一来,我们数据it人就逐渐从被业务压制的辅助角色,转向了推送企业信息化建设的先锋军!
如果需要BI工具的,关注我,并转发该文章,私信回复“BI”即可。