用户
 找回密码
 立即注册
搜索

168

主题

187

帖子

719

积分

高级会员

Rank: 4

积分
719
发表于 2016-11-17 19:40:08
  • 前言:忙忙碌碌,四个多月过去了。这段日子对于我意义非凡,因为我完成了一个几年前的梦想——做一款有自己特色的大数据产品,并且它很优秀。最重要的是,这样的过程,带给我的除了情怀,更多是经历,堪比一年半载的成长。

一、前戏
看过我以往文章的朋友——《数据情怀这东西,你曾经拥有过?》。几年前,那时候我刚开始工作,曾经有一天,领导问每个人,你们职业路上,都有什么规划。身边的朋友都会说一些资深技术大牛的路线,轮到我,我只是说了,我想做一款数据产品。
那时候的确被笑了,不切合实际。我也没怎么继续聊下去了,把这个想法藏在了心里。
曾经说过,我算是比较纯正的一批大数据行业的从业者。现在准确来说,应该是比较靠前的一批踏上大数据产品探索的从业者。我工作这些年,都是在接触数据产品相关的工作。从一开始做的BI系统、类阿里指数和谷歌分析产品、用户画像这些数据产品,到现在反欺诈监控系统。无不例外。
在现在做反欺诈产品之前,在大数据生态圈子里,我绕着数据产品做了以下几点准备:
  • 做过数据ETL开发,是为了去了解业务和数据源,确保了解业务需要哪些数据,数据从哪里来。
  • 做过产品设计,它是我一直以来的兴趣,我认为数据产品存在的意义有两点:一是解决业务痛点;一是引导人们的需求。
  • 做数据挖掘,它是利用大学打下基础去实践数据的价值,我很清楚整个建模过程需要注意各种细节。
  • 了解大数据生态圈的技术,掌握MapReduce和Spark是为了清楚整个大数据生态圈数据的来龙去脉,并且能用code去实现每一个场景模型要实现的效果。

其实,于我而言,尝试性去做出一款数据产品并不是太难,因为我一直在努力着,仅仅缺少一个机会。

二、机会
五个月前,我离开了上一家公司,待在老东家那段日子,总感觉有股劲试不出来,特别难受。所以,我决定寻找着可以有机会大展身手的一个平台。
我以前的文章也写了整个面试的过程。万般转折,我来到了目前所在的公司,一家老牌的互联网金融公司,整个公司技术氛围很好(每周三技术分享),跨部门之间的合作也很融洽,特别是CTO是做数据出身,背景也很好(微软、BAT),引导着公司未来数据事业的发展布局。

我到公司不到三周左右,我的上级领导就突然找我谈话,说公司打算在反欺诈这块做些产品出来,监控理财和借贷这两块业务,而且还是CTO牵头。还说集团还特意成立了子公司,并发的做这件事。
刚开始听到这个消息,一方面激动,一方面也紧张。毕竟新的领域,整个业务数据都还不了解,甚至是产品业务流程。
但是,整个数据中心是应该要在公司技术背景下打好自己的名声,要真正体现大数据的价值,而不是给别部门的印象仅仅是数据支持,这很low,这是我当初面试和领导说的其中一句话。
纵观整个部门,领导初步的认为我更合适牵头做这款数据产品,所以直接和我做了沟通。我经过了片刻的思考后,和领导达成了一致,决定着手调研。即使有别的跨公司的专业部门在和我们同时在做一件事,我们也会顶住压力,坚持下去。

三、弯路
要说刚开始如何牛逼,那是不可能的剧情。以前做电商行业,现在转做互联网金融,业务差别肯定是有的,而且还从无到有去做一款数据产品,难度可想而知。
难产了几天,花了很多时间去了解产品业务流程和业务数据,刚开始走错了方向,主要有下面两点:
  • 快速掌握业务的方式不对,进度很慢,效果极差。
  • 混淆在一起去分析理财和借贷,总想合并一起去开发产品,毕竟它们属于两块业务,从业务数据、用户类型和行为特点来说,差别很大。

后面,我把自己遇到的困难和领导进行了反馈,经过讨论以后,初步确定了两条主线:
  • 通过CTO,联系到资深的放贷催收人员(现如今各种灰色产业的催收方式很多),以前在银行做这块的工作,有很深的套路去察言观色,套人话。快速了解目前行业业务流程和用户特点。
  • 做竞品分析,深入解析目前市面上主流的反欺诈产品的优缺点,确定自身产品的核心价值方向。


四、调研
确定好正确的方向,下一步就开始进行调研,主要有两个方面,调研人和调研产品。
  • 调研人

由于被调研的人特别忙,而且还是高层,一般很难约到。多次联系,终于确定在周二下午3点,他在个人办公室等着我们,做一次业务层面上的支持。
领导、我,还有一个同事,三个人拿着笔记本和手机就准备敲门进去做调研了。之前路上,还进行了分工,谁做笔记,谁录音,谁提问,利用好这次快速学习金融业务的机会。

整个调研开展得很顺利,进行了一个半小时左右,对方很好奇,也感兴趣我们目前结合大数据在做得工作,所以大家聊得氛围很好。而和他聊天的过程中,总感觉城市套路太深,too young too simple。他告诉了我们很多他从事这十多年,遇到的形形色色的人和事,以及总结出的一些经验。比如有以下几点;
  • 1.哪些区域的诈骗可能性最大,列举了至少十多个(这里防止地图炮,不具体)。
  • 2.什么年龄层次、职业、社会人群最容易借钱不还。哪些正规渠道的人群是绝对不能放款。优质客户有哪些?
  • 3.如何设问题去套话,确认这个人借款的真实初衷,和还款能力。以及如何去校验用户的个人信息。
  • 4.诈骗团伙都会有哪些伎俩去蒙骗过关,中介服务商是如何去帮助用户去骗取钱财,左手换右手的借款人都有什么特点,等等。
  • 5.如何利用第三方数据源去填补线上借款数据的空白,比如快消行业的数据。


我回去以后总结了整个调研的全过程,反复看了好几遍。其实,对于资深的业务人员来说,他会告诉你很多他的经验法则和诈骗场景。而对于从事大数据的人来说,能体现的还是用户群体细分、诈骗用户画像构建、以及针对差异化场景确定相应的征信校验,洞察用户心理。
  • 调研产品

做竞品分析是做大部分数据产品必须要经历的过程,这其中有很多原因,一方面是明确自身产品的优势以及价值点,简单来说,你要做的产品有什么不可替代的价值,公司为什么花资源去做它。一方面,从竞品的调研过程中,看到别人的优缺点,更高效明确可以借鉴和完善优化的功能点。
肤浅的竞品分析仅仅是在看别人页面长什么样?有哪些产品功能点?那个页面交互做得不错?
鉴于我并不是专职做产品的,我并不会深入去得到结论。但是,从我做数据产品的角度(差异于做业务产品的人员),我当时分析国内外比较有名的产品以后(比如同盾、FICO),主要从这几个点去思考:

  • 数据源:数据缺乏整合性、数据匮乏是很多商业数据产品的一大弊端,不完整的用户全路径行为,以及用户业务数据,挖掘出的用户特点很不健全。我们公司积累5年1200w左右的用户数据会是我们一大优势。
  • 风险库:目前很多市面产品,甚至是公司自主开发黑白名单库,都是死数据,也就是说,用户存在即能判别,相反则视为安全。这是传统的做法,很难解决冷启动问题,对于300w网贷用户来说,能覆盖的面极少。如果能找准关键性特征向量,做一个监督性模型去自主学习,不断完善风险库,这也会是一个很大的优势。
  • 维度单一:单方面只考虑用户行为数据,比如设备信息、网络信息、个人基本信息,绝大程度上能解决的问题并不多。真正专业诈骗的团伙是很容易规避这些规则,这是商业机密的特殊性(市面产品很难接触每个公司用户交易数据和个人敏感信息),也是规则引擎所带来的不足。

所以,当时得到结论是这样的,我们做这个产品的优势和突破点,可以放在这几个方面:
  • 全渠道用户数据整合与积累,这其中,渠道整合代表着PC、WAP、IOS和安卓,用户整合代表着用户行为数据、基本信息以及资金流向数据,以及第三方有价值的数据源。
  • 优化反欺诈校验流程,完善风险库和规则引擎所体现的不足,整个产品系统,融合4个模型去做深入挖掘分析。
  • 优化风险库的启动机制,让它构造成一个可监督的自主学习体系,不断学习完善风险库的数量级。
  • 增加征信校验流程,真正切切将数据产品与产品流程进行融合,不断推进整个产品的学习和完善。

五、和理财运营产品经理的耐撕
那时候,整理需求,以及调研就花了两周左右时间,各种会议讨论,最终我们确定先着手理财端羊毛党这块的反欺诈监控。
曾经有一次,我约了整个理财运营部门,负责做业务数据分析的同事、产品同事和运营总负责人,想一起确认下最终的需求方案。但是很难把三个人凑在一起,确定会议时间,又修改会议时间,重复很多次都没正式开始。
这种现象是可以理解的,一方面每个人都的确有事忙。一方面,和我们做同样产品的其他部门,应该也联系过他们,他们也不想重复性去针对同一个问题去沟通两次。总之,时间成本很重要,每一次沟通都需要重视。
当时有些孤军奋战的感觉。那天下午想了想,觉得也不能这样耗下去,过需求,确定功能方向点是不可避免的。
我当时做了一个决定,直接带着电脑,坐着电梯,去理财运营部门主动找他们过方案。碰巧,他们都聚在一起,正在开会讨论理财发奖励给用户促进投资的事,这事也和羊毛党反欺诈系统有关系——只想发奖励给有价值的潜在用户,节约运营成本。
很快,我就被拉进会议,和他们一起讨论,也开始了后面和他们产品经理各种思路碰撞。刚开始大部分时间都是他们产品经理在说,主要讲了几个点的问题:
  • 我们产品与其他部门产品的关系,以及未来和他们对接的形式。
  • 其他部门目前做的进度,以及他们开发的设备指纹是如何厉害。
  • 他们想解决的痛点,以及我们并发做这件事的价值。

这不是一场耐撕的口水战,毕竟我是来找别人确认需求方案,不是比谁说话大声,而是真正说服别人,提现自身价值。我当时主要回答了这几个问题,也是我对这块产品的认识。
  • 设备指纹,不需要将它神圣化,我们也有算法在做这件事,更多要是,它只是能够辨别用户唯一身份的标识,并无他用。(他认可了)
  • 产品真正痛点,不管是对接哪个部门,哪个产品,理财运营羊毛党反欺诈监控,真正的需求痛点只有两个方面:实时和精准。实时性体现在事前监控,响应时间至少要保证在秒级别。精准体现在,真正羊毛党反欺诈监控的核心不在于判别用户是否属于羊毛党,而是在于判别用户属于哪一类的羊毛党群体,个人,家庭,朋友,这些羊毛党群体,整个平台是可以接受的。(他也认可了)
  • 资源力量:既然你认可需求痛点,那这里面,仅仅一个实时性,就是非常有技术门槛,不管是Spark Streaming,还是Strom,这些技术都是在大数据生态圈里,一个传统型业务部门,要做这样的事,不另招资源,而且还是高薪,能完成?而且仅仅依靠着死的风险库,能解决的问题极少,很多业务冷启动问题,它的优势是完全体现不出来。(他一知半解)

整个聊天的最后,大家也聊天很平和,我也没有继续去过需求方案,但是通过沟通,我也更加确定产品要解决的事,需要的功能点,以及和业务的融合形式。

d11c2a6693221eb0e58403d5520f876b.jpg
部分需求方案流程
六、产品设计
坦坦荡荡,说服了自己,也说服了别人。终于准备开始产品设计了,很多人对产品经理的理解更多在于画产品原型,特别是数据产品经理,很难有个理解去定义会做哪些事。
正如大部分人所知道的,画产品原型。我看过一些仅仅做产品设计的同事,设计得很粗糙,而且很复杂,不切合实际,这也是为什么程序猿会谋杀产品经理的原因了。
  • 页面设计

因为工作的原因,我会经常和UED的同事沟通,有一次,我打趣问她们,我设计的产品原型是不是很挫(故意的)。她很吃惊的看我,这样的原型已经比很多做业务的产品经理设计得好太多了,她还一开始认为我是做产品的人,毕竟我天天催她任务进度。
很多人会花很多时间在产品原型的设计上,甚至会用一些比较高级的画图软件。其实是很浪费时间成本的,而且意义并不大。
我自我感觉设计还算合格,而且我就用一些比较简单的小软件,却能设计出想达到的效果。比如颜色取色RGB,一款小软件colorpix。图标样式,就用阿里图标库。原型设计就用Axure RP Pro软件就可以了。(如果做日常设计,excel和百度对于我来说就足够了,画图神器)

9d86f0be324e49d226f48b9b069630e4.jpg
阿里图标库
这个点真没必要耗费太多时间,我认为在对接UED时,能够确定三点就可以了:布局样式、主题风格和颜色搭配。一方面时间可以节省他们的构思时间,一方面润色上可以交给他们专业上去完成。真正的数据产品,缺乏功能规划都只是花瓶。
  • 功能规划

这个点是很容易区分开来水平高低的一个方面,也是市面上绝大多数数据产品经理难跨过去的一道坎。
在我看来,写一篇文章的技巧,和规划一个产品功能是同一个道理。主要思考有这三点:1.整个产品解决什么痛点问题?2.系统功能学会闭环,而不是堆砌。3.页面功能要有主题,主次分明。
这不就是写文章过程中,主题、故事线、笔墨主次之分?
我看的很多尝试做数据产品的人,甚至是后面对接其他部门做同样产品的产品经理。在规划数据产品的过程中,都会暴露几个功能方面的问题:
  • 1.抄袭、堆砌功能。
  • 2.不能体现整个产品解决业务痛点问题的思路。
  • 3.页面功能复杂,不考虑前后端实现,空想。甚至不知道这个页面想表达什么功能主题。

其实,这主要的原因,还是见得少,了解得少,对业务不熟悉,对技术不了解,特别还是大数据生态圈数据流程。

当初规划五个板块的功能模块,目前已经开发完成8个页面,还剩2个页面正在开发中。
当时花了一周初步规划好整个系统的页面功能点,反复修改了很多次,确定无误以后。准备邀请CTO、理财运营人员、后端工程师一起过整个产品前端页面的功能点。
那天的讨论比较顺利,至少在业务方向上是被认可的,可行性上也能够实现。唯一的不足就是对我们产品的真正落地,还持有质疑性。毕竟公司内部没有人做过,对于这样的数据产品,大家也没有一个成型的样式在脑海里。
这样的质疑是可以理解,别的不说,踏实做好,用心去做就足够。至少当时我是这样想的,我也还一度认为,原来做数据产品会这么简单,需求调研,产品规划,剩下的就是一个干。
后续
任何真正有挑战的事,并不是想象中如此简单。我当时把它想得太简单了。我们是优先开发后端功能,总共五个引擎服务(用户行为跟踪、风险库引擎、规则引擎、反欺诈用户关系网络和监控预警),在这过程中,整个产品一度走上了难产、破灭的阶段,甚至领导也不相信它还能够落地,甚至有机会申请创新项目。
厚积薄发,在最困难的关键时刻,想到自己当初的梦想,仍然难以实现,不甘心。我果断站了出来,顶住压力把产品带到了现在,这里面除了欣慰,更多是一种难忘的经历。
下一篇文章会继续讲述,整个数据产品是如何走向危险,以及如果突破困难,坚强站了出来。

作者介绍
汪榕,3年场景建模经验,曾累计获得8次数学建模一等奖,包括全国大学生国家一等奖,在国内期刊发表过相关学术研究。两年电商数据挖掘实践,负责开发精准营销产品中的用户标签体系。发表过数据挖掘相关的多篇文章。目前在互联网金融行业从事数据挖掘工作,参与开发反欺诈实时监控系统。



对此你有何评价?欢迎回帖和大家一起评论

----------------------------------------------

米多大数据引擎,帮助传统品牌企业实现物联网时代的“四个现代化”,即企业平台化、品牌人格化、产品个性化、员工创客化。



使用道具 举报 回复
发表于 2016-11-17 19:40:08
找到好贴不容易,我顶你
使用道具 举报 回复 支持 反对
发表于 2016-11-17 20:17:17
回不回呢,考虑再三,还是不回了吧
使用道具 举报 回复 支持 反对
发表于 2016-11-18 00:43:48
谢谢楼主,受益匪浅!
使用道具 举报 回复 支持 反对
发表于 2016-12-13 18:30:45
请楼主继续发好贴,支持你
使用道具 举报 回复 支持 反对
发表于 2017-2-5 19:28:17
帮你顶,人还是厚道点好
使用道具 举报 回复 支持 反对
发表于 2017-2-21 18:25:26
要顶的啊,楼主辛苦了
使用道具 举报 回复 支持 反对
发表于 2017-12-24 00:34:32
看后有点感悟了,谢谢
使用道具 举报 回复 支持 反对
发表于 2017-12-28 22:52:51
我觉得挺好的,大家的看法呢
使用道具 举报 回复 支持 反对
发表于 2017-12-28 22:52:52
回帖是必须的,这个可以有!
使用道具 举报 回复 支持 反对
1234下一页
发新帖