阿里的野心：大数据搬家记

honghu2

阿里的野心：大数据搬场记


这可以看作是阿里施行大数据计谋的记事文~但愿对存眷大数据的朋侪有所开导。

作为中国最大的电商团体，阿里巴巴一向长于自省自查。大数据革命的旋风吹到中国，让阿里巴巴得以机遇发明本身脚下地皮的松动。依照“数据根本决议上层修建”的逻辑，阿里巴巴祭出一系列数据迁徙和优化项目——重塑阿里电商生态体系的生命之树正破土生发。但是，“釜底抽薪”般的大动作但是必要拿出十万分的谨严和耐烦……

高空使命

自曝其短、抖擞补课的事儿仍是静寂静地举行。

当摄像师不竭变更机位寻觅最好视角拍摄时，潘宝坤有点愤慨了。“你们出去!别拍了!等咱们做好再回来!”他吼道。

这一幕产生在1月13日晚，在阿里巴巴杭州西溪园区，一个被称为“DNA项目”的机密规划正进入最关头的时刻。为了记实关头的场景，阿里专门放置了摄像师跟拍了全部项目标关头环节。恰恰在这个时辰，技能后台的代码出了点状态，人人都急出一身盗汗。潘宝坤是当晚技能团队的一员。

DNA项目标焦点是阿里C2C和B2C两大电商买卖平台淘宝、天猫对商品SKU(商品同一编号)的底层技能架构更新。它在天猫对商品类目信息从新梳理的“达尔文规划”的根本上延展而来。若是说达尔文规划是一颗苹果，DNA项目则是一棵苹果树，是阿里电商生态体系的生命之树。阿里团体IPO代号不是叫“阿凡达”(Avatar)吗?若是不做达尔文规划和DNA项目，它是不成能成为伶俐星球的，马云的绰号“外星人”也将名不符实。

大数据(Big Data)革命在美国有几种典范表示：亚马逊有个性化搜刮A9，A即算法(Algorithms)的缩写。Netflix有76897种片子分类，内部叫“量子论”、“微标签”。Facebook有消息采集体系。潘多拉电台有音乐基因工程。算法是一种奇异的把握人类消费举动和心里勾当的体系，若何将人工分类与呆板智能举荐相连系，一向是互联网顶级之战。

简略理解，每一个超市都有不少货架，商品分门别类摆放，若是标签紊乱、指向不清，会影响贩卖效力和购物体验。而作为中国最大的网上商铺，淘宝从2004年5月出生起，平台上的每款商品都有一个特定命字代码，2008年在淘宝内部培养的天猫持续了这类技能架构，十年堆集，阿里电商系统里的商品已跨越了20亿。与此同时，商品信息的紊乱、冗余、不规范愈来愈较着。

一个典范的例子：在苹果公司还没有推出iPhone 5c以前，淘宝上竟然有人卖绿色版iPhone，“这让人啼笑皆非，危险了淘宝系多年创建起来的信赖度。”阿里巴巴同享奇迹群副总裁王曦若对记者说。

与美国的eBay、亚马逊比拟，淘宝的商品类目根本架谈判分类办理不是一起头就尺度化的，部门SKU的属性值(如规格、型号、色彩、尺码等)可以由卖家自界说编纂，不免会参差不齐、混同用户、乃至产生SKU做弊举动(好比将通例商品和配件辅料、瑕疵品等放在一个宝物链接里出售)。

对付淘宝、天猫来讲，商品信息数据体系就像基因之于细胞那末首要，它决议着所有线上买卖的进化水平：若是类目规范整洁，买卖就简略快捷高效，进而鞭策自我改造;若是体系横七竖八，玩不了算法和个性化，影响用户体验，乃至给阿里本身拖后腿。本年3月，马云内部邮件称：云和端(Cloud +App)将是将来挪动互联网的关头，阿里十年的方针是创建DT(Data Technology)，数据期间中国贸易成长的根本举措措施。

王曦若将阿里从达尔文规划到DNA项目标最后一步操作称为“在飞翔着的飞机上换引擎”，来形容重整商品类目标危害之高和压力之大。她是DNA项目标总卖力人，率领一个近百人的团队。

全部项目标关头是底层后台的数据迁徙，他们必要将阿里商品信息开辟团队做好的全新模子，链接到无时无刻不在利用的淘宝、天猫平台上。而所有这一切，得不乱腻滑过渡，不克不及惊扰卖家和用户。

商品信息“进化”

瘦死的骆驼比马大。阿里后台“病了”，商品类目信息呈现了“病菌”，但它依然是中国最大的电商平台，以沃尔玛+亚马逊的模式，以电商、金融和数据平台在中国经济饰演偏重要的脚色。

阿里用来收拾和存储商品信息的体系是一个树状布局，在内部叫“类目”。作为第三方买卖平台，阿里把商品分成70多个大类，在每个大类下分出不少子类目，子类面前目今又有一层层的分类。就像一颗枝繁叶茂的大树，在树干分出不少枝桠后，叶子已难以计数。

没人否定这套体系的首要性，但即使在阿里内部，对它有领会的人也未几，由于它在技能底层，不直接影响前端买卖，不像阿里每一年双11的创记载贩卖额那样吸引平凡人的眼光。

每一年双11买卖额都刷新记载的天猫，是阿里团体最早推广“达尔文进化论”的部分。2012年5月，天猫改名方才4个多月，就被发明有了“病症”。技能职员通事后台看到，愈来愈多的买家留言说很难在天猫上找到本身最初想要的商品，不管经由过程类目(好比衣饰、电器、化装品)仍是搜刮——这是天猫商品的两大流量进口。要末指向不精准，要末信息过于繁芜，你必要手动翻阅好几页信息页面。

对付方才打响名号的天猫来讲，这其实不是件可以疏忽不计的小事。马云对天猫的期许是，专注做B2C营业的天猫就像挺进大别山的刘邓雄师，是全部阿里团体在B2C范畴的正面作战军队。“B2C是比C2C更高档的一种零售业态。”原淘宝商城总司理、自力电商阐发师黄若奉告记者，B2C平台应当是一个Shopping Mall，商品丰硕而正规，信息透明而规范。

电商成长初期，商品与信息组合的首要性被轻忽。亿欧网结合开创人、电商阐发师黄渊普对记者说，跟着商品数目增长，其组合方法是电商邃密化运营最首要的表现之一。一样的商品有多种信息描写，既挥霍各方资本，不少时辰也助长了商品的不实鼓吹。电商平台方有需要把类目规范化，这是电商购物回归产物自己，促成公允竞争的必定办法。

王曦若着手让团队一点点去核对，试图厘清究竟是哪一个环节出了问题，终极商品信息的不肯定性被定性为焦点问题。他们发明，即即是在天猫上，统一款商品的信息也未必不异，好比一款绿色的保温杯，有的卖家描写为“淡绿色塑料保温杯”，有的则是“浅绿色塑胶保温杯”。

“某种水平上，天猫已不像个Shopping Mall了。”王曦若说。天猫的商品信息持续了淘宝的气概，由卖家填写，天猫只卖力简略审核(商品根基属性正确和合适法令律例)，这就造成为了商品描写八门五花，在后台的“堆栈”未便办理，前端“柜台”信息紊乱，买家找不到想要的商品，卖家贩卖库存办理日趋复杂。

王曦若把问题陈述给时任天猫总裁张勇。张勇在高层会上说，必定要把问题尽快解决掉。他们花了几个月调研会商，张勇拍板决议启动信息重整项目，但那时还没起名字。“要不就叫达尔文规划，代表着咱们商品信息的一种进化?”王曦若的提议获得赞成。

阿里同享奇迹部派出了两个团队卖力达尔文规划的运作。天猫产物部的何家琼被抽离出来，组织了一个10人团队，叫“达尔文根本运营团队”。2012年8月，他们一起交友从手机和化装品两种相对于简略的商品起头，正式启动达尔文规划。

从天猫起头

习气一旦养成很难扭转，更况且你动的是长处。阿里先在天猫而不是在淘宝做商品类目重整，就斟酌到它平台上大可能是知名品牌入驻，调解和规范的本钱相对于低，不至于侵扰淘宝的卖家书息海洋。

2012年8月，在天猫的后台体系，手机和化装品卖家都看到了一则关于达尔文规划的通知布告，详情及必要卖家怎么共同。犹如总裁张勇谨严的行事气概，天猫该项目运作也谨慎翼翼。运营团队先举行调研，一是对淘宝天猫卖家和买派别据采集，内部也与阿里卖力类目标办理者(俗称“小二”)沟通，二是向外洋同业亚马逊和eBay进修，三是对淘宝十年来履历总结。

闻思图书专营店店东温兴歌曾为如许的问题纠结：某一本书的内容既触及贸易故事，也属于观光见闻，到底放在贸易子类面前目今好卖，仍是放在游览子类面前目今更好卖?达尔文团队环抱一个根本的问题展开：某个商品的类目抱负中应当是甚么模样的。他们会商这些不同，一步步触及到最根本最噜苏的问题：为甚么商家会放错类目?商家甚么环境下会设置错的关头字?每一个商品的色彩、尺码、格局都用一串自力的数字来暗示，为甚么还信息紊乱?……

天猫的运营团队给平台上手机和化装品类目标前10名卖家打德律风，先容正在举行中的达尔文规划，征得对方赞成后，抛出一系列问题：商品的材质是甚么?一共有几个依依直播型号?几多种色彩?一般每一个月出产几多贩卖几多?放在天猫堆栈又有几多?……“这些看似不太相干的问题，射中的才是商品最焦点的信息。”何家琼说，商品信息终极是为买卖办事。

第一轮商家调研完成后，天猫团队坐在一块儿总结，得出一个令他们震动的结论：天猫的类目布局已远远不克不及知足行业的成长状态了，不少商品早就更新换代，或丰硕了格局型号，类目却仍是2008年最初建成的模样。

他们一鼓作气开了卖家沟通会。2013年头，温兴歌从浙江金华赶到杭州，在位于西湖国际大厦的天猫办公室加入了图书类目标卖家沟通会。会场有20多个图书经销同业，一个天猫图书小二，一个达尔文根本运营团队成员，一个记实员。“会商的话题是今后咱们怎样填写图手札息。”温兴歌说。之前都是卖家自由填写，天猫简略审核便可。如今天猫提出他们会为每类商品设置多种属性，让卖家举行选择而不是自由填写，好比给名流列传设置框架，中国的仍是外国的，汉子仍是女人，政治的仍是贸易等，卖家在选项里勾一下就行。

由于这触及到将来自家店肆的买卖，卖家们都各抒己见，提出各种可能的坚苦或建议方案。他们也辩驳天猫的某些做法。“套装书”就曾堕入会商僵局。天猫认为有同一条形码、版权页上印着丛书名的系列书才算套装书，卖家们则对峙可以自由搭配，把两三本都雅的书组合在一块儿就行，无需斟酌是不是统一出书社、条形码或系列丛书。温兴歌把分歧出书社出的《育儿圣经》和《睡前胎教故事》构成套装卖后，两本书销量都比以往增长近30%。

沟通会结果较着。天猫图书的子类目调解成既有天猫界说的套装书，也有卖家自由搭配的“自由组套”。究竟结果天猫是个买卖平台，达尔文规划在规范商品信息的同时是为了晋升买卖效力和品格。这类既要规范有序、又不影响买卖销量的做法，在其他类目厥后的操作中也时时呈现。

王强在天猫谋划一家海尔授权收集店，是最先加入达尔文规划试点的商家之一。比起之前上架新商品必要本身费经心思去填写商品描写信息，如今从天猫的库中直接挪用，“我只要填代价、库存数目等信息便可以了，对天猫店的保护更简略单纯了。”

但因为品牌卖家的定位营销计谋分歧，他们对达尔文规划反响也纷歧致。何家琼就碰到一个问题，耐克和阿迪达斯对天猫商品描写的请求有分歧定见：在耐克的商品描写中，一个商品下面既有尺码选项也有色彩选项，而阿迪达斯的只有尺码选项，若是要标识色彩，代表商品属性的是此外一串数字。

“这暗地里有销量的博弈。”何家琼说，在淘宝天猫的搜刮身分中，销量占很大权重，焦点表示就是依照商品的销量主动排序。以慢跑鞋为例，耐克慢跑鞋的销量是其各类色彩之和，阿迪达斯慢跑鞋则是按赤色、蓝色、紫色等分歧销量各自显现。在阿里平台有个征象：用户搜刮“慢跑鞋”时，耐克因其销量超过跨过如今较为靠前的页面，阿迪达斯则会靠后。

两个品牌都是天猫的首要卖家，何家琼不敢掉以轻心，亲身给对方卖力人及前5名的专营店卖家打德律风沟通。耐克但愿达尔文规划继续连结本来的商品描写方法，阿迪达斯则分成两派，官方旗舰店但愿商品描写和阿迪达斯官网连结一致，分歧色彩的商品有分歧的属性值;专营店卖家斟酌销量，但愿取缔色彩属性值，让买家在同一款号的商品下自行选择色彩。

今朝，达尔文团队还没想到符合的方案来解决这个问题。何家琼的假想是，对付打扮衣饰等非尺度化商品(非标品)，或许可以铺开一些弹性空间，天猫卖力较大比例的类目办理，卖家按照本身环境举行个性化类目描写。耐克和阿迪达斯两家天猫旗舰店卖力人回绝就此颁发定见。

扭转搜刮逻辑

2013年，天猫陆续完成为了对数码、家电、腕表等标品，打扮、化装品、农产物等非标品的类目从新调解。

平凡用户感觉到的是在天猫购物更快速正确了。王曦若说，“若是用户的搜刮信息足够明白，咱们乃至能供给独一合适请求的商品。好比输入iPhone 5s，搜刮页面中间只会呈现一款手机，再也不有手机壳、配件等无关信息，为用户们节流大量时候。”

如斯精准的推送来自天猫搜刮体系的一套数据算法。当用户输入iPhone 5s时，搜刮后台会找到天猫卖家所有的iPhone 5s手机，按照销量、人气、代价、主顾评价等算出综合得分最佳的一个，体系再次评估后推送给用户。这是一套相对于公允的算法，面向所有卖家和用户。

在类目以外，搜刮是天猫最大的流量进口。曩昔5年，天猫搜刮依靠的是模胡辞汇，“你输入一个关头词，后台体系会帮手匹配不少商品，只要这些商品的标签中含有这个关头词。”天猫产物运营部产物总监胡秋根对记者说。他是天猫搜刮营业的卖力人，在达尔文规划运作进程中，搜刮也共同商品信息的扭转有了冲破。

模胡辞汇匹配的益处不问可知：尽量“一扫而光”把相干的商品展现给用户。“余杭区的马蜜斯想找一件真丝无袖连衣裙，理论上她只要输入这7个字，无论翻几多页，她都能从中找到本身想找的那一件。”胡秋根说。

这实际上是汗青遗留问题，跟天猫前期商品信息的模胡紊乱痛痒相关。达尔文规划使天猫补上了商品类目规范和进级的课，阿里越发在大数据利用上领先京东、铛铛、苏宁等竞争敌手(这三家回绝接管采访)。现在在天猫，你搜刮一件商品，其展现成果从本来的成百上千件，变成聚合成肯定的一件或几件。

“搜刮逻辑的变革对卖家影响很大，让不少卖家扭转了运营逻辑。”之前不少卖家为了销量，会为商品添加不少标签，如今天猫更青睐推送信息精准的优良商品，卖家们极力运营好某一款或几款主打商品。“爆款”在天猫将成为曩昔时。天猫搜刮再也不推送多种同款商品给用户，达不到卖家们跟风的结果。胡秋根说，“这也加倍合适天猫的定位，这个平台的焦点竞争力是品牌，而不是只以销量取胜。”

“釜底抽薪”

当达尔文规划逐步着花成果时，一项更有价值、同时也更有难度的项目也同时交织在展开。它涉及的是全部阿里电商平台的底层数据，是阿里成长大数据营业和将来DT方针的根底。

2013年2月，这个项目由阿里同享奇迹群的商品技能开辟平台团队提出。该平台卖力人赵营苗奉告记者，从延续利用十年的履历来看，淘宝平台的“树形布局”对付卖家和买家都简略易用，可是跟着情况变革，愈来愈多的新商品呈现，有的难以归类，这棵“生命之树”再也不强健如初，“也就是说，现有的布局类目已跟不上行业的成长了，跟期间比起来掉队啦。”

阿里运营部分的梳理成果更浮夸。“除国度法令政策划定不克不及买卖的，枪枝弹药福寿膏不克不及卖，在淘宝上，你注册个卖家账号，甚么均可以卖。”DNA项目运营卖力人朱春勇说。赵营苗认可，“这就是咱们的商品数据库模子出了问题，扭转刻不容缓。”

在阿里大数据委员会会长车品觉看来，这不是阿里一家公司的问题，全部电商行业实在都存在商品信息办理的困难，在传统零售行业，这也是相当首要的一环。“大数据利用中最首要的三个身分是数据的可及时性、数据的可诠释性和数据质量的正确不乱性。DNA项目触及的是商品信息的正确不乱性，对付阿里大数据利用来讲是根本并且首要的步调。”

2003年5月，淘宝创建10周年，每一个部分都对营业做了大梳理。历经两三个月，商品开辟团队拿出了可行的总体项目方案。他们决议先从手机、3C产物、数码配件、酒类、保健品5个类目起头，“相对于其他要迁徙的69类商品来讲，这些类目商品数据相对于尺度和规范。”

但意义如斯重大，项目展开时候却迟迟不决。在阿里内部，价值观和企业文化影响每一个员工，“让全国没有难做的买卖”是同一标语，可是每一个营业线都有本身的事迹使命，短时间内其实不必定合拍。从一起头，DNA项目被各个部分接管的水平也纷歧样。

时任天猫总裁的张勇看完方案提了两点定见：天猫将支撑项目标希望，但此项目不克不及展开于2013年11月11日以前。后一条意图很较着，双11是天猫最首要的消费节点，这一天的买卖额代表着阿里买卖营业乃至中国电商市场的繁华水平。万一DNA项目呈现任何过失，城市让这一天的阿里颜面扫地。

时任淘宝卖力人张宇也亮相支撑项目展开，她认为此事对付淘宝系的买卖平台相当首要，但有冲突的是，她但愿连结淘宝的强势，好比可以或许收拾清楚的类目必定要做到规范尺度，但对付临时理不清的类目，她但愿从淘宝剥离出去的天猫可以或许遵守淘宝的法则。

阿里的搜刮、告白、聚划算等营业部分的定见也各自分歧。出格是告白部分，年末冲要事迹，死力但愿大搬场推延。终极，王曦若和赵营苗的团队用了两三个月时候，说服团体高层拍板决议2014年头启动DNA项目。

朱春勇率领的运营团队是2013年5月参加DNA项目组的。彼时挪动互联网船票战役夺已火热，腾讯的微信如日中天。淘宝系的后台系统因此PC端为根本构建的，总体布局谨严平安，但在以轻和快为尺度节拍的挪动互联期间，它显得繁琐和繁重。朱春勇说，“咱们但愿将来淘宝的商品信息架构是简便和机动的。如今人人均可所以电商卖家，好比我家院子有棵石榴树，可能就是一刹时的设法，我用手机拍下来，发到淘宝上去卖。”

DNA项目团队有30多人，分为两批：一批是对商品或卖家比力认识的人，实时和卖家沟通，把商品相干行业的@近%h4妹妹5%况@和趋向摸透，为技能后台重构数据库做筹备;另外一批是对淘宝系产物比力认识的人，他们有杰出的技能布景，做过产物司理，能从产物和用户体验方面临新的商品数据库供给定见。

淘宝的类目数据梳理也交给了朱春勇的团队。在看似完整的类目系统上，他们发明了诸多噜苏问题，好比材质为牛皮的商品，有女装，有男装，有包，有鞋等，这些类目之下的牛皮属性值都纷歧样，商品数据就是以多出几串不需要的数字，把全部商品数据库撑得巨大冗余。“把这些紊乱的数据收拾出来，在技能层面是很难实现的。咱们城市人工去做，人肉输入和收拾。仅仅这项事情，就耗费了全部团队半年多的时候。”

接下来，他们跟行业专家交换，还跟牌号网、国度物品编码中间等专业机构交换，要把淘宝系商品信息做得既稀有据化属性，又合适国度和行业规范。卖家的定见也很是首要。每类的商品信息数据化以前，运营团队城市接洽这种商品卖家集中的区域，做一两次集中访谈。

2013年12月25日，圣诞节，阿里西溪园区充满圣诞树和彩灯，不少员工放假回家过节，但阿里DNA团队却没有这项“福利”，DNA项目最后也是最首要的环节——改换技能后台将于2014年1月13日晚正式启动，他们必需加班加点。

阿里的野心

孔柏汉的神经一向处于严重状况。从2013年12月25日起头，他地点的小组起头卖力淘宝商品数据勘误，也就是把全部类目标商品属性值举行从新更改和修订。在操作时代，卖家不克不及在后台公布或更改商品信息，但买家可以正常买卖。但是一旦勘误失误，全部类目体系城市瘫痪。

全部淘宝系共有20亿商品，每一个商品都有本身的自力代码，一旦呈现两种商品代码一致，可能全部类目城市冻结瘫痪。赵营苗说，若是产生这类环境，就会影响到前端用户的买卖，这会是很紧张的变乱，必需做好各类预案，没人敢掉以轻心。这不但仅与阿里全部平台有关，更瓜葛到数百万的淘宝系卖家、跨越5亿的注册用户，必定不克不及出问题，“必定要把这个飞机引擎换好。”

1月13日以前，齐国梁地点的5人小组卖力技能底层危害点的梳理。阿里团体触及买卖的20多个营业部分梳理出来300多个危害点，齐国梁小组的使命就是拿出规避这些危害的预案。“到了1月13日，咱们的危害点梳理事情完成，又当即投入数据迁徙。”

幸亏这场鲜为人知的硬战顺遂完成。1月13日到1月30日，历经每晚从7点到第二天清晨7点的奋战，手机、3C等5大类目标数据迁徙全数完成，并且没有一次影响平台前真个购物买卖。阿里的生命之树换上了部门新的血液。

2月12日下战书，杭州下了2014年的第二场雪，阿里商品开辟技能平台团队地点的5号楼“九天阁”集会室，王曦若拍着赵营苗的肩膀说：“哥们，今晚起头又是一场硬战，让兄弟们加油啊!”

12个日以继夜的严重事后，商品开辟技能平台团队终究松了口吻。赵营苗站在DNA项目集会室，对满脸倦容的20多个员工说：“兄弟们，回家睡觉吧，咱们竣工啦!”

至此，淘宝20亿商品的信息数据迁徙全数完成。“从用户的角度来讲，这个项目还临时感觉不到变革。咱们第三个阶段就是修订子类目，项目完成后，用户在利用搜刮和类目时就会有新体验，到时辰淘宝商品将一改复杂紊乱的状况，以一种相对于整洁、规范、清爽的姿态呈现在用户眼前。”赵营苗说。

阿里其实不止于做达尔文规划和DNA项目，更有野心打造整其中国电商行业的尺度商品系统，乃至有一天淘宝天猫的商品信息库不但办事于本身，也能够办事到站外，办事到愿意拥抱互联网的传统企业。朱春勇说，“好比有一个卖家，他在线下有本身的品牌、专卖店、工场，同时他也代办署理此外品牌，他可以做淘宝集市C2C，他也能够给天猫供货，他可能还走京东、铛铛的渠道……实在全部互联网今朝没有一个同一的商品尺度。咱们做DNA的愿景，就是创建一个全网乃至线下都能用的同一的商品信息系统。”

达尔文在其进化论的代表作《物种发源》里写道：“芽因为发展而生出新芽，这些新芽若是硬朗，就会分出枝条粉饰附近很多较弱枝条，以是我信赖，瘾欢这庞大的‘生命之树’在其传代中也是如许，这株大树用它的枯落的枝条填充了地壳，并用它的生生不息的标致的枝条粉饰了地面。”

　　本文作者雪姬