一次搞懂大数据

前言：当大数据充斥各种场合，从马云到释昭慧都侃侃而谈，你还能不懂什么是大数据吗？你也许已经听过无数的大数据神话，但对于大数据仍停留在一知半解阶段，《数位时代》专访各大大数据专家，整理出你最应该知道的大数据十问。

Q：大数据是什么？

A：大数据（Big Data）又被称为巨量资料，其概念其实就是过去10年广泛用于企业内部的资料分析、商业智慧（Business Intelligence）和统计应用之大成。但大数据现在不只是资料处理工具，更是一种企业思维和商业模式，因为资料量急速成长、储存设备成本下降、软体技术进化和云端环境成熟等种种客观条件就位，方才让资料分析从过去的洞悉历史进化到预测未来，甚至是破旧立新，开创从所未见的商业模式。

一般而言，大数据的定义是Volume（容量）、Velocity（速度）和Variety（多样性），但也有人另外加上Veracity（真实性）和Value（价值）两个V。但其实不论是几V，大数据的资料特质和传统资料最大的不同是，资料来源多元、种类繁多，大多是非结构化资料，而且更新速度非常快，导致资料量大增。而要用大数据创造价值，不得不注意数据的真实性。

Q：为什么需要大数据？

A：因为当从人到机器都已经被数据解构，数据不仅仅是欧巴马口中的石油或是黄金，它更是血液，贯穿每个人一生中每个生命阶段。这并非危言耸听，更不是科幻电影，而是正在逐步成真的现实。

例如有一款叫做Ovia Fertility的App，藉由分析30万名会员的数据，开发演算法，精准计算排卵期，提高怀孕的机率，这个App已帮助5万名会员成功怀孕。又比如Workday推出一套软体，预测员工的薪水涨幅和可能跳槽时间，帮助企业决定每名员工的加薪幅度、时间点和转职时机。理财也逃不过大数据的掌控，腾讯就于年初推出第一家用大数据决定借贷与否的银行，微众银行结合辨识人脸和公安部门资料，决定借贷者的信用等级。

从怀孕生子、工作到理财，大数据将全面影响每个人与每家企业。对企业而言，大数据可望提升服务品质、增加管理效率、帮助决策和创造商业模式；对一般民众而言，大数据是另一个自我，它可能比本人更了解本人，为你预先解决每个未知，当一切都开始数据化，你能够不需要数据吗？

Q：大数据一定要很大吗？

A：虽然大数据的狭义定义是，资料量要在100TB到PB之间，但其实绝大多数的企业，都不符合这个标准，大企业如eBay、亚马逊或AT&T或许符合大数据的标准。但其实资料量只是大数据的其中一个面向，大数据揭示的是一种「资料经济」的精神，而非只是「大」。

「大，是大数据中最无趣的部分。」天睿资讯（Teradata）首席技术长宝立明（Stephen Brobst）认为，企业真正要寻找的是非传统的、而且未曾被挖掘过的资料，并且从这些资料中去提炼出价值，这才是对大数据应有的正确认知，而非只是执着于资料大小，只要能从看似毫无意义的数据矿坑中挖掘出金矿，有谁会在意那座矿坑原本是大得像座山还是小得像狗屋呢？和沛科技创办人翟本乔就指出，大数据这个名字容易让人误导，因为真正重要的其实是大智慧。大数据不只是说资料量有多大，速度快和资料量大都可以用技术轻易解决，但种类（Variety）比较需要智慧。

Q：没有大数据就不能用大数据吗？

A：非也，建置大数据架构与环境的确所费不赀，一般中小企业通常无法轻易投入巨额成本，但大数据时代的精神在于如何妥善利用既有或非传统资料，从中挖掘出新商机，因此即使是中小企业甚或者是新创企业，都能在大数据时代用「大数据」。

就技术面来说，现在有许多业者开始提供建置成本较低的大数据处理工具和云端系统，有些甚至跟App一样，只要根据自身需求挑选需要购买的功能即可，例如科智提供的工业化数据管理工具即为一例。另一方面，很多时候中小企业其实不需要建设大数据系统。中研院资讯科学研究所研究员陈升玮即指出，在绝大多数情况下，大数据专案其实不需要建置Hadoop系统，特别是台湾的社群媒体没那么发达，而是直接采用国外的居多，资料都不在自己手上，与其盲目追求技术和工具，不如先用小量资料去验证一个概念，是否能将资料转换成商业机会，再来决定要不要建置大数据的作业环境。

大数据领域权威麦尔苟伯格（Viktor Mayer-Schönberger）在《大数据》一书中便提及，大公司有巨量资料的规模优势，但小公司有成本及创新上的优势，小公司因为速度够快、灵活度高，就算维持小规模，还是能够蓬勃发展。

Q：我要怎么开始进行大数据专案？

A：设置专门统筹大数据专案的部门和职衔是第一步，而且层级越高越好，企业领导人必须足够正视大数据的力量，才能带动整个组织重视数据的文化。Etu负责人蒋居裕便指出，大数据其实是管理问题，而非技术问题，缺少跨部门协作，大数据专案很难有个美好的开始。

第二步，切勿陷入大数据迷思，与其急着想用数据变现，不如先回头看看自己企业内部的问题为何，先定义问题，再试图用数据找解方。阿里巴巴集团副总裁车品觉建议，与其整天想着大数据，不如先整顿自己企业内部的数据，很多时候光是企业内部的数据就问题丛生，不同部门之间的数据无法相容，「整个数据在一个中小企业里面也是四分五裂，在这个地方没做好的情况下，居然说你想用大数据，其实是有点难以理解。」

大数据从哪来？

A：任何地方。随着物联网兴起，任何以前不可能产生资料的东西或地方都可能「资料化」。天睿资讯（Teradata）首席技术长宝立明认为大数据的发展可以分成三阶段，正说明了大数据的来源多样化：.com时期、社群网路时期和物联网时期。

早在2000年初网路热潮兴起，人们就已经开始研究log资料，搜集使用者的cookie和搜寻行为等。而社群网路如Facebook或Twitter将人们的互动关系数据化，这些社群数据创造了大量的商业价值。而第三阶段物联网时期，可能是最有趣的阶段，无论是机器还是人都开始被数据解构，数据可能来自手表、鞋垫甚至皮带，这些物联网数据将是接下来重要的数据分析对象。

Q：大数据有什么风险？

A：传统商业分析会有的风险，大数据也都会有，这并非大数据才有的问题，「个资安全问题」一直都存在，只是随着资料来源越来越多且资料量越来越大，资安问题更显迫切罢了。市场研究机构Gartner研究副总裁布莱恩（Brian Prentice）指出，大数据本身并没有资安问题，问题在企业应用资料的方式，Gartner预测2018年，企业违反商业伦理的案件中，有近50％都来自不当的大数据应用。

另一值得关切的是大数据可能带来的「资料独裁问题」，根据大数据领域权威麦尔苟伯格（Viktor Mayer-Schönberger）的说法，资料独裁指的是任由资料来管控我们，盲目受到分析结果的制约，导致滥用或误用资料。例如根据数据分析将人群分类，其实有可能会把个体给标签化，甚至污名化某些族群，想像未来若我们用数据预先打击犯罪，那会是什么情景？

Q：Big Data和Open Data有什么不一样？

A：开放资料（Open Data）是大数据的一种，但大数据不等同于开放资料。开放资料是指将原本受私人组织或公部门管理的原始资料无条件地开放出来，供任何人使用。近年来讨论度较高的是公部门的原始资料，许多民间团体主张公部门资料本为民众所有，除非涉及个人隐私，否则公部门应无条件开放资料，让民间可以介接资料，除了浏览，还可以加值应用。

对新创企业而言，开放资料是非常好的资源，当创新遇上开放资料，很可能激起无尽想像。例如李慕约有限公司创办人李慕约就利用政府开放的农产品即时价值资料，设计出果菜花终端机，用视觉化的图表呈现农粮署累积近20年的资料。

Q：什么产业特别需要大数据解决方案？

A：根据Gartner的报告，媒体传播业、银行业和服务业最早导入大数据，保险业、零售业和医疗照护业预计在两年内导入，但阿里巴巴副总裁车品觉指出，以后任何一种产品或服务都潜藏着巨大的「数据化」潜力，企业需要加强对数据的重视，更加注重数据的搜集和整理工作。

根据《大数据@工作力》一书作者汤玛斯．戴文波特（Thomas H. Davenport）的说法，他根据资料量、所有权和资料应用程度，将产业分成高成就者、资料劣势者和低成就者。高成就者是那些拥有大量数据，而且已经展现出优异的数据分析成果的企业，例如消费性商品、保险业者、互联网公司、旅游、运输和信用卡公司。

在所有互联网公司中，又以电子商务业者对数据的应用最直接和强烈。以全球最大的电商平台阿里巴巴为例，阿里巴巴假货问题向来猖獗，但透过分析商品文字、图片描述、权利人投诉，甚至是社交媒体等16种维度的数据，结合大数据打假货，现在阿里巴巴有90％以上的下架商品都是大数据系统主动出击发现的。

而低成就者是坐拥大量资料，但因法规限制或思维僵化等原因，还没利用数据变现的产业，如媒体、电信、银行和零售，但其中仍不乏已开始使用数据的例子。例如大型零售业者卡特琳娜行销集团（Catalina Marketing）就藉由分析超过1亿人的消费纪录，结合旗下5万5千家零售店铺的POS机资料，交叉比对顾客的消费纪录，针对顾客的消费喜好发送优惠券，提高行销效率。

资料劣势者则是手边资料不多，或是虽有足够资料，却缺乏完整结构的业者，也较缺乏资料分析能力，例如许多B2B公司没有办法接触到第一线的消费者，而是提供服务给下游厂商，致其先天上就没有第一手资料。值得注意的是，医药机构虽然被戴文波特列为资料劣势者，但这是因为美国的病历电子化程度低，不若台湾拥有全世界最完整的国民健保资料库，因此台湾的医疗机构应是低成就者，而非资料劣势者。

Q：大数据的商业模式是什么？

A：大数据的商业模式大概可分成几种：一、从既有数据变现；二、以数据提升企业竞争力；三、以数据做为服务的基础与核心，用数据颠覆传统行业。

模式一，数据本身即为产品或根据数据制定行销策略、改善产品。例如美国运通让持卡人与自己的Facebook帐号连结，持卡人成为美国运通粉丝团粉丝后，美国运通会依据会员在Facebook上的活动，提供相应的优惠措施，结合社交数据和会员资料，就是为了提升消费者办美国运通卡的诱因。

模式二是藉由数据提升竞争力，这类的大数据专案成效较无法直接反映在营收上，而是反映在提升内部工作效率或降低决策成本上。例如许多人都知道LinkedIn透过数据精准推荐职场人脉给用户，却不知道LinkedIn在公司内部推出数百款数据分析产品，帮助内部员工提升工作效率，其中Voices就是一款能将LinkedIn客服内容，在1分钟内快速生成分析报告的数据分析工具。

无论是模式一还是模式二，其实都有掌握过去、预测未来和防患于未然的共同点，只是一个应用层面是对外，一个对内，这两种模式常见于既有的企业。但模式三，也就是以数据做为业务核心的公司，这些公司生来就是要来颠覆传统行业，它们打从开业的第一天起就把数据当做业务核心，叫车App Uber和防诈骗电话App Whoscall是最好的例子。