幸福快乐半导体电子设备数据挖掘在电子商务中的应用依依不舍

半导体、电子设备：数据挖掘在电子商务中的应用 201 - 类别： 机构： 研究员：

[摘要]

主题：数据挖掘在电子商务中的应用--大数据时代的思考(201 年6月，上海)专家简介：教授，博士生导师，是多媒体数据挖掘和关联数据挖掘两大领域的著名学者。曾在美国国家科学院、空军研究实验室、微软研究院等机构从事访问研究，拥有多项专利，目前是著名国际刊物的编委、多次担任国际会议程序委员，并担任美国政府和私人一些科研基金会的评审专家组成员。亦是阿里金融大数据实验室的牵头人。

核心观点摘要什么是数据？数据是资源，是科学研究的第四大支柱，是电子商务赖以生存的基石和命脉。

数据挖掘是从大量（现在一般都是海量）数据中自动发现有用的知识。

大数据时代已经到来：淘宝上商店2009年每天产生的新数据>6T；截至到2010年，SloanDigitalSkySurveyRelease8包括了大约500T；截至到2012年7月2号，WWW可检索到的页数〉8 .5亿；截至到2011年8月，Flickr上的图像数〉60亿；截至到97年2月，WalMart每星期处理的数据〉24T美国总统信息技术咨询委员会在2010年所发布的《计算科学确保美国竞争力》以及美国国家科学基金会于2012年5月发布的《大数据科学与工程结果都是一样的！核心技术（BIGDATA）》指出：大数据研究的本质是让人类塑造一种能力，去获取可供行动的信息（actionableinformation）而采取及时、有价值的决目标2018年首座新核能发电厂实现商业运营。策。数据处理的流水线应该是从数据，到知识，再到行动（thepipelineofdatatoknowledgetoaction）大数据的知识发现案例：谷歌流感趋势，通过关键词分析预测流感区域，精度在97%-98%；可能会出现第三方的数据处理公司，但难度比较大。最主要的问题是用户的隐私无法保障，成本也比较高。从法律的层面不能直接提供原始数据，必须做匿名化处理，overhead成本会比较高。

即使如此也不能完全保证用户的隐私，这个问题在国外比国内更敏感。可能出现第三方可以提供平台式的服务给有数据的公司做挖掘，难点在于每个数据公司关注的问题不一样，而这需要定制化的算法和技术。通用化的平台只能提供比较少的解决方案。