时间: 2023-10-13 15:33:47 | 作者: 新闻中心
在上一篇中，笔者介绍了大数据产生采集后的变现模式，及对于数据隐私的安全问题。从价值链来看，在数据从“原材料”到“粗加工”后，会促进“精加工”，而达到应用于某个场景以满足需求。在生活中，数据加工后而形成的各式形态以满足需求的情况非常多，比如常见的天气预报，即通过气温、风向等数据的综合分析处理，形成了辅助决策的有效信息。此篇中，笔者将阐述数据分析技术历史，此环节中数据产品形态，以及有关价值判断的思考。
数据的“精加工”，即数据的分析处理环节。随着大数据的发展，尤其是一批拥有海量数据的网络公司（如Google、Facebook等）的推动，新的需求不断涌现，也促进了有关技术的蓬勃发展。自2010 年大数据概念被提出之后，在最初的 3 年中，数据的分析挖掘仍以结构化数据为主，从 2013 年开始，有些公司尝试处理非结构化数据，数据的处理范围大大扩展，使得大数据分析实现了名副其实的“大”。除了数据处理范围的扩大外，伴随着开源运动的迅速发展，新的解决数据需求的方案也被应用到更广泛的领域，如决策树、以及目前最主流的神经网络等方式，其他如回归、关联规则、聚类、贝叶斯分类方法、支持向量机等方式也常用于数据分析。
同时，数据可视化技术的提高，也使数据分析处理后的产出更切合末端展示的需求。数据分析和分析结果的展示，其提取的信息密度也与数据可视化的程度有关。可以说，大数据的可视化技术简化了数据分析结果，能够使更多人享受大数据带来的价值。
最近一两年，大数据发展的新趋势是和AI的结合，这也使得大数据在传统的数据分析技术上有了新的想象空间。其实人工智能的历史已久，最近新的人工智能浪潮与大数据的发展紧密关联。通过不同形式的人工智能分析大数据，，从而获得了一些新的预测性的洞察，进一步释放了人工智能的潜力。
产品形态来说，在这一环节，数据分析处理后所形成的数据产品形态非常多，根据《数据产品的前世今生》作者的分类，数据产品从最初的报表型（如静态报表、DashBoard、即席查询），到多维分析型（OLAP等工具型数据产品），到定制服务型数据产品，再到智能型数据产品、使能型数据产品。
他认为，目前报表型和多维分析型数据产品的使用局限性慢慢的变大，未来的趋势可能是定制服务型和智能型，对于定制服务型，这样的产品形态更像是服务提供商，而不是一个通用的工具。智能型的产品形态则更具有大数据的特点，并与决策逻辑结合起来，发挥作用。比如，多维分析型数据产品是一套传统的会员营销系统，按自己的规则筛选目标用户；智能型数据产品则是输入营销目标及参数，比如要开展双十一母婴市场的促销活动，系统能基于以往海量数据计算出应选择什么品类的商品，在什么用户群中，以什么形式开展活动效果会更佳。
使能型的数据产品对于不仅仅可以帮助现有决策，还能为未来决策提供引导和预测。现有的大多数数据只是说明现在或未来的情况是怎样的，问题痛点出现在哪里，但却不能给出更完善的建议，甚至支持一个建议的执行。使能型数据产品要做的就是这样的工作，它不但可以告诉你，哪些用户流失的倾向性大，还可以直接引导用户展开后续补救的执行流程，哪些细分群体需要通过促销活动刺激，哪些需要出示专享的VIP业务，哪些需要更好的互动等等。
可以看出，与上一环节，即数据的采集形成的数据产品形态-API或数据文件相比，这一环节的数据产品形态更加多样化，也更成熟，最重要的是，这一环节的数据产品形态能够直接和充分的展示数据所代表的信息，传递更大的价值。
讨论在数据分析处理这一环节的数据价值时，首先可以明显发现的趋势是，这一环节的参与方慢慢的变多，创投圈非常活跃，这可以说明数据分析后所带来的价值慢慢的受到重视。在美国，如上文所说，大数据的早期发展主要是受到几大互联网巨头的推动，而后，一些互联网大公司的数据工程师离职去创办自己的大数据初创企业，从而也诞生了一批崭露头角的独角兽公司。据资料显示，在2009年到2013年的大数据初创企业现在已经融了数轮的资金，且有部分已经上市(包括 2015年 上市的 HortonWorks 和 New Relic)。 2015年的数据来说，大数据初创企业拿到的融资额达到了 66.4 亿美元，占整个技术 VC 总融资额的11%。
中国数据行业的发展也有着类似的过程，传统媒体的电子化（新浪、搜狐、雅虎等门户网站）形成了第一批互联网的基本形态，而后新的互联网形态更加多元化，目前，主流的公司包括了我们熟知的腾讯、阿里巴巴、百度等，有不一样的商业模式，这些巨头们都拥有着海量数据，并随着商业模式的拓展也产生了不同的数据产品，必须得说，在这样的一个过程中，新需求和新的数据解决方案源源不断，在生活的方方面面，我们都能深刻地感受到数据的驱动带来的巨大价值。
在总趋势来看，大数据行业的重心也有着从基础设施建设到数据分析环节的一个转移，这一方面说明了大数据的基础设施已经较为成熟，另一方面，也体现了在处理分析后的数据产品所形成的价值慢慢的受到认可。
具体到数据分析后的产品能提供的价值究竟多少，这样的一个问题难以有统一的定论。下面，笔者用三个大数据案例简单展示一下大数据产品发挥的价值。
啤酒与尿布的故事慢慢的变成了了数据分析的经典案例。一种比较普遍的说法是，沃尔玛在分析消费者购物行为时发现，在周五下午，购买尿布的年轻美国男性也有购买啤酒的倾向，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅度的增加了。这一个故事版本广为人知，然而可能并不是事实。在后来的回溯中，这一个故事是起源是1992年6月的一项研究。当时的NCR产业咨询公司的副总裁Thomas Blischok（现于TeraData工作）为Osco Drug做了分析。他们检查了25家店铺中的120万个市场篮子，确定了20多种不同的产品相关关系，包括啤酒和尿布，果汁和止咳糖浆。通过移动商品为止，以及库存的分析结果的利用，消费者的购买体验有了显著的提高。有了这个结果后，Osco以及基本上整个零售行业都开始明白，通过数据分析，正确的商品数量可以再一次进行选择在合适的时间上架，零售企业能基于需求更有效的布局商店。
在二十多年后的现在看来，当时的数据分析显然还在初级阶段。当时“最先进的数据查询工具”显示在下午5点到7点之间，顾客倾向于共同购买啤酒和尿布。这个结果为了啤酒，尿布和时间之间的相关性，并通过移动商品，提高了销量。Osco和NCR研究所创建一个基本的理解，即购买习惯可拿来增强整个购买体验。但在今天看来，这个信息密度仍然较低现在，我们已有了更成熟的商业智能和预测分析的工具，能够在零售业中发现相关关系，甚至能够揭示相关关系背后的原因及预测未来销量等，但这一个故事作为数据挖掘的雏形，仍有着开创性的意义。
美国肯塔基州路易斯维尔利用大数据技术在智慧医疗建设中的探索非常有借鉴意义。路易斯维尔市曾名列微尘污染最严重城市，大约有10万人饱受哮喘困扰。为此，路易斯维尔管理者推出了“路易斯维尔哮喘数据创新计划”，“路易斯维尔哮喘数据创新计划”选取了500名哮喘病患者，让他们使用传感器，即时记录患者情况，并将信息归档，以此分析哮喘在一年时间内会对人口有何影响，并确认该市空气质量会不会导致哮喘恶化。
通过移动电子设备和医疗数据的结合，给了未来医疗诊断和治疗模式新的想象空间，同时，通过研究医疗数据与空气质量，交通状况，污染情况等数据的相关性，也能够为医疗方及城市管理者提供更好的公共健康解决方案。
冰鉴科技成立于2015年，是一家基于机器学习和人工智能的第三方独立征信平台。主体业务是通过风险模型识别欺诈风险和信用风险，为包括银行、P2P 、消费金融及小贷企业来提供个人和小微企业信用评估解决方案，推出了个人征信画像报告、企业一级二级三级风控报告和海抓数据等反欺诈和风控产品。
小微企业面临着融资难，贷款批准率低的情况，而传统的信贷评估时间长、风险高、成本贵、难度大，已经没办法满足日益增长的信贷需求。冰鉴科技将企业主提供的个人数据，网络舆论情况数据和第三方数据相结合，通过自身算法的分析处理，打造了10款金融理财产品，根据公司用户的不一样的需求，为他们打上标签，一方面帮助金融机构提高效率，也更好地解决了小微企业和个人贷款难的问题。
从以上案例能够准确的看出，大数据的数据产品应用场景十分普遍，在金融、医疗、交通、零售等等行业中都发挥了巨大作用，但因行业跨度非常大，难以用统一的标杆衡量。在某些领域，比如PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。这样的数据产品在社会中发挥的作用，更加难以用简单的经济学意义上的价值来衡量。
总的来说，这一环节的数据价值差异非常大，核心的价值主张是数据挖掘思维的创新性，比如上文所说的降低犯罪率等的创新应用，带来了意想不到的价值。同时，数据分析产品的价值也与数据本身的类型，数据周期，数据粒度都有关系，最终呈现的产品形态的可视化程度也会影响着数据价值。从数据产品形态来说，显而易见，产品的智能化程度越高，展现信息的浓度就越高，对决策的参考价值就越大。在下一篇中，笔者会促进探讨和比较不同模式下的数据价值，以及关于数据安全的一些新思考。
上一篇:302 Found
 |
