Splunk 大数据的商业应用

idata

　  大数据(Big data)的浪潮正在席卷神州大地，但企业对如何落地仍然狐疑。2013年8月6日，Splunk公司在北京举办了一场“大数据如何落地研讨会”，为大数据技术在中国企业的落地带来了诸多的前沿观点、可以参考的实施路径以及丰富的案例。

　　大数据需求强劲

　　在当前全球经济形势下行的背景下，中国的经济形势也不甚乐观，但正因为如此，中国企业对挖掘大数据价值的渴求尤为强烈，希望以此提高客户体验，促进业务的增长。根据国内市场研究机构计世资讯的研究，2012年中国大数据市场增长率为52.4%，市场规模达到3.2亿元。55%的受访企业表示，计划在未来一年内部署大数据应用。

　　随着大数据的发展，其应用场景也越来越多，涵盖从用户行为分析到安全监控、舆情监测等等各方面，计世资讯计算机系统研究部总监丁震表示，用户不仅利用大数据获取更大的数据价值，还利用它整合内部的工作流程，提高效率和可控性。

　　计世资讯计算机系统研究部总监丁震

　　在发展的过程中，大数据的需求已经从早期的互联网、电商领域转向金融、电信、政府、能源等诸多传统的行业。尽管用户认为大数据能够提高决策和数据分析的及时性，但丁震指出，用户实际应用仍十分谨慎，这其中有用户认识、案例缺乏、引入新技术的风险和经济环境等原因。

　　大数据价值：从机器数据开始

　　针对中国用户的上述困扰，Splunk带来了一个完整的解决方案。与一些BI(商业智能)、数据仓库和数据挖掘厂商的新解决方案着眼点不一样，Splunk产品营销副总裁Sanjay Mehta认为，大数据的落地，可以从机器数据着手，通过Splunk实时的“引擎”，将已有的数据组织起来，帮助企业提高效率，降低成本。

　　Sanjay Mehta负责开发与规划Splunk以重点市场为目标的核心产品策略，并将该公司的业务重心引导到了面向大数据。当前不断扩展的数据源主要包括商业应用程序的数据、机器生成的数据和人为生成的数据，大多数从BI、数据挖掘升级的大数据产品，更多的是关注商业应用程序的数据和认为生成的数据，机器数据则往往被忽略，但Splunk注意到了这个层面。

　　Splunk产品营销副总裁Sanjay Mehta

　　Splunk定义的机器数据，包括了文件或者文件目录、syslog、Windows事件日志、Windows注册表、Windows性能指标、Unix/Linux日志和指标、文件完整性监视、配置文件、OPSEC LEA、Cisco设备日志、IIS日志、Apache日志、WebSphere日志/指标和其他数据、以及任何其他数据。

　　可以说，本来就存在的机器数据是一团乱糟糟，且不同种类的机器数据相互不能通气，发挥的作用非常有限，但通过整合的大数据技术，对机器数据的收集、存储、分析和展现，其结果在应用程序管理、IT运维管理、安全及合规、web情报、业务分析和行业数据等多个方面，都有广泛的应用价值。

　　Sanjay Mehta介绍了Splunk的一系列的案例，例如，帮助百事公司实现了实时运营可视化，百事公司销售人员使用Splunk手持终端了解销售状况，可以看到销售实时数据，以确保其销售工作的效果和效率，所有的数据来源都是通过基础架构而来，而非关系型数据库;帮助salesforce.com实现全商务领域运营情报，将问题解决率提高96%，为其10多万家客户提供更好的体验…

　　此外，Sanjay Mehta还分享了Splunk产品用于从电梯运行数据监控中获得预测信息、通过医疗设备更好地了解患者状况以及分析建筑物感应器，以降低能源成本等应用场景。

　　国内的上海天旦网络(Netis)和北京华夏威科软件技术有限公司的代表分别在现场介绍了Splunk大数据技术在不同行业的应用。

　　上海天旦介绍了Splunk在一个网上支付平台的运维管理工作的支持。华夏威科Splunk产品经理王文雅表示，在国内某大型银行，通过单一的Splunk平台，跨平台收集不同格式的日志，对每天20G的数据进行收集、管理、实时展示分析，以及建立关联、历史数据比对等等，大大提高了IT人员对企业环境的可见性。而这一切的工作，Splunk Index Server仅仅需要使用2台4个CPU、4G内存的虚拟机(VM)来支持。

　　当然，Splunk的案例还有很多。截至目前，Splunk的客户数量超过了5600家，分布在全球90多个国家。

　　其中，中移动、中电信、招行、交行、广发、联想、东航、支付宝和国美在线等是Splunk在中国地区的主要客户——同样覆盖了电信、金融、能源、互联网等多个行业。

　　凭借技术积累和服务经验，Splunk在大数据的浪潮到来之际，于2012年4月19日在纳斯达克成功上市，2013财年收益达到1989亿美元，年复合增长率为91%。此前，还曾传出IBM欲收购Splunk的传闻。

　　Splunk：技术保证效果

　　Splunk为何能够适用于如此广泛的应用场景？Splunk高级销售工程师崔玥为我们揭秘了Splunk产品背后的技术特色。

　　Splunk高级销售工程师崔玥

　　崔玥表示，Splunk的本质是一个针对机器数据的搜索引擎，针对所有IT系统和基础设施数据，提供数据搜索、数据报表和可视化的展现。当然，作为一款软件，它几分钟就可以完成下载和安装，支持各种主流的操作系统平台。

　　作为一个完全整合的大数据解决方案，Splunk通用的引擎能够将任何的机器数据广泛地索引，并支持任何格式的数据，而无需进行格式转换;实时的搜索引擎，带来了类似于Google的快速搜索结果;而其自主开发的类似于MapReduce的分布式架构，为系统的可扩展性提供了保证，能够轻松扩展到支持每天新增上百TB的数据，配合基于角色的数据访问控制，还能够跨多个数据中心运行。

　　由于架构设计的优势，Splunk在提供高可扩展性、易用性和广泛适用性的同时，对硬件的需求却几乎没有门槛，前述的银行案例可以证明。

　　值得一提的是，通过Splunk今年6月份发布的Hunk产品，组织机构还能够更快速、更简单地探索、分析、可视化和分享存储在Hadoop中的数据。