原始大数据――日志数据

电力18讯：    
　　应用程序，网络，服务器，移动设备以及IT基础设施中的其它各类计算机生成了大量的数据或者“事件”，这些信息可以被自动记录到日志文件以供将来参考使用。

　　许多组织把日志数据文件看作是无用的东西，一般都是直接就删除掉了，或者让它们随意留存在服务器上的某个位置。但是，前Splunk公司高管和联合创始人及旧金山Loggly公司CEO Kord Campbell认为，这种状况一定要改变。

　　Campbell说，更多的公司(尤其是基于云的软件供应商)越来越对日志数据管理和分析感兴趣，它可以成为改善应用性能和发现有价值业务理解的一种手段。

　　TechTarget近期电话采访了Campbell，了解了更多关于日志文件管理的内容。他把他新的SaaS公司称作是处理机器生成数据的搜索引擎。Campbell谈到了日志文件的历史和起源，并解释了为什么他认为它们是“原始的大数据”。下面是谈话内容的一些节选：

“日志文件”这个词从哪里来的呢?

　　Kord Campbell：回想过去葡萄牙人曾以探险而著称，大部分探险都是为了寻找新航线，进而能更快速地获得香料，因为香料就是那个时代的“大数据”(如果你愿意这么比方的话)，它是每个人都想获取到手的有价物品。但是，不管他们什么时候出去环游航线，都会有这样一个问题：他们真的不知道自己到了什么鬼地方。在你想找某种东西的时候，搞清楚你在哪里这个问题是非常重要的。

　　确实如此。但是，这与日志文件有什么关系呢?

　　Campbell：有一件事情是探险家们经常会讨论的问题，把树上的圆木砍下一段，放到船甲板上。然后，他们砍下圆木的一部分碎片把它扔到水里，然后跟踪看木屑多长时间可以漂浮通过船的长度。这样做可以帮助他们判断他们速度有多快，知道你的速度有多快对于知道你处在世界上的哪个位置非常有价值。他们开始做记录，这就变成了日志薄。后来，到了计算机时代，有人想捕获某台计算机上一段时间发生的事情，就有人建议说“我们可以称它为日志文件”。

　　现在比较典型的日志数据文件看起来会是什么样子?

　　Campbell：日志数据文件名副其实是文件中的一堆行信息。它是可以阅读的文本文件。通常前面会加上日期戳，然后后面是你希望输入到日志行中的任意文本。有时候我们也把它成为临时数据，但是现实中许多时间日志文件是非常结构化的。它们有非常特殊的结构，因为是软件产生的日志文件本身。日志文件有非常广泛的用途，不同的计算机有许多种不同类型的日志。

　　我们认为许多公司今天并没有做太多日志数据管理和分析方面的工作,您同意这种说法吗?

　　Campbell：确实是这样。许多公司实际上都没有日志，但是他们即将开始记录日志，因为他们将需要为改善他们业务的健康状况而作。当然也有很多公司一直在做日志记录，尤其是SaaS，PaaS和IaaS类的公司以及那些服务的用户。

　　为什么您把事件日志文件称为是原始大数据呢?

　　Campbell：日志文件数据量是巨大的，通常是非常惊人的数量。你知道黑莓制造商RIM一天就产生大约38TB的日志文件数据吗?而在线游戏公司Zynga一天产生大约10TB的数据。这些公司在接下来几年里可能会发展到一天大约100TB的数据量，因为他们将宣布向公众提供产品，希望理解人们如何能更好地使用他们的产品。他们需要做好日志记录的准备。现在，他们使用时间大数据(全是事件序列数据)，为了应用程序运营管理和决策的正常运行。他们还使用警告提醒和监控，以便在出现某些问题的时候他们可以提醒某人。

　　您可以给我再讲一个日志数据管理的案例吗?

　　Campbell：我总是会问人们他们用日志做什么，因为有数以百计甚至可能数以百万计的日志文件案例。曾经与某个人交流发现他实际上是想对散布在多个地区的所有风力发电机组记录日志，记录设备运转多快，以及指向了哪个方向。所有从这些计算机中产生的临时的，非结构化的数据，有时候也有结构化数据都要放到一个位置去。那就是我们要解决的一种问题。我们把所有信息集中放到一个地方，并使得它易于搜索，这样你就不必去无数个不同的服务器查看想想要查看的信息了。