远光软件精研Hadoop 提升电力财务大数据处理能力

电力18讯：    日前，2013年全国博士后学术论坛“电子科学技术与信息产业发展”在电子科技大学举行。来自全国50余家高校、企业共200余名专家学者、博士后代表参加了论坛。远光软件博士后科研工作站谌章义博士在会上就研究课题《基于Hadoop的海量电费数据处理模型设计与实现》发表了主题演讲，该研究成果被《电子科学技术与信息产业发展论文集》收录。

　　《基于Hadoop的海量电费数据处理模型设计与实现》一文以国内某特大型电力集团为例，提出了电费数据新的处理模型，建立了基于Hadoop和Hive的电费明细处理平台。实验证明该模型能有效解决海量电费数据处理性能瓶颈，提高电费数据处理速度和效率，并可提供高性能的明细数据查询功能。 　　　　　　
　　　　　　　　　　　　　　　　　
　　据悉，随着电费数据量快速增长，某特大型集团公司财务管理信息系统面临海量数据难题，其中电费业务是最突出的问题之一。集团超过30个子公司，平均每个子公司用电客户规模在500万至800万，每个月用电明细数据近亿条。财务管理信息系统原电费数据处理模型是从电力营销系统采集用电客户信息表、应收电费明细表等文本，上传至中间数据库，财务管理信息系统从中间数据库采集相关数据，同时对数据进行合并、转换处理。由于电费明细数据量过于庞大，处理过程严重消耗数据库服务器资源，进而影响整个财务管理信息系统的性能。也因此，通常只能选择夜间运行该业务，导致暂时无法提供电费明细数据查询业务。

　　基于拆分、融合、重构的设计思路，远光软件针对此瓶颈提出了解决方案：引入Hadoop分布式计算平台来进行电费明细数据的处理，处理后的结果数据再存入财务管理信息系统数据库。为了易于实现，选用分布式数据仓库Hive来存储和处理电费明细数据。通过实验测试，在硬件不占优势的情况下，Hive执行性能有20%--200%的提升；利用Hive的分区功能，大表处理数据显著提升。同时在Hive表上建立分区，还可以提供高性能的历史数据查询，这是原模型难以实现的功能。

　　远光软件的成功实践效果证明：Hadoop不仅能提升财务管理信息系统可用性，使得帮助系统更高效地解决更复杂的问题，而且节省时间和成本，创造更大的价值。谌章义博士表示：“该技术应用范围并非局限于电费明细数据的合并与查询，还可以应用于电价分析、电价预测模型等深入分析业务。”

　　大型集团企业的管理软件集中部署已成为潮流趋势，管理软件的开发也从单个业务领域开发专项“统一”集成平台的开发，必然面临海量业务数据分析处理问题。因此，本系统的应用前景广阔。

（2013年全国博士后学术论坛现场）