金融业大数据技术的应用前景是什么?
如果你想谈论这个话题,我个人认为应用前景不是想出来的,应该从实际生产系统的痛点开始,不是大数据,而是考虑一些问题,可以使用大数据找到合理的解决方案和相应的技术来解决实际问题!
金融业,一般,数据量大
银行首当其冲,一般银行都有100-200一个系统,最重要的,也是数据量最大的,应该是银行的发卡系统。其次,信用调查数据现在变得越来越重要。企业信用调查基本上不需要任何资格,但对于个人信用调查,需要国家有关部门发送照片,不想做。
二是证券基金行业数据量大,现阶段证券行业一般数据应该能够实现20TB-30TB这个量级
金融业体系现状:
随着业务的发展和规模的扩大,数据呈指数级增长IT该系统的数据量已经非常大,每天都有大量的增量数据,包括日志数据、交易数据需要存储和处理。
首先,数据量巨大。目前,存储设备无法支持如此大水平的数据量,存储资源短缺,存储扩展成本非常高。
其次是现有的系统计算负载搞、延迟长、现有的系统在运行中跨历史的范围查询延迟长,一次计算的数据量大,计算和存储资源都存在瓶颈;大范围查询时,对生产业务影响较大,例如:银行的交易流水查询,个人明细下钻等,证券的持仓分析、对账流水情况、区间查询等应用,严重影响日常业务的正常运行。
同时,历史数据服务请求带来的额外工作负载。历史数据查询时需要的额外将离线的历史数据导入,再等到系统资源贡献时进行查询,不仅效率低,而且工作负担繁重,也极易出错。
最后,现有系统资源严重短缺,CPU负载和存储空间不足影响了业务的正常发展。
在此背景下,本着不断发展和进步的原则。IT该系统希望建立一个具有高效数据处理能力和性价比的新平台。
调查结果显示, hadoop近年来,技术得到了广泛的应用。Hadoop是一个由Apache基金会开发的分布式系统基础设施。它是为大规模分布式数据开发的软件框架。目前,它已成为企业管理大数据的基本支持技术。它是解决企业数据中心大数据存储、大数据计算和快速数据分析的优秀基础数据平台。
hadoop最适合解决传统架构下数据爆炸式增长带来的存储和计算瓶颈问题。
Hadoo随着技术的快速发展,国内外厂商为企业客户提供了成熟的一站式大数据平台产品,一些技术领先的厂商也将hadoop该平台用于金融客户的数据仓库系统。经调查,恒丰银行、民生银行、平安银行等金融机构已在hadoop现有技术解决方案DW存储、计算、分析等问题。
首先支持数据类型,Hadoop该平台扩展了企业数据平台对数据处理类型的支持。传统的数据仓库只能处理结构化数据,而半结构化和非结构化数据只能依靠Hadoop平台,如个股/主题新闻聚合、智能研究报告、情感指数、热统计、事件研究、主题跟踪发现等。
Hadoop该平台使企业数据处理平台的处理能力更强,可以处理从中小数据量到大数据量的数据。它可以作为传统数据仓库之前的统一数据存储和计算平台,首先清理、计算、建模、汇总大规模数据,并将最终的精细数据传输到数据仓库。例如,恒丰银行已经将数据仓库中复杂、高负荷的拉链表程序转移到了Hadoop平台。
同时,在业务应用支持方面,与传统数据仓库平台相比,大数据平台可以完成更有价值的应用,如:通过数据挖掘、机器学习算法和模型,结合相关数据,完成金融新闻搜索、新闻类型分析、新闻聚类、情感分析、知识地图等。
x86服务器集群Hadoop平台,通过横向扩展,线性扩展存储和计算资源,避免基于传统IOE基于硬件资源的纵向扩展只能在架构下进行。避免计算资源的瓶颈和IO资源瓶颈。
最后,只要花40%左右的价格,就能达到甚至超越传统IOE结构性能。性价比也很可行。
Ps:市面上的hadoop有很多产品。既然你花钱买了,你就得买最好的。回去仔细考虑筛选。
大拇指都懂大数据,O(∩_∩)O哈哈~
扫码咨询与免费使用
申请免费使用