什么是大数据(新手必看)
“靠今天这样的机制,我不相信还能够支撑 30 年以后中国所需要的金融体系。”这是马云在一次互联网金融大会上发表的又一预言。他直言银行没有发挥好手中的牌照作用,并表示希望利用互联网的大数据去改造银行业。
金融业是大数据的重要产生者,交易、报价、业绩报告、消费者研究报告、官方统计数据公报、调查、新闻报道无一不是数据来源。相对于传统金融,大数据金融使得抵押贷款模式逐步被信用贷款模式所取代。正如《经济学人》的一篇报道描述的那样:以前,这些数据存储在不同的系统当中,如财务系统、人力资源系统和客户管理系统,老死不相往来。现在这些系统彼此相连,通过数据挖掘技术,就可以获得一幅关于企业运营的完整图景。
基于大数据的优势,电商、电信运营商、互联网企业纷纷利用大数据金融涉足金融产业。发展跨界大数据金融业务,是指利用大数据开展的金融服务,即针对海量数据,经过互联网、云计算等信息化处理方式,结合传统金融服务,开展资金融通、创新金融服务。
大数据之所以这么火热,是因为它与普通大众的生活之间,相较其他 IT 术语似乎有着更为密切、更具传奇色彩、更为深厚的关系。互联网上的数据每年增长 50%,每两年便将翻一番,而目前世界上 90% 以上的数据是最近几年才产生的。过去以线下为主的人类的一切活动是分散的、无轨迹可循的、难以把握的。通过耗费人力物力跟踪调查了解,又是被动的,往往时效性、准确性等非常之差。而现在互联网线上的一切活动几乎都是可主动抓取获得、有轨迹可循,而且是瞬间可以准确抓到,可以及时分析挖掘的。
据 IDC(互联网数据中心)预测,到 2020 年全球将总共拥有 35ZB 的数据量。互联网是大数据发展的前沿阵地,随着 Web2.0 时代的发展,人们似乎都习惯了将自己的生活通过网络进行数据化,方便分享以及记录并回忆。基于某种服务所积累的数据价值在贬值,数量再多也算不上大数据,只有互联网中全面的数据才有深度整合利用的价值。
当世界的万事万物都化为数据存在,当各种产品和服务都已网络化和数据化,当五花八门的数据终端普及千家万户,是否以自己为中心提供各种网络服务已经变得没有过去那么重要,而获取和利用他人服务所产生的数据变得更加重要。
那什么是大数据?即巨量资料(big data),或称大数据、海量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理,并整理成为帮助企业经营决策的资讯。
也就是说,大数据就是互联网发展到现今阶段的一种表象或特征,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始能够被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。
2011 年 5 月,麦肯锡全球研究院发布的报告《大数据:创新、竞争和生产力的下一个新领域》中提出:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
业界(IBM 最早定义)将大数据的特征归纳为四个“V”(量 Volume,多样 Variety,价值 Value,速 Velocity),或者说特点有四个层面:
经过多年的发展与积累,目前国内金融机构的数据量已经达到 100TB 以上级别,并且非结构化数据量正在以更快的速度增长,开始迈入大数据时代。金融业也高度依赖信息技术,是典型的数据驱动行业。互联网金融环境中,数据作为金融核心资产,将撼动传统客户关系、抵质押品在金融业务中的地位。
“大数据是大金融时代的奠基石!”谈及大数据对于银行金融创新的意义,知名经济学者郭凡礼说道,“大数据将引领银行、保险、基金、证券等各领域的大融合,混业经营有望逐渐取代分业经营。而作为渠道最广、信誉度最高、服务能力最强的金融机构,银行业有望凭借大数据的支撑进一步稳固自身地位,金融产品创新、金融业务整合都将以银行为中心来展开。”
金融机构在大数据应用方面具有天然优势:
金融业是大数据的重要产生者,交易、报价、业绩报告、消费者研究报告、官方统计数据公报、调查、新闻报道无一不是数据来源。相对于传统金融,大数据金融使得抵押贷款模式逐步被信用贷款模式所取代。正如《经济学人》的一篇报道描述的那样:以前,这些数据存储在不同的系统当中,如财务系统、人力资源系统和客户管理系统,老死不相往来。现在这些系统彼此相连,通过数据挖掘技术,就可以获得一幅关于企业运营的完整图景。
基于大数据的优势,电商、电信运营商、互联网企业纷纷利用大数据金融涉足金融产业。发展跨界大数据金融业务,是指利用大数据开展的金融服务,即针对海量数据,经过互联网、云计算等信息化处理方式,结合传统金融服务,开展资金融通、创新金融服务。
大数据之所以这么火热,是因为它与普通大众的生活之间,相较其他 IT 术语似乎有着更为密切、更具传奇色彩、更为深厚的关系。互联网上的数据每年增长 50%,每两年便将翻一番,而目前世界上 90% 以上的数据是最近几年才产生的。过去以线下为主的人类的一切活动是分散的、无轨迹可循的、难以把握的。通过耗费人力物力跟踪调查了解,又是被动的,往往时效性、准确性等非常之差。而现在互联网线上的一切活动几乎都是可主动抓取获得、有轨迹可循,而且是瞬间可以准确抓到,可以及时分析挖掘的。
据 IDC(互联网数据中心)预测,到 2020 年全球将总共拥有 35ZB 的数据量。互联网是大数据发展的前沿阵地,随着 Web2.0 时代的发展,人们似乎都习惯了将自己的生活通过网络进行数据化,方便分享以及记录并回忆。基于某种服务所积累的数据价值在贬值,数量再多也算不上大数据,只有互联网中全面的数据才有深度整合利用的价值。
当世界的万事万物都化为数据存在,当各种产品和服务都已网络化和数据化,当五花八门的数据终端普及千家万户,是否以自己为中心提供各种网络服务已经变得没有过去那么重要,而获取和利用他人服务所产生的数据变得更加重要。
那什么是大数据?即巨量资料(big data),或称大数据、海量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理,并整理成为帮助企业经营决策的资讯。
也就是说,大数据就是互联网发展到现今阶段的一种表象或特征,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始能够被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。
2011 年 5 月,麦肯锡全球研究院发布的报告《大数据:创新、竞争和生产力的下一个新领域》中提出:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
业界(IBM 最早定义)将大数据的特征归纳为四个“V”(量 Volume,多样 Variety,价值 Value,速 Velocity),或者说特点有四个层面:
- 第一,数据体量巨大。大数据的起始计量单位至少是 PB(1024TB)、EB(100 多万 TB)或 ZB(10 多亿TB)。
- 第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。
- 第三,价值密度低,商业价值高。
- 第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。
经过多年的发展与积累,目前国内金融机构的数据量已经达到 100TB 以上级别,并且非结构化数据量正在以更快的速度增长,开始迈入大数据时代。金融业也高度依赖信息技术,是典型的数据驱动行业。互联网金融环境中,数据作为金融核心资产,将撼动传统客户关系、抵质押品在金融业务中的地位。
“大数据是大金融时代的奠基石!”谈及大数据对于银行金融创新的意义,知名经济学者郭凡礼说道,“大数据将引领银行、保险、基金、证券等各领域的大融合,混业经营有望逐渐取代分业经营。而作为渠道最广、信誉度最高、服务能力最强的金融机构,银行业有望凭借大数据的支撑进一步稳固自身地位,金融产品创新、金融业务整合都将以银行为中心来展开。”
金融机构在大数据应用方面具有天然优势:
- 一方面,金融机构在业务开展过程中积累了包括客户身份、资产负债情况、资金收付交易等大量高价值密度的数据,这些数据在运用专业技术挖掘和分析之后,将产生巨大的商业价值;
- 另一方面,金融机构具有较为充足的预算,可以吸引到实施大数据的高端人才,也有能力采用大数据的最新技术。如今世界正在步入大数据时代,为传统金融业提供了不可多得的战略空间和机会。