大数据处理解决方案

随着互联网、云计算、移动互联、物联网等技术的发展，数以亿计的用户、智能终端、传感器等分秒都在产生数据，持续累积的海量数据中蕴含宝贵的数据价值，促使以数据的采集、处理和展现为主要研究内容的大数据处理技术的快速发展。然而由于数据量巨大，数据类型多样、处理性能要求极高的特点，大数据处理技术首先要考虑存储系统的架构与实现，确保数据可靠存储高效访问。

极高性能要求

离线处理方式已无法满足当前业务需求，实时计算、流数据处理正在成为主流大数据 方案，数据的采集、处理、展现均对存储性能提出极高要求；大数据处理框架通常规模巨大，处理作业大量并发，要求极高的聚合吞吐率，存储性能面临更大挑战。

数据总量巨大

随着互联网用户、移动终端、传感器设备等数量快速增长，需要处理的数据爆炸式增长，并随时间持续累积，例如，大型网站的用户日志数据量可达每日百TB，因此，存储系统支持PB级甚至EB级数据的高效存储是进行数据处理的前提。

数据类型多样

大数据处理应用类型众多，数据来源丰富、采集方式各异，数据类型涵盖结构化数据、文本、日志、图像、视频等，同时，不同大数据处理框架（如Hadoop、Storm、Spark等）对存储访问接口、数据访问模式的要求也不尽相同。

高度扩展要求

随着业务的不断发展，数据量持续增大，数据处理规模的扩展在所难免，大数据处理平台多采用分布式架构，计算力的提升可通过扩展处理节点实现，存储系统也应具有在线扩展能力，可按需匹配数据量攀升导致的存储容量和性能需求。

（编辑：吕梁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!