一年前开始学习Hadoop。Hadoop, 大数据的事实标准,被Facebook, Yahoo,eBay,taobao,baidu广泛应用。Hadoop本身很复杂,包含了很多子项目,不同的应用场景催生了不同的子项目。
最近要做OpenStack的项目,开始学习OpenStack。也反思了一下我现在所从事的行业:企业存储,路在何方?
IT的技术发展可以说是日新月异。在人们还没有正在逐渐完善Hadoop时,Google几年前就摒弃了MapReduce的架构。现在Google的新三驾马车Caffeine、Pregel、Dremel据说可以将1PB的查询请求控制在3秒以内。这个技术我没有去了解过。但是可以肯定的是,新三驾马车对于IT的影响和几年前Google的三个论文MapReduce、BigTable、GFS相比有过之而无不及。
那传统的商业存储的技术发展可以说相当缓慢。提出的模式很多都是基于商业而非技术。对于云计算和大数据,传统的商业存储也没有很好的应对之策,只能去融合,都是希望把自己的存储能够作为云计算时代数据中心的基础存储。本篇文章,也算是探讨如何将传统商业存储支持云计算。我们这里会将云计算细化,仅仅去讨论OpenStack和Hadoop。当然这有些片面。但是既然谁也不能给出云计算的学术定义,我们这种片面也不算是大的错误吧。
由于我对其他友商的了解不多,因此我这里仅仅讨论EMC的ViRP是如何将EMC的存储阵列集成到Haoop和OpenStack的。
ViPR是EMC一款软件定义存储产品ViPR™,表示为Virtualization Platform Reinvented。ViPR并不是一个物理的存储系统,而是一个逻辑的存储系统。ViPR将EMC和其他第三方的存储集合起来放在一个存储池中,将存储池作为单一的系统进行管理,同时又保留底层具体存储的完整价值。ViPR可以跨越多个地点和数据中心,使用多种不同的存储平台产品,对外提供统一的块存储、文件存储以及对象存储服务,同时,ViPR提供了统一的元数据服务和自助式的部署、计量和监控服务。此外ViPR还适用于多租户环境。
ViPR采用开放的scale-out架构,部署在一个3节点的集群上,这种架构可以为大型复杂的存储环境提供高可用性、负载平衡以及系统无干扰升级。ViPR的接口有RESTfulAPI、GUI(Console)、CLI以及SDK,可以为用户提供最大限度的灵活性。
ViPR可以将数据中心中异构的物理存储系统抽象映射到一个大型的逻辑共享存储池,对企业级IT部门和云服务提供商提供了极大的价值。这对于地理上分布的数据中心中的存储资源管理和混合云部署是一个巨大的改进。ViPR可以有效和灵活地管理以数据为中心的云基础架构。
ViPR解决了当前企业级IT部门和云管理员所面临的一大问题:该如何将多供应商的存储系统转移到一个云基础架构中,并且从一个中心视图管理和共享存储系统,同时仍然使用和最大化已有存储系统的能力。ViPR通过自服务管理方式简化了数据中心的存储操作并且提供了块、文件、对象储存数据的服务。