提出背景

      传统的信息系统建设通常是以业务流程电子化、规范化和持续优化为核心，数据仅仅是信息化系统建设“副产品”。当我们想用数据解决工作上的问题，开展数据分析、趋势预测和辅助决策时，仍然会面临：一是数据“散落”在各业务系统，需要先判断数据在哪里，然后由专业人员帮助获取；二是多个系统数据汇聚后，数据会“打架”或“残缺不全”；三是缺乏专业的数据采集、加工、治理和成果分享平台，手工或程序定制效率不高、成果难以重用和持续提升。

      大数据平台旨在解决：一是建立面向企业全域数据仓库，实现主要数据资产的汇聚和集中管理，并通过数据资源目录体系服务，方便查找及使用数据；二是进入数据仓库的数据，将通过清洗、转换、标准化等整合工作，采取补全、纠错、去重等手段获得一致化数据，提升数据质量。三是建立技术平台和工具体系，提升数据采集、加工、分析和管理效率。并通过平台提供的建模与服务化封装等工具，促进数据加工成果的应用、分享和持续改进；四是通过智能搜索、推送和智能预警等融合数据应用，推动数据价值变现，实现由“人找数据”向“数据找人”的转变。

平台功能组成及简介

      该平台通过主流大数据技术框架及微服务技术实现，不仅满足系统数据量、并发用户数、事务数和吞吐量等性能要求定性，在系统的高可用、可扩展和安全性等方面也能很好满足系统使用要求。

平台主要特性

      上图为易捷大数据平台的功能组成，其主要由数据源层、交换层、整合层、存储层、计算层、服务层、应用层和管理层（含管理工具和数据治理）组成。

      数据源除了为平台提供原始数据外，也将通过交换平台获得平台整合及处理后的数据服务；数据交换是解决“信息孤岛”、实现系统间互连互通的基础设施；数据整合提供抽取、转换、加载和质量控制服务；数据存储提供各个结构化和非结构化数据的存储服务，数据计算层通过主流的数据计算引擎，提供各种批量、实时数据的计算服务；

      服务层分为平台组件和服务组件，平台组件提供分布式事务、安全认证、统一日志、分布式调度及服务网关等功能，服务组件侧重于跟企业应用相关的数据预处理服务，如批处理、报表服务、日终服务、任务调度服务等；

      管理层提供数据治理和平台管理工具，数据治理侧重于元数据、主数据、数据质量、数据安全、数据资源目录等服务；管理工具侧重于任务调度、分布式协调、技术组件的安装、部署及配置等服务；

      数据应用支持但不限于交互式查询、综合分析、智能搜索、智能预警等大数据应用。