大数据智能分析平台

产品特征

配置化的安装部署

系统可实现跨平台、跨网络、跨区域分布式部署。

将大数据平台各组成部分封装成统一的产品安装工具，实现界面化的向导式安装。

平台采用向导式过程安装，自动检测资源，自动化安装。用户只需机器资源，平台自动进行资源检测、资源规划、平台各模块的安装。真正做到向导式安装，无人值守式安装。

元数据驱动的平台架构

平台采用分布式架构，弹性管控集群资源。

平台运行以元数据为基础，元数据包括数据源元数据，数据仓库元数据，结果元数据，数据服务元数据，任务元数据，平台信息元数据等。

平台各功能组件之间通过数据进行交互，实现松耦合。平台各子系统既是一个独立的功能模块，又能通过数据的交互构成一个整体。

全域的系统监控与管理

管理模块是大数据平台信息的汇聚点，通过管理子系统获取的信息可以知道系统的总体运行情况.

实时查看平台运行的业务，对业务进行调度，优先级配置，多维度的业务报表。

通过管理平台的信息呈现，用户可以清晰地知道当前系统运行的变化趋势，从而把握系统的稳定性及健康状况，可动态管理集群。

具备集群监控、集群管理（节点管理，异常管理，用户管理，安全管理等）、元数据管理、调度管理、数据服务管理、系统管理等功能。

完善的安全管理策略

多层面的用户权限管理机制，设置严格的数据管理机制。

内置了用户操作记录机制，全面监控用户对平台的使用情况。

丰富的函数模型库

对常用的统计函数，数值计算函数，字符函数进行封装

对常用的数据挖掘模型、算法进行封装

插件式的函数模型库，可动态增加新算法模型。

提供行业分析模型及类似BI的分析和展示工具。

开放的数据服务

对外提供各种数据服务，开放多种数据接口，外部系统/用户可通过服务认证、数据API等方式按权限访问相应的数据。

采用可视化的图形，列表等页面展现方式。

统一服务，标准化的接口访问协议，为各类数据服务提供统一入口，提供便利，全面的数据服务。

统一控制，对用户访问和数据访问的统一管控，访问日志记录，保证数据安全。

统一数据缓存机制，接口访问稳定性和速度的提升。可扩展，可定制，满足未来的数据访问需求。

多来源多格式适配的数据采集

以元数据驱动的方式提供强大的抽取、转换和加载(ETL) 能力。适配多种数据源，支持从文件，DB、数据流中导入数据。

灵活的数据转换配置和任务配置,提供了直观的图形界面设计器，大大缩短数据抽取的开发周期，并且容易维护。设计界面友好，提供了工作流设计模式，满足各种场景的实现。

服务以集群方式部署，支持多任务并发，自动负载均衡，支持大数据量的抽取转换处理，执行效率高，提供了丰富的异常处理功能，能满足各种异常处理需求。

统一的分布式存储

以Hbase做为数据存储的统一格式，MapReduce、Hive通过接口使用Hbase数据。

做到一份存储，多处使用。

配置式的服务配置工具

通过配置完成计算任务的配置，降低平台实施和使用的技术门槛。

通过统一的配置模板实现对数据计算的定义、脚本实现并通过定义规则驱动数据计算。

可视化的自助分析工具

自定义报表工具，实现了基于 XML 的定义文件来可编程性地生成报表的能力.

围绕着报表引擎，开发用户图形界面，用户可以使用向导，无需编程，通过工具配置一步接一步完成创建一个报表。

数据展示格式灵活，能更大程度上满足用户的数据需求。

多维分析工具，提供丰富的图形化展现界面和接口。

用java语言开发支持 MDX（多维表达式）的查询语言、分析型XML 和 olap4j 的接口技术规范。实现了从 SQL 和其它数据源读取数据，在内存缓冲区中生成集合数据。

产品优势

分布式存储底层改造

Hadoop原生的框架中，数据可在HDFS、HBASE、HIVE中进行存储和计算。如果一个数据集同时要进行要进行以上三种存储和计算的话，需要在三个组件中都存储数据。彩讯大数据平台对分布式存储进行改造，实现将数据存储在HBASE中，开发数据接口，使得MapReduce、 HIVE可以通过接口访问HBASE存储的数据进行计算，从而实现一份数据，三种计算模式。

函数模型封装

将常用统计、分析、挖掘的模型进行插件式封装，用户实现统计实例无需再进行底层的编程，只需要按照计算模式的参数输入约定，即可完成实例的开发定义；不常用的计算模型，按需实现插件式开发，开发后部署到计算模型库中，逐步丰富计算模型库。

配置式个性化开发

通过可配置式个性化开发，大大降低了平台实施和使用的技术门槛，对平台的80%以上的二次开发不再需要专业的开发人员，业务人员就可以实现对数据计算的定义、脚本实现并通过定义规则驱动数据计算。

在交互界面上，选取的计算模式，在数据元数据中选取需要进行计算的属性，将计算模式、计算属性和元数据传递给语义层；在语义服务层，形成对数据的计算的算法语义，并将这个算法语义转换成既定的计算语义（如：SQL语句）。在分布式计算层面：先将计算语义转换成计算脚本和计算任务JOB，然后按照JOB的定义选取的计算模板执行计算脚本，并将结果按计算语义中定义的结果模式输出到的结果表中，同时实现在前方数据服务中可检索。

配置式安装部署

将大数据平台各组成部分封装成统一的产品安装工具，实现界面化的向导式安装实施，使得平台的部署实施自动化简易化。