海通证券
一、背景
在迅猛发展的互联网形势下，监管适当性要求日益趋严，各业务部门和分支机构对客户服务的要求也在不断提高，客户关系管理系统作为证券行业维护客户关系、提高客户服务质量的重要系统，采集、处理并展示了大量的客户信息。按公司客户量不同，每日需要采集及处理的数据从百万级、千万级发展至今上亿级的规模。
传统的客户关系管理系统一般采用关系型数据库用来处理数据，随着客户数量的增长、交易数据的增长，数据的处理加工的时间越来越长，消耗的机器性能和资源越来越多，成本不断提高。同时，近年来大数据生态圈蓬勃发展，根据国家网信办发布的《数字中国建设发展报告（2017年）》预计2020年中国大数据市场产值将超万亿。在这样的背景下，海通证券启动了基于大数据的智能化客户服务平台建设，构建一客户信息管理为基础、以客户服务为目标、推进资源共享，覆盖客户全生命周期管理的统一客户服务体系，结合智能化工具以更好的分支机构和客户经理提供业支持。
二、总体设计
本平台提供了PC端和APP端服务，PC端提供了营销管理和事务管理等功能模块，实现了任务建立、任务分配、任务执行、执行跟踪、任务评价等一体化的服务流程；APP端涵盖了客户经理版本和管理人员版本，搭建首页、客户、产品、任务、个人中心五个方面模块。自推广上线以来，日均登录人数千余人，覆盖了大部分前台营销人员，尤其是APP端，为营销人员外出移动展示提供了有力的支持。
本平台结合结合大数据搭建了高效的Spark-MOT引擎，为一线客户经理生成名下客户的各类场景任务，帮助客户经历维护及服务客户；提供了灵活的客户综合查询功能，利用其高效的分布式检索能力实现智能化和精准化的客户营销与运营；借助Impala高效的运算能力组建了海量数据批处理模块，对各个源系统提供的客户数据进行分采集和分析挖掘，构建全方位的客户画像，方便业务人员认识并了解自己的客户；通过高可靠的HBase历史数据查询模块，为追溯客户服务记录、信息发送历史等提供便利；结合智能化的RPA工具及全覆盖的智能监控中心，为平台的智慧运维保驾护航；搭建了高吞吐量的消息中心，为快速、有效的触及大批量客户进行服务与营销提供了有力手段。
三、平台各组成模块
1、高效的Spark-MOT引擎
Spark是专为大规模数据而设计的快速通用的计算机引擎，用来构建大型的、低延迟的数据分析应用程序，Spark的一个主要特点是能够在内存中进行计算，其运算效率相较传统的MapReduce可提高100倍以上。Spark具有高效率、易用性、通用性、兼容性等特点。
本平台使用基于Spark的MOT引擎实现了百余个场景任务的每日生成与分发，每日处理千万级数据，生成与分发的场景任务数达到数十万个，耗时不到20分钟，极大的加强了分支机构对客户服务的支持力度。
图：基于Spark的MOT引擎逻辑图
2、灵活的客户综合查询
ElacticSearch（简称ES）是一个基于Lucene的搜索服务器。它是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。根据DB-Engines的排名显示，ES是最受欢迎的企业搜索引擎。
通过基于ES索引查询技术支持近千余指标字段的客户筛选查询，所有字段均可以灵活组合，为每个用户提供个性化的查询方案，同时在千万级数据量的基础上可实现秒级的结果返回，为智能营销提供有力支撑。
图：基于ES的客户综合查询逻辑图
3、快速的海量数据批处理
Impala是一个基于MPP（大规模并行处理）的SQL查询引擎，提供对HDFS数据的高性能、低延迟的交互性SQL查询功能。它基于内存进行计算，能够对PB级数据进行交互式实时查询、分析，Impala作业无需转换为MapReduce，直接读取HDFS的数据，从而大大降低了延迟，具有数据仓库的特征，可对hive数据直接做数据分析，同时支持JDBC/ODBC远程访问。
本平台为了兼顾应用系统对数据的实时高效访问及夜间批处理对海量数据的聚合计算等，将客户关系管理系统所需的数据分为了两个部分，一部分数据为客户的当前数据及已加工数据，数据量较小，存储在关系型数据库中支持实时查询及业务处理；一部分数据为客户的历史数据及为加工数据，数据量较大，存储在大数据集群上，通过Impala数据批处理加工后导入关系型数据库中。
4、高可靠的历史数据查询
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。Phoenix查询引擎支持使用SQL进行HBase数据的查询，会将SQL查询转换为一个或多个HBase API,协同处理器与自定义过滤器的实现，并编排执行。
为了解决随运行时间不断增加导致历史数据积压在关系型数据库中，拖累整体运行效率的问题，本平台采取保留近一年的数据在关系型数据库，历史数据导入大数据平台并提供给予HBase的数据查询接口进行历史数据查询以解决该问题。
5、智能化工具模块
本平台提供了多个智能化工具，助力提升营销人员客户服务及技术人员自动化运维。包括通过OCR（Optical Character Recognition,光学字符识别 ）提供客户名片的自动识别及录入等。ASR（Automatic Speech Recognition,语音识别技术）提供服务记录、工作日志的快速录入，知识库的快速检索等及通过RPA（Robtic Process Automation,软件流出自动化）提供智能运维。
