大数据平台安全建设方案分享

随着国家提出促进经济社会转型发展的战略思路，平台建设目前已经是政务信息化建设中的焦点内容，各省级政府依托强大的信息化体系率先做出尝试。平台业务系统搭建之初，作为整个平台稳定、持续运行的基础，安全建设方案会是整个平台项目中重要的一环。

平台整体安全建设，从数据采集到数据资产的梳理，再到平台的访问安全管控和数据存储安全，以及数据共享分发过程中的版权保护，整个安全方案如何形成数据访问和使用过程的闭环，并且能够实现安全策略的统一下发和协同配合，是摆在平台建设方面前的棘手问题，本文以某平台安全建设方案为参考，抛砖引玉，共同探讨行之有效的安全建设思路，该方案已经初步得到建设方认可，具备可落地基础。

在进行安全建设之初，针对需要保护的信息资源，需要先进行状况摸底：

1）提供对部门的组织结构、业务角色、信息资源类别、信息化系统等的管理和维护功能；

2）能够对业务流程图和数据流程图进行管理，能够识别协同关系和信息共享需求，能够明确职责、挖掘、整合数据资源、规范数据表示；

3）能够对的主题库、逻辑实体、实体关系图、数据映射图、数据元标准、信息分类编码进行管理。

技术实现：漏扫、数据资产梳理

漏扫技术：实现对系统的自动化安全评估，能够有效暴露当前系统的安全问题，对的安全状况进行持续化监控。利用漏扫产品覆盖传统漏洞检测项；实现弱口令扫描、敏感数据发现、危险程序扫描、渗透测试等高端检测能力；通过预定义安全策略、自定义安全策略，实现高效、有针对性的安全状况扫描检测，和通过各种角度、各种专题、详略不一的报表直观呈现系统的安全状况样貌。

数据资产梳理技术：实现数据资产的“静态+动态”梳理

静态梳理技术：实现自动嗅探：自动搜索企业中的，可指定IP段和端口的范围进行搜索，自动发现的基本信息；按照敏感数据的特征或预定义的敏感数据特征对数据进行自动识别，持续发现敏感数据；根据不同数据特征，对常见的敏感数据进行分类，然后针对不同的数据类型指定不同的敏感级别。

动态梳理技术：对平台系统中不同用户、不同对象的权限进行梳理并监控权限变化。监控中用户的启用状态、权限划分、角色归属等基本信息；归纳总结用户访问情况，尤其针对敏感对象，能够着重监测其访问权限划分情况。数据流转梳理，对数据应用程序、运维工具、脚本等程序和人员对敏感数据的操作进行监控和分析，形成敏感数据内部流转路线图，展示敏感数据是如何被处理和流转的；监控异常流转情况，及时发现数据违规使用风险。

综上，通过安全风险扫描、检测和资产梳理可以明确信息资源的出口、入口，数据间关系，摸清各部门的业务需求、数据需求和集成需求，能够提供信息资源的文档的自动化生成（设计文档、信息资源目录、实体关系图等），以及通过思维导图等方式展示信息资源。

2、政务、互联网数据采集

业务需求：采集过程中的数据共享

各政府职能单位信息汇聚采集（公安、民政、人社等）、互联网入口公众信息采集（政府网站、微信、社会学术库、企业信息等场景需求下，需要共享数据，但敏感数据不能全部开放。

技术实现1：动态脱敏技术

将动态脱敏系统部署在数据的共享、交换、应用、运维区，与之间；形成自动化的敏感数据匿名化边界，防止隐私数据在未经脱敏的情况下从数据区流出。

提供基于访问来源IP、应用系统、应用系统账户、时间等因素的策略，对需要共享的敏感数据，可根据数据的敏感级别和应用的需要，灵活的配置动态脱敏策略，从而实现外部应用能够安全可控的使用共享的敏感数据，防敏感数据泄露。根据不同数据特征，内置丰富高效的动态脱敏算法，包括屏蔽、变形、替换、随机；支持自定义脱敏算法，用户可按需定义。

技术实现2：数据脱敏（静态）技术

数据脱敏（静态）技术：利用对数据的静态脱敏技术，有效防止平台内部对隐私数据的滥用，防止隐私数据在未经脱敏的情况下流出。既满足隐私数据保护，又满足开发、测试、模型训练等业务对数据的需求，同时也保持监管合规，满足企业合规性。

3、平台管控（基础、服务）

业务需求：平台的统一资源管控

平台的数据使用管控需要实现资源管理、安全管理、运维管理、集群部署及监控、任务调度等功能，同时配备友好的管理界面。

技术实现：审计技术、防火墙技术、安全运维管控技术

审计技术：通过对访问的所有网络流量进行采集、解析、过滤、分析和存储，全面的审计所有对的处理行为，满足平台对数据处理进行监控、收集和记录的需求。

防火墙技术：将防火墙部署在应用系统和之间，能够防护由于WEB应用漏洞、应用框架漏洞等原因造成的黑客攻击，窃取敏感数据；确保平台核心数据资产的共享安全。

安全运维技术：基于角色管理的细粒度的运维控制功能，精确到SQL语句，确保核心数据资产的合规使用；针对不同的用户，提供操作权限、访问控制，限制NO WHERE更新和删除，避免大规模数据泄露和篡改；提供双因素鉴别和登录控制能力，防止账户泄漏和滥用；提供用户权限细粒度管理，对敏感数据的操作进行严格管控；控制和审计动作、全面精细审计分析，提供实时访问统计图。

对于落地到平台的数据资源，除了访问管控，需要对其中高密级数据增加存储加固手段，作为数据安全防护的底线。

强化平台数据安全，实现整体数据安全加固，防止数据外泄。加强对敏感数据的加密访问和存储，敏感数据呈现中对关键字段进行加密。国内知名安全厂商安华金和的加密产品DBCoffer可以针对表空间实现表空间级加密，对表空间内的所有数据全部进行加密，增强数据安全性；支持表级加密，增强安全的同时又兼具灵活性；在不影响本身权限的同时，系统增强了权限控制，分别从用户，客户端IP，应用系统等不同层面对权限增强，全面防止越权访问，防止数据泄露；安全服务组件实现对密钥的管理，让用户自己掌握密钥，即使数据被盗也无法查看明文。

通过从运维端进行大，实现对海量数据提供高效的分析和计算。挖掘引擎支持并行化统计算法和机器学习基础算法库，支持的并行化基础算法，能够处理集。具体功能要求包括查询、关联分析、统计分析、报表展示、以及二次开发等。

技术实现：数据脱敏（静态）技术

针对海量数据进行分析计算，是典型的脱敏系统面临的分析场景，在此场景下对将生产数据中的部分敏感数据进行脱敏处理，有效防止平台内部对隐私数据的滥用，防止隐私数据在未经脱敏的情况下流出。针对这一应用场景，支持对目标中部分数据进行脱敏，可根据指定的过滤条件对数据来源进行过滤筛选形成数据子集。在脱敏产品的使用过程中，面对生产环境中数据或数据结构频繁发生变化的场景，及时调整脱敏策略，防止敏感数据“漏网”现象，引发敏感数据泄露。

业务需求：政务部门的公开下载和服务

提供政务部门可公开各类数据的下载与服务，为企业和个人开展政务信息资源的社会化开发利用提供数据支撑，推动信息资源增值服务业的发展以及相关与研究工作的开展。

技术实现：数据脱敏（动、静）技术、数据水印技术

数据脱敏：使用动态+静态数据脱敏技术，实现对外数据公开下载以及开发利用等服务过程中的数据安全。

数据水印技术：通过系统外发数据行为流程化管理，对数据外发行为事前数据发现梳理、申请审批、事中添加数据标记、自动生成水印、事后文件加密、外发行为审计、数据源追溯等功能，避免外发数据泄露无法对事件追溯，提高了数据传递的安全性和可追溯能力。系统通过智能自动发现功能辅助用户发现敏感数据完成外发数据梳理；通过对原数据添加伪行、伪列、对原始敏感数据脱敏并嵌入标记等方式进行水印处理，保证分发数据正常使用。水印数据具有高可用性、高透明无感、高隐蔽性不易被外部发现破解。一旦信息泄露第一时间从泄露的数据中提取水印标识，通过读取水印标识，追溯数据流转过程，精准定位泄露单位及责任人，实现数据溯源追责。

整个平台的安全建设工作，不是简单的安全产品的堆砌，它需要基于专业的安全建设思路来建立完整的数据安全防护体系，满足业务需求的同时，兼顾安全需求。

以测试数据管理方法论为支撑，辅以高效的 ETL 处理引擎，融敏感数据发现、人工审批、规则配置、数据切分、数据脱敏、行为审计等功能于一体，内置可配置及可扩展的丰富的基础脱敏规则和敏感数据特征码，可实现快捷的逻辑扩展。简练美观的 Web 用户界面提供了完成所有测试数据管理工作的访问入口。整个数据脱敏逻辑满足高仿真、低敏感度的要求，同时实现了对数据引用完整性和一致性的保证。

作为全球首屈一指的数据治理专家，Informatica 根据自己多年的专业技术和经验，提出了全面数据安全管理平台的概念，并推出一系列数据安全解决方案，Informatica 测试数据管理（Test Data Management，简称 TDM）解决方案就是其中之一。

针对于不同业务特性、不同数据特性的客户，提供策略性、一体化的方法，对某些敏感信息利用智能化的平台和预制的规则，有效地进行数据的变形，实现敏感隐私数据的可靠保护。这样，就可以在生产、开发、测试以及外包或云计算环境中安全地使用脱敏后的真实数据集。借助数据脱敏技术，屏蔽敏感信息，并使屏蔽的信息保留其原始数据格式和属性，以确保应用程序可在使用脱敏数据的开发与测试过程中正常运行。Informatica

§  全生命周期的敏感信息保护和管理

通过完善和制定生产数据使用管理制度，明确生产数据中敏感信息数据字典规范和生产数据申请、提取、安全预处理、使用、清理、销毁等环节的处理流程，根据生产数据中敏感信息数据的相关信息采购符合银行业务情况的脱敏工具，并明确在生产数据使用过程中所涉及部门的职责分工，提高生产数据使用管理规范化、制度化水平，防范生产数据泄露等安全隐患，完善信息科技风险管理体系。

Informatica数据测试数据管理方案，拥有全面的技术与算法，包括随机脱敏、模糊脱敏、键值脱密、替换脱密等。和内置的专门的规则，包括名称和地址规则，证件号，信用卡号，电话等专门的处理规则。同时为了适应银行广泛使用的商业软件，Informatica数据脱敏方案独有的与所有主流商业套件无缝集成的能力，可以直接将商业套件中的业务规则抽取出来，而不必人工开发或导出，大大加快了系统上线和实施的速度和便利性。

对于安全的信心应该来自于在整个生命周期中对生产数据风险的识别、关注和准备。Informatica数据安全解决方案，可以帮助银行通过建设生产数据管理体系，加强敏感数据的安全管理，推进数据脱敏工具化、流程化，提高银行敏感数据防护水平，健全银行信息安全管理体系。

数据敏感漂白处理，通常是针对数十个应用，不同的数据库，上百张表进行处理，使用Informatica TDM，能够实现数据脱敏的灵活配置，零编码，多种脱敏规则与算法。在整个脱敏过程中数据无需落地，并可借助网格(Grid)计算、并行分区处理(Partitioning)等技术获得极高的数据处理性能。

Informatica TDM能够在字段级配置脱敏规则算法，经过脱敏的数据能够保持数据原有的格式、业务特征和数据之间的主外键关系或逻辑关联关系。

借助Informatica TDM解决方案，通过建立统一测试数据安全管理平台，公司将可以获得以下收益：

§  图形化的部署、控制和管理统一数据安全管理平台，简化测试数据管控的复杂度，即满足数据安全合规，同时满足数据管理者、使用者等多方面的不同需求；

§  实现对企业内所有业务系统测试开发等非生产环境的数据安全管理；

§  提供统一的方法与规则产生测试、开发、培训等非生产环境所需的数据；

§  以生产环境中真实数据为基础，通过高效的脱敏技术产生测试可用的安全数据，消除敏感数据暴露的机会，从而降低数据泄漏的风险；

§  建立统一数据脱敏平台，支持现有和未来业务系统建设的数据服务；

§  助力企业合规性管控，提高企业应对政府监管的能力与基础；

§  助力企业实现跨地域的、跨业务系统的数据一致化安全管理水平，提高企业竞争能力，保护企业市场形象；

§  助力企业全局数据治理的建设路线。

下图展现的是Informatica测试数据管理(TDM)的物理架构,它包括几个主要的组成部分:一、数据脱敏&数据子集工作台；二、数据脱敏&数据子集引擎。

数据脱敏&数据子集工作台是一个基于web浏览器的开发、管理界面，用户可以通过单一的Web界面实现测试数据管理的绝大多数功能。包括，规则定义、工作流管理，运行监控等。

这一引擎是建立在Informatica V10平台上的数据处理的引擎，提供外部数据的访问能力，包括：访问企业内部商业数据库，访问商业应用套件，访问文本文件，云服务等；提供平台的扩展能力，如集群、并行处理、HA等；同时整个测试数据管理的知识库也在这里管理，提供了一致的元数据和集中的规则存储。

同时这个模块提供复杂规则的二次开发能力，用户同样可以通过图形化的界面进行复杂的脱敏规则的开发，并支持将二次开发的规则与浏览器界面进行集成。

从技术上而言，数据脱敏属于数据加工处理的主题化分支，而TDM后台采用的Informatica PowerCenter引擎正是业界数据加工处理平台中的佼佼者。通过TDM Workbench与PowerCetner相结合，IT人员与业务人员分工配合可以实现最大程度上的功能可扩展性。

提示：使用API方式购买云市场镜像前，需先认真阅读并认可相应的镜像协议。

产品价格(此处价格仅供参考，实际价格以选配后的价格为准)

产品全称”绿盟数据脱敏系统（NSFOCUS DMS）”,DMS支持变形、转换等多种内置脱敏规则，能够降低数据的敏感程度。DMS能够量化敏感数据重识别风险，做到敏感数据可用不可见、所需方可见，是一款集静态脱敏、动态脱敏、脱敏后数据残留风险评估多功能与一身的的综合性脱敏系统。

产品具备多种高性能硬件形态，同时支持部署于各种虚拟化以及阿里云、腾讯云、华为云、AWS，Azure等云环境。