在大数据背景下,随着企业用户、业务数据量的日益增长,数据处理场景日趋复杂,且企业内部数据具备多样性,包含结构化/半结构化、文本数据、非结构化数据。面对海量且形式多样的数据,急需具备高可用和高性能的存储方案支持业务发展。数据采集作为数据生命周期安全管理的第一阶段,采集分布在各业务应用、硬件设备的数据,对数据进行集中存储从而打破数据孤岛,减少企业用户在数据信息梳理过程产生的资源浪费,同时对数据的一致性、完整性进行梳理,提升企业内部信息共享能力。而数据存储作为数据安全生命周期中承上启下的重要环节,需为数据安全合规检查、数据安全态势分析、敏感数据溯源以及异常事件感知等多个场景提供强有力的数据支撑。
明朝万达Chinasec(安元)安全集中监控与审计系统以大数据技术为基础技术架构,针对采集阶段收集的海量数据,提供日志仓库作为一站式日志数据存储,具有日志统一存储、实时检索、查询和分析的能力,满足用户在不同场景下的数据存储需求。
通过探针、代理采集多源数据,并经过数据预处理后将数据进行存储,产品提供三种不同存储方式。三种模式均支持PB级数存储,且支持数据高可用、灵活水平扩展能力:
实时分析型:
支持海量数据秒级实时检索、多维分析查询;支持实时高并发写入,同时数据更新立即可见。
关联分析型:
支持联机分析处理,针对大数据量下的联机分析有较好的处理性能;兼容关系型、支持标准SQL,低范式要求;支持负责的聚合、多源数据关联查询。
文本分析型:
支持全文搜索,支持分词器;支持检索结果匹配度,支持高亮显示;支持数据冷热分离。
安全集中监控与审计系统提供日志仓库存储采集的数据,支持对元数据进行管理。同时产品支持对仓库副本、留档期限、分区规则等不同维度进行管理配置,满足不同场景下的数据存储诉求。
为确保在数据安全生命周期的管理过程中对日志仓库进行有效监控,产品支持对仓库的数据存储总量、磁盘空间占用进行实时监控,更好的为数据分析等不同的场景提供数据支撑。
借助日志仓库的能力,产品支持对存储的数据进行基础数据分析。可对采集的数据进行实时分析,并支持通过两种不同日志模式进行查看。同时提供快速检索、检索视图等方式对数据进行多维条件检索,减轻安全管理员在数据审计过程中的工作量。
明朝万达凭借在数据安全行业丰富的经验,总结出对不同种类数据存储量进行计算、评估的方法,有效、合理的对硬件资源进行评估。同时在实施过程中对所需要的资源进行阶段性的检查、评估,确保系统正常、高效的运行。