现状分析

国内某客户大数据并行系统复杂，一个故障的出现往往涉及硬件、网络、操作系统、应用程序、大数据平台和数据规模等综合因素。按照现有集群维护情况，2018-2019年厂商运维人员解决相关问题百余次，工作量较大且故障排查耗时长。需要从卫星数据处理总体视角来整体分析故障发生阶段和原因、提出方案。大数据集群优化系统项目势在必行。

数据业务处理流程长，涉及系统多，当业务出现故障，则需要快速排查系统，快速定位和识别相关问题，消除业务与系统之间的断层，持续提升管理与业务分析能力。

设计思想

体系架构设计图

首页界面展示效果图

优化建议

项目成果

本项目为提升系统整体稳定性和可靠性，通过监控业务流程集群硬件、操作系统、大数据平台等运行数据，形成卫星数据处理业务全流程监控的大数据监控和优化系统，并基于全流程运行数据识别故障事件，通过故障事件驱动故障处理流程系统，建设以运行监控、异常识别、异常处理、瓶颈优化、巡检统计为功能模块的“大数据集群优化系统项目”。