热门搜索 企业动态 新闻中心 成功案例 社区 Prometheus交流区

案例解读:国家级综合性研究所统一运维平台实践

客户简介

该研究所是我国重点科研院所之一,聚焦电子信息系统与智能装备两大方向,是船舶行业信息化支撑单位与智能制造创新中心牵头单位,具备大型信息系统集成、数字化车间、智慧院所建设能力。研究所院区与科研资产规模庞大,IT、动力、科研设备运维体系复杂,亟需构建一套完全离线运行、全栈国产化适配的统一运维监控平台。

客户痛点

客户原有的运维监控以通用监控工具为主,难以适配嵌入式设备、国产操作系统以及科研场景的运行要求,在监控覆盖、采集开销、资产管理、告警处置、可视化与智能化等方面陆续暴露出一些共性问题。

01 国产嵌入式操作系统监控存在盲区,缺乏统一监控手段

JARI-Works等基于Linux内核的国产嵌入式发行版无法被原有工具完整纳管,具体表现在几个方面:

龙芯、飞腾等国产处理器平台上的CPU、内存、磁盘、进程等核心运行指标采集不全;

麒麟V10、OpenEuler缺少官方适配的采集插件;显控台、NPU一类设备型号特殊、系统裁剪严重,通用的采集方式往往无法直接使用;国产化的兼容性证明文件也不齐备,难以满足内部审计和行业监管的自主可控验收要求。

02 资源受限,设备与监控采集的开销矛盾突出

嵌入式设备普遍配置偏低,在实际环境中,通用Agent的安装包往往有数百兆,很难在2核512MB这一量级的设备上完成安装;

即便装上,常驻的采集进程也会持续占用CPU和内存,与业务争抢资源。设备负载处于高峰时,采集进程还可能进一步加剧系统拥塞,甚至引发业务异常;一旦网络中断,采集数据无法补传,监控曲线也会出现断点。

03 软硬件资产台账分散,缺乏自动化采集与统一视图

资产管理依赖人工登记和分散的台账,信息不准、更新滞后。

CPU型号、主板序列号、内存容量、外设清单等硬件信息,以及内核版本、驱动、固件、关键应用清单等软件信息,都无法自动采集;

机房机柜视图和资产全生命周期审计缺失,资产变更缺少记录。

分散在各个系统中的资产数据,也无法为监控、告警和自动化运维提供统一、准确的数据来源。

04 告警体系缺失,应急处置依赖人工、通知渠道受限

原有监控手段没有形成标准化的告警闭环。告警分散在不同界面,缺少按状态、级别、业务、IP等维度的统一展示与检索;

通知渠道单一,而项目又要求告警能够通过本地日志、自定义脚本、标准API等方式推送到客户内网系统,原有工具无法满足;

设备检修期间告警持续产生,缺少维护模式和忽略机制,噪声干扰明显。此外,告警日志字段不完整,事后复盘和审计时难以还原告警的时间、对象、级别与恢复状态。

05 智能分析与自动化运维能力不足,且受完全离线部署约束

告警关联、异常诊断和根因推理主要依靠人工经验,故障定位周期较长;

智能体的分析逻辑不可定制,也缺少二次开发接口和配套指南,客户无法按自身业务扩展分析规则。

运维操作缺少带外管理(IPMI)能力,物理服务器的开关机、重启只能到机房现场处理;

流程编排缺少定时触发规则,周期性运维任务无法自动执行。与此同时,系统需要客户内网完全离线部署、闭环运行,AI大模型也由客户另行部署,这对平台的架构解耦能力提出了额外要求。

乐维解决方案

针对上述问题,乐维采用“轻量化Agent + 中心Web控制台”的分布式架构,围绕统一监控、资产管理、告警通知、可视化展示、知识库、智能分析、自动化运维与运维驾驶舱八个方向,完成标准纳管与专项定制开发,最终交付一套可在内网独立运行、适配国产软硬件的一体化运维监控平台。

1、轻量化数据采集

针对资源受限的嵌入式设备,平台在采集环节做了专门的轻量化设计:

  • 多采集方式:支持Agent(主)、SSH、HTTP、脚本、计算型五种方式,可按设备类型灵活选择;
  • 极致轻量:Agent安装包实测35MB,在2核512MB的典型嵌入式设备上CPU占用约0.6%、内存占用约0.8%,对业务运行基本没有影响;
  • 熔断保护:当设备CPU超过90%或可用内存低于10%时,Agent会自动暂停非关键采集,资源恢复后再自动重启,避免监控与业务争抢资源;
  • 数据补传:采集数据支持本地缓存,网络恢复后自动补传,监控曲线不再出现断点;
  • 专用安装包:提供通用Linux、显控台设备和ARM架构Docker环境三类Agent安装包,分别适配不同的设备形态;
  • 一键发现:输入IP网段和管理凭证即可批量扫描,自动识别厂商与操作系统类型并匹配监控模板,扫描过程支持终止、重扫、凭证测试和厂商切换。

2、全栈监控

平台面向研究所的嵌入式终端与基础设施,具备从操作系统、硬件、网络、云平台到数据库、中间件、容器、存储、链路与供电设备的全品类纳管与适配能力,具体范围如下:

  • 操作系统与嵌入式终端:JARI-Works V4/V5、麒麟V10 SP3、OpenEuler、Windows,其中麒麟与OpenEuler环境同时纳入了NPU监控,主要面向显控台、NPU等资源受限的嵌入式设备;
  • 服务器硬件:飞腾、华为泰山鲲鹏、昇腾、加固服务器等,并兼容IBM、联想、华三、浪潮、曙光、烽火、中兴、戴尔、惠普等厂商的BMC管理系统;
  • 网络设备:华为、迪普、盛科等品牌的交换机;
  • 云平台与虚拟化:捷云(FusionCube)虚拟化环境,并预置华为FusionCompute、深信服HCI、浪潮InCloud、新华三UIS/CAS、VMware、SmartX、ZStack等主流虚拟化监控模板;
  • 数据库:华为GaussDB、达梦DM8、人大金仓KingbaseES、TDSQL、MySQL、Oracle、SQL Server、PostgreSQL等;
  • 中间件与容器:显控台中间件(JMX)以及K8s、Docker容器平台;
  • 存储与供电:华为OceanStor等存储设备,以及PDU供电设备、网络与专线链路等IOT对象。

目前,平台已在研究所内网环境中稳定纳管各类设备200余台,覆盖上述全部对象类型,采集、监控、告警与资产等各项功能运行平稳。

信创运维

以操作系统状态监控与分析为例

面向国产嵌入式与通用操作系统,平台实现了核心运行指标的全面监控,所有指标均支持阈值告警:

国产化监控

操作系统核心监控指标体系

监控范围覆盖JARI-Works V4/V5、麒麟V10 SP3(含NPU监控)、OpenEuler(含NPU监控)与Windows;

日志监控可在操作系统指标列表中通过“管理→添加日志指标”配置日志路径、采集关键词与告警级别;

可用性探测支持WEB探测(GET/POST,校验状态码与响应时间)、TCP探测以及PING/UDP探测;

链路监控内置思科专线SLA、华为/华三专线NQA和ICMP四类探测方式,可自定义带宽、上下行阈值与告警等级,对时延、抖动、丢包率做实时统计。

监控完成后,还可以为显控台、NPU等特殊设备更换专用监控模板,实现指标项的精准匹配。

监控平台

软硬件资产自动化管理:自动采集、灵活建模、全程审计

平台以乐维CMDB作为全平台唯一的资产数据源,实现资产信息的自动采集、灵活建模与全程审计,让软硬件资产从录入到变更全程可管可控。

自动采集:硬件侧自动采集CPU型号、主板序列号、内存容量、外设列表等信息。软件侧自动采集内核版本、驱动、固件、关键应用清单等信息。

灵活建模:自定义CI属性支持字符、整数、IP、枚举、布尔、日期六种类型。资产模型、字段与关系均可按需配置,满足不同业务场景。

批量与视图:支持资产信息批量导入,快速沉淀历史资产数据。提供机房机柜视图,直观管理物理资产。

全程审计:所有资产操作全程留痕,审计记录包含操作用户、操作对象、操作详情、操作类型和操作时间,满足合规溯源要求。

国产化

告警与通知体系:全链路闭环,从产生到处置

告警与通知体系覆盖告警产生、检索、关联、通知到处置的完整链路,实现全流程闭环。

告警闭环:实时告警以时间线展示最近时段告警,支持按级别、关键字、IP、类型、分组、时间、标签、维护状态、所属业务等维度过滤。

全部告警按“未恢复未确认/未恢复已确认/全部/忽略”分类查看,支持批量确认、关闭与导出。

告警可关联知识库方案、监控指标和阈值规则,处置时一键查证;告警日志完整记录告警时间、对象、级别和恢复状态,满足复盘与审计要求。

通知触达:支持自定义通知规则,推送方式包括本地日志记录、自定义脚本触发、标准API推送至客户内网系统。

可通过脚本驱动GPIO蜂鸣器或LED,实现现场声光告警。

降噪与维护:告警忽略与维护模式可有效压制检修期噪声。

快速维护支持1至1440分钟;维护模式支持一次性、每日、每周、每月四种周期,维护窗口内告警自动静默。

AI告警分析:对近三十天告警进行趋势、级别分布与整体情况分析,自动生成分析报告和优化建议

告警管理

自动化运维与带外管理:安全带外操作,灵活流程编排

平台在自动化运维模块中新增“带外管理”菜单,面向支持IPMI/BMC的物理服务器提供带外操作能力,并同步增强流程编排与场景化作业能力。

带外管理:操作类型包括开机、软关机、强制关机、重启和状态查询。支持基于CMDB资产批量操作;操作前进行在线状态和维护窗口健康检查。操作结果回写事件流,触发后续自动化动作。

全程审计:记录操作人、时间、对象、原状态、新状态、操作类型、原因和结果;审计日志按月分区且不可删除。

安全策略:BMC凭据高强度加密存储于凭据保险箱;同一资产5分钟内不允许多次关机类操作;全局并发IPMI任务上限为50个;强制关机仅限运维管理员执行,且需二次确认并记录原因。

流程编排:新增“定时触发”规则类型,与手动、事件、告警触发并列。

支持Cron表达式、起止时间、执行间隔(分/时/日/周/月)、生效时区和启用状态等配置,并支持规则启停与执行历史查询。

调度采用Quartz持久化集群模式,每30秒扫描到期任务,通过数据库锁进行leader选举以保证单点触发;触发后的任务进入Kafka异步执行,避免阻塞调度线程。

场景能力:同时交付巡检管理、作业管理和配置管理。覆盖配置更新、配置下发、配置备份和系统巡检等典型场景。

内置智能体 + 开放接口 + 对话式AI助手

平台内置智能分析体,采用数据接入层、分析引擎层、规则管理层、接口层四层架构,内置数据采集、告警关联、异常诊断、根因推理、规则引擎、模型管理和接口网关等核心组件,支持告警关联分析、异常诊断与根因推理。

二次开发与持续演进:开放数据分析、告警关联、异常诊断、根因推理和自定义规则五类二次开发接口。支持RESTful API、Python/Java SDK与插件机制三种调用方式。分析逻辑允许客户自行修改或替换,并配套交付《智能体二次开发指南》,让分析能力持续演进。

自主可控与架构解耦:AI大模型由客户另行部署,平台本身不内置大模型。平台只提供数据输出接口和智能体运行框架,保证架构解耦,满足自主可控要求。

AI分析:在告警详情与告警列表页面嵌入AI分析入口。支持自然语言对话式提问,可完成根因分析、相似告警检索、处置建议和知识推荐等操作。

结果以侧边栏方式呈现,采纳建议后可直接生成工单,形成分析到处置的闭环。

可视化展示与运维驾驶舱

平台提供组件化拖拽面板,可用折线图、仪表盘、环形图、表格、文本项等组件自定义监控界面,各组件均可独立配置数据源。

其中最受关注的是以“船舰”为主题视觉的运维驾驶舱,主要用于运维值班和领导巡视时直观掌握全网运行状态:

  • 船舰主视觉:船体、桅杆和按业务域划分的船舱构成主画面,配合PixiJS粒子流呈现从船头到船尾的流动效果,粒子颜色随链路健康度变化,同时支持水上、水下两种船体效果;
  • 船舱弹窗:悬停或点击船舱即可弹出业务域核心指标,包含业务名称、负责人、在线/离线数量、各等级告警分布和最近变更时间,并可跳转到业务域详情页;
  • TOP10模块:集中展示资源占用(CPU/内存/磁盘)、告警频次、工单积压和慢接口的TOP10排行;
  • 全局指标与云资源总览:顶部和底部展示在线率、告警数、未处理工单等全局指标,云资源总览支持按需配置展示内容;
  • 可配置与性能设计:核心设备状态、船体打点信息、资源占用、告警等级与船舱数据来源均可配置,控制区支持一键巡检与应急模式,并为供电、供液设备预留接口;大屏自适应1920×1080与3840×2160分辨率,支持全屏切换与轮播,首屏渲染在3秒以内,并具备5分钟离线缓存能力。

客户收益

01 自主可控,合规达标

全栈适配JARI-Works、麒麟、OpenEuler及飞腾、鲲鹏、龙芯,补齐NPU等监控盲区;核心组件国产内网闭环,不依赖外部网络和海外组件。已通过信创符合性测试和第三方权威确认测试,功能、性能、安全、可靠性均达验收标准。

02 轻量纳管,业务无感

Agent仅35MB,在2核512MB设备上CPU约0.6%、内存约0.8%;高负载自动熔断让路。显控台、NPU等资源受限设备也能稳定纳管,解决“想监控、装不动、怕影响业务”的问题。

03 数据统一,告警闭环,处置提效

CMDB自动采集、统一可信,支撑监控、告警、自动化与驾驶舱;告警集中展示,关联知识库、指标和阈值规则,维护模式有效降噪;AI可对近30天告警生成趋势分析与优化建议。

04 自动化与可视化,减少重复人力

带外管理统一物理服务器开关机、重启和状态查询,支持批量操作与二次确认,减少机房往返;定时编排自动执行巡检、配置备份等周期任务;船舰驾驶舱一屏掌握链路健康、业务在线率、告警分布与TOP10风险。

05 智能可定制,长期自主演进

内置智能体,支持告警关联、异常诊断和根因推理;五类二次开发接口、Python/Java SDK、插件机制和开发指南,AI大模型由客户自主部署;全量文档与源码交付,可独立构建、长期运维和二次开发。

乐维社区已经开放乐维运维智能体免费版,欢迎下载使用!

乐维社区
The prev:

Related recommendations

Expand more!