前言

本文记录了我在实验室独立负责设计与开发的一个完整项目 —— 智能人机协同侦察可视一体化系统。该系统为实验室承担的横向课题，现已顺利结项，旨在构建一个具备多智能体部署、实时图像回传、目标识别与大模型语音交互能力的综合仿真平台。

整个平台从0开始搭建，由我个人全权负责并完成系统架构设计、功能模块开发、GUI界面构建及多模块集成、用户手册撰写等，技术栈涵盖 UE4 + AirSim 仿真渲染、PyQt 图形界面、Socket 通信协议及远程推理服务接入。

本篇博客将结合实际演示视频，对整个项目的系统功能、关键模块与技术亮点做一次完整展示与复盘。

项目简介

本项目基于 Unreal Engine 4（UE4）+ AirSim 构建仿真平台，结合 PyQt 图形化控制界面，实现了一个可部署多类无人智能体（无人机、无人车、无人船）的可视一体化仿真平台。系统具备任务规划、目标检测、目标跟踪、态势感知、语音交互等多项智能能力，已成功应用于军科委结题项目。

视频展示

系统功能说明

界面一：兵力与任务部署界面

• 无人智能体配置：左侧面板支持配置最多 5 台无人机，1 台无人车和 1 台无人船，支持混合搭配执行协同侦察任务。

• 目标区域选择：通过中间地图交互区域，指挥员可点击选定目标点，无人机将自动编队飞行至目标区域。

• 目标识别设置：右侧区域允许选择本次任务需重点识别的目标类型，系统将在检测到目标时主动告警。

• 任务调度与执行控制：无人机飞抵目标点后系统提示“到达”，指挥官可下达“开始侦察”指令进入下一阶段。

界面二：视觉侦察界面

• 实时图像汇总：中部显示区域汇集多台无人机回传的目标检测后的RGB+红外图像流，同时展示无人车与无人船摄像头视角。

• 无人单位详情查看：左侧面板可切换查看每个智能体的状态信息（飞行高度、侦察图像等）。

• 目标跟踪控制：用户可点击选中任意无人机并下达“跟踪”命令，系统将激活实时目标跟踪模块。

界面三：态势摘要生成与问答界面

• 大模型远程推理：系统通过 Socket 通信连接部署在实验室集群服务器上的大语言模型（LLM），由服务端负责接收上下文与指令，完成语义理解与任务应答。

• 客户端集成于 GUI 中：PyQt GUI 内部嵌入语音/文本输入模块，将用户查询实时转发至大模型服务端，并展示其返回结果。

• 态势感知：使用态势摘要生成模块快速总结侦察结果；

• 信息检索：通过图片文本跨模态检索功能实现高效的信息提取；

• 上下文保持与多轮问答：支持连续问答与上下文引用，例如：

  • Q1: “无人机三号当前状态？”

  • Q2: “它可以继续执行下一任务吗？”（系统自动理解“它”指代 无人机三号）