luping.mp4 录屏分析:配置、识别模型、任务与执行
证据来源仅为用户提供的录屏。正文把【画面事实】【分析推断】【待确认】分开。本文不是厂商接口文档,脚本摘录不能直接用于实车执行。
1. 先看结论
这段录屏展示的是一个机器人调试与配置工作台:地图及站点提供作业位置,车辆模块配置提供能力描述,识别模型描述托盘及识别行为,任务编辑器用导航和自定义动作组织作业,运行页显示路径、机器人位姿和步骤状态。屏幕上的应用名可见 MapStudioPro,连接对象可见 AMB-02,标题版本可见 V2.42.38。这不是从零搭建项目的完整教程:录屏开始时地图、车辆连接、识别文件和任务已经存在。
最清楚的业务链是:LM27 导航准备 → AP28 装货(启用识别、引用 plt/p2.plt、高度 0.1→0.3)→ 与 LM24 关联的叉高动作(1.6)→ AP21 卸货(关闭识别、高度 1.6→1.45)→ 后续叉高动作 。最后一个动作卡片存在,但完整参数没有展开,不能据相似性补全。上述 JSON 高度值本身未显示单位;结合叉控窗口以 m 展示高度,按米理解具有画面支持,仍需实际脚本契约确认。
录屏还展示另一组五步任务,包含 AP21 装货及 LM30、LM27 关联动作,和车辆回到左侧作业区的运行画面。它很可能构成返程作业链,但部分卡片文本被裁切,不能将返程所有参数恢复为完整脚本。
可以从界面交叉解释设计思想:可复用资源 + 站点引用 + 参数化动作 + 有序任务 + 运行反馈 。可以确认资源引用和界面层次;不能仅凭视频确认控制器算法、状态机内部实现、碰撞策略、动作完成判据或所有文件格式。
2. 分析范围与逐帧口径
项目
检查结果
原文件
/Users/wangfeifei/Downloads/luping.mp4
字节数
76,668,460
视频
H.264,1280×800,20 fps
视频帧数
16,137,零基编号 f00000–f16136
视频时长
806.85 s,最后一帧起点 806.80 s
容器时长
806.939864 s,音轨略长
音轨
AAC 双声道;全轨 volumedetect 的 mean/max 都为 -91.0 dB,无可用讲解证据
SHA-256
fabfd9727d771568d896968aa8b6dedca42fd025696afb986f59c2f4cee949ff
全帧处理
每帧解码,计算相邻帧变化并写入 frame_index.csv;无解码错误
原尺寸截图
865 张:每秒一张,并补充达到阈值的界面变化帧
视觉检查
44 张带帧号/秒数的联系表覆盖上述 865 张截图;重点页面另行原图和放大核对
OCR
865 张截图完成本地放大 OCR;结果含大量错误,只作检索线索,不作参数真值
“全帧解码和变化检查”不等于“16,137 帧全部逐字人工语义审阅”。 本次使用全帧机器检查、连续时间抽帧、变化帧补充和重点帧视觉细读。未把其余帧伪称为逐字审阅,也不保证小于一秒且未触发变化阈值的文字变化全部被识别。复查时应结合原视频和全帧索引。变化检测对每 4 像素采样,变化比例阈值为 2.5%,补帧最短间隔 0.15 s;此阈值只用于筛选,不代表业务事件边界。
文件名 f03700_t00185.00.jpg 表示零基第 3700 帧、185.00 秒。联系表上的时间为精确抽取帧时间;本文的阶段起止若以整秒写出,表示观察区间,不宣称真实操作完成时刻。视频内蓝色圆形计时浮层比媒体时间约晚启动一秒,不能替代媒体时间。桌面时钟也不是统一时间基准。
3. 阅读与证据入口
4. 地图:把物理空间变成任务可以引用的位置
4.1 层次与对象
【画面事实】地图同时显示背景点云、站点符号、线/曲线路径、方向箭头、矩形彩色区域、车辆矩形及朝向。后期放大能够读到左侧 LM29、LM26、LM27、AP28,右侧 LM30、LM25、LM24、AP21。早期画面右侧另有 AP20、AP19,未见车辆对它们执行作业。
🔍
E01 地图全局与运行路径,175秒
(点击放大高清原图)
【画面事实】两条竖直作业支路分别经过 LM27/AP28 和 LM24/AP21;上部横向路线连接左右区域;进入竖直支路时有曲线过渡。车辆运行的蓝色路径与这些路线叠加。红色外框区域标签是 AreaShielded / 01。
【分析推断】LM27、LM24 在业务中承担作业前后的准备/退出位置,AP28、AP21 承担装卸位置:依据是导航目标、JSON 的 id 和反复到达的地图位置一致,而不只是 LM/AP 的名称前缀。不能 仅凭颜色把全部橙色块叫作避障区,把绿色块叫作装货完成状态,或把圆圈叫作安全扫描范围;视频没有完整图例。
🔍
E02 站点与路线细节,780秒
(点击放大高清原图)
4.2 地图属性
【画面事实】590 s 的“地图基本信息”显示:版本 1.0.6、分辨率 0.02(该行单位未显示)、宽 90.999 m、高 68.760 m、最小坐标 (-25.272, -24.417) m、最大坐标 (65.727, 44.343) m,面积 6257.091 m²。图元数量可读到普通点 45491、站点 10、路径 9、高级区域 1;其他显示为零的类别需按原图核对名称。
🔍
E03 地图基本信息局部
(点击放大高清原图)
数值交叉核对:65.727−(−25.272)=90.999,44.343−(−24.417)=68.760,与显示尺寸一致。面积与宽高乘积约 6257.091 m² 一致。这里的宽、高描述地图范围,不是机器人或托盘尺寸。
4.3 站点参数不是执行状态
【画面事实】早期 AP28/AP21 属性面板中可见 preDist、preMaxSpeed、backward、preAngle、rduDockable、MAdefine 等复选字段;还可见下接 RGV/PGV 相关选项及关联 LM 站点。字段拼写若有小字歧义,以原图为准。
【待确认】视频未逐项展开解释这些参数,没有足够证据确定启用优先级、默认值、距离参考点或是否参与当前任务。不能将这些字段与 back_dist 混用:一个出现在站点属性,一个出现在识别模型中,作用域已经不同。
5. 车辆配置:能力、布局和控制入口
【画面事实】266–267 s、355.70–356 s 短暂出现设备配置页,名称为 AMB-150;运行连接名称是 AMB-02。两者同时存在,但录屏没有说明命名映射,不能把 AMB-150 认定为 AMB-02 的序列号。
🔍
E04 设备分类和布局,267秒
(点击放大高清原图)
左侧共有 CAN、DI、DISensor、DO、EMC、Indicator、Trigger、battery、camera、charger、chassis、controller、fork、laser、laserDeductArea、led、motor、soundplayer 等分类。括号数字原样记录在参数台账;视频未解释分母含义,不能解释为“实装数量/总数量”。
中心显示车体轮廓、三个带 laser 字样的图形、扇形覆盖、两个 DI 标记和坐标轴。可以确认这是空间布局视图;无法确认每个传感器的具体型号、接线、安装坐标、视场角、帧率、控制通道、供电或连接拓扑。空间共现不等于电气连接或数据流连接。
【画面事实】外设控制窗口具有 外设控制 / Module(Beta) 页签、当前货叉高度、设定高度输入、货叉升降(ForkHeight)、装货(ForkLoad)、放货(ForkUnload) 和停止按钮。50 s 显示当前货叉高度约 0.101 m,132 s 显示约 0.301 m。这是状态回读与设定入口分开显示的证据。
🔍
E05 货叉控制窗口,50秒
(点击放大高清原图)
【分析推断】手动单动作调试与任务中的 operation 使用相同动作名,说明界面把能力提供为可组合的动作。两者是否调用同一个后端接口、是否同步阻塞、如何仲裁,不在画面中。
6. 识别模型:plt/p2.plt 是配置与任务之间的重要引用
【画面事实】24 s 识别文件选择框显示 plt/p2.plt,并有 Recognize 复选框及 Load/Unload/Wait 按钮。88–128 s 模型编辑页选择 plt 分类下 p2;185 s 任务自定义动作包含 recfile: "plt/p2.plt"。
🔍
E06 识别文件引用局部,24秒
(点击放大高清原图)
这三处形成较强的显式引用链:资源目录中的 p2 → 单动作选择器的文件路径 → 任务动作的 recfile 。仍缺文件导出或内容哈希,不能证明它们在整个录屏期间从未变化或后端载入版本完全一致。
🔍
E07 托盘识别模型与参数,100秒
(点击放大高清原图)
画面中的几何标注有 pallet_width、pallet_height、pocket_width、pocket_height、pocket_spacing 和 entry point。右侧同时有几何尺寸、识别类型、识别偏移、布尔选项和退出距离。这证明模型页承载的不只是绘图尺寸,还容纳与识别/作业相关的配置。
识别类型 3dCamera、传感器 ID -1、模板类型 palletparam 均直接可见。-1 的语义是 unknown :不能写成“自动选择第一台相机”。goodsWidth/goodsLength=-1 也不能改成 0 或替换成托盘宽长。
所有模型参数与逐项解释见 PARAMETERS.md 。需注意:pallet_height=0.175 m 描述对象几何,start_height/end_height 描述一次动作的参数;它们不是同一个概念。rec_off_z=-0.050 m 不能没有坐标约定就与叉高直接相加。in_global_framework 已勾选,说明坐标框架是显式可配置项,但具体转换仍待确认。
7. 脚本:画面是参数化动作 JSON,不是底层算法源代码
【画面事实】“自定义动作”窗口左侧是动作类别,右侧是有行号与语法颜色的 JSON 编辑区。可完整读到以下三个配置片段。下方仅保留画面已见字段,不补默认值、不添加隐含行为。
7.1 低位装货
证据:183.30–185.00 s、187.60–190.00 s。以下数值采用 185 s 放大图核对。
{
"end_height": 0.3,
"id": "AP28",
"operation": "ForkLoad",
"recfile": "plt/p2.plt",
"recognize": true,
"start_height": 0.1
}
🔍
E08 装货 JSON
(点击放大高清原图)
id 把动作绑定到地图站点;operation 指定动作种类;recfile 选识别资源;recognize=true 要求该配置启用识别;两项高度把作业前后状态参数化。先识别还是先升降、识别重试次数、插叉轨迹、到位误差、负载检测成功条件均未展开。
7.2 高位准备
证据:702.50–716.00 s,在任务 1 的第三行“自定义动作”窗口中可见。
{
"fork_mid_height": 1.6,
"id": "LM24",
"operation": "ForkHeight"
}
🔍
E09 叉高 JSON
(点击放大高清原图)
【分析推断】它提供与 LM24 关联的叉高准备,且 1.6 与后续卸货 start_height 一致,构成相邻动作的高度衔接。无法仅从 id 推断是在去往 LM24 的途中升叉,还是到 LM24 后升叉;若动作内部隐含导航,也需要脚本实现确认。
7.3 高位卸货
证据:726.25–745.00 s,任务 1 第四行自定义动作。
{
"end_height": 1.45,
"id": "AP21",
"operation": "ForkUnload",
"recognize": false,
"start_height": 1.6
}
🔍
E10 卸货 JSON
(点击放大高清原图)
【画面事实】此处没有 recfile,且 recognize=false。只能确认这个动作配置不要求识别,不能推断整个机器人关闭视觉、避障或定位。
【分析推断】AP28 的装货高度从 0.1 到 0.3,AP21 的卸货从 1.6 到 1.45,支持“低位取货、高位放货”解释;0.2 和 0.15 是配置差值,不是实际举升量测或机械容差。录屏没有实物画面,不能确认货物真的被叉起、卸下或货架净空足够。
8. 任务:容器、任务项、动作组与原子动作
【画面事实】左侧有任务文件/列表,中间左列有 1、2 两个任务项,任务项 1 名称可读为 1-2;主区域为五条带复选框、编号、组名的横条,每条里面是一个动作卡片。右侧提供机器人控制、任务管理和底盘设备控制等动作列表。
🔍
E11 任务1的五步配置,270秒
(点击放大高清原图)
任务 1 的显示行序是:
显示行
组名原文
可确认内容
证据完整度
1
group 5
路径导航,目标 LM27
完整字段窗口在 695–698 s
2
group 1
AP28,ForkLoad,start 0.1,end 0.3,recognize true,plt/p2.plt
完整 JSON
3
group 2
LM24,ForkHeight,fork_mid_height 1.6
完整 JSON,后期展开
4
group 3
AP21,ForkUnload,start 1.6,end 1.45,recognize false
完整 JSON,后期展开
5
group 4
ForkHeight,卡片中可见 LM24
卡片裁切,数值不作完整恢复
组名中的数字不决定执行顺序 :第一行叫 group 5。还需区分高亮组条、被打开属性的卡片和底部运行状态;686 s 展开了任务 2 第一行的属性,但第五行组条仍呈蓝色,不能把所有蓝色都当成正在执行的动作。
🔍
E12 任务2的五步配置,490秒
(点击放大高清原图)
任务 2:
行
画面可见内容
不可恢复部分
1
ForkHeight;LM24;686 s 完整窗口为 fork_mid_height 1.45
实际完成判据
2
ForkLoad;AP21;recognize true;start_height 1.45;卡片可见 p2.plt 引用片段
end_height 被裁切;完整 recfile 字符串未在该窗口展开
3
ForkHeight;LM30
完整高度数值和动作语义仍需源文件
4
ForkUnload;卡片末尾可见 0.3,recognize 字段可见但文本裁切
id、end_height、完整布尔值不补全
5
ForkHeight;LM27
完整高度数值未可靠恢复
任务 2 的第一行窗口:
{
"fork_mid_height": 1.45,
"id": "LM24",
"operation": "ForkHeight"
}
🔍
E13 任务2第一行叉高参数,686秒
(点击放大高清原图)
【分析推断】两任务组织出往返作业:任务 1 把低位取货和高位卸货串联;任务 2 从高位侧准备并回到左侧。录像中的回程移动支持这一解释,但因缺失返程完整 JSON,不将业务推断当作逐字段恢复。
9. 执行:从配置意图到可见反馈
9.1 单动作调试阶段
16.80–26 s 打开 AP28 的装卸/识别窗口并选择资源,27–48 s 车辆向左侧 AP28 区域移动。48.65–56 s 打开货叉控制,随后车辆在左侧有位置和姿态变化。86.15 s 转到识别模型编辑。128.15 s 返回地图,131–134 s 再次打开叉控。这一段属于选择资源、观察行为、检查模型的调试过程,不是从零创建模型。
143.70–145 s 在右侧作业点打开窗口,146 s 后出现跨左右区域的蓝色路径。车辆在约 163 s 转入上部水平路线,约 178–180 s 到右侧弯道;191.85 s 返回地图时车辆已到右侧竖直段,约 203 s 进入 AP21 附近。这段支持导航与作业站点之间的关联。
9.2 任务执行阶段
267.40 s 打开任务页,约 271 s 切入运行显示;284.45 s 返回地图时车辆已沿上部路线向左移动;304–306 s 切回任务页再返回;330 s 蓝色路径再指向右侧;356.85–360 s 任务页高亮从装货相关行转到叉高相关行;360.80 s 返回地图后车辆进入右侧支路。
477.95–523 s 是观察任务步骤推进的重要窗口:477–480 s 任务 2 第四组条蓝色,481 s 起第五组条蓝色;497.90 s 切回任务 1,第 1 行蓝色,约 504 s 第二行蓝色。结合录屏中底部“运行中”状态和连续变化,可将其解释为步骤推进;单张截图的颜色本身不构成完成证明。
523.25 s 返回地图后再次左→右运行。603.90 s 转入任务 2,613.30 s、632.60 s 等时刻高亮推进。662.40 s 返回地图时车辆已在左侧 LM27/AP28 支路。670.40 s 又进入任务 2 后部步骤。683.25 s 页面从运行灰暗显示恢复到可编辑显示,随后开始查看参数。
9.3 反馈证据的边界
绿色/蓝色车辆轮廓及红色朝向标记随时间变化:证明界面显示的位姿变化,不证明实车与显示完全一致。
蓝色路径出现、消失或缩短:支持当前导航路线的解释,不证明采用 A*、Dijkstra、样条或某特定算法。
货叉当前高度 0.101/0.301 m:属于可见回读,不应与设定值混成同一字段。
部分截图右下显示“机器人告警(1)”,590 s 附近可见“机器人告警(2)”;内容没有展开,原因与是否影响当前任务均 unknown。
切换到模型或任务页面时看不到地图,不等于机器人停止。只有页面显示变化,没有停止命令证据时不能判停。
底部任务状态、步骤高亮、目标站点和位姿应共同核对;本文没有控制器日志、任务事件 ID 或实际负载检测量。
10. 最后阶段:扩展属性编辑与错误反馈
【画面事实】约 769 s 切入地图编辑视图;随后左侧 AP28 附近出现 Loc-1-1 对象。781.25 s 打开该对象属性表,包含添加、编辑、删除入口;783–790 s 打开“添加属性”窗口,键/值输入区中出现 QU1(键名小字需原文件复核)和 123。790 s 顶部出现“非 JSON 格式错误”;791–802 s 回到外层空表;802.70 s 关闭窗口。
🔍
E14 扩展属性校验错误,790秒
(点击放大高清原图)
【分析推断】软件支持在地图对象上附加键值式扩展信息,并进行 JSON 格式校验。但录屏不足以判断它要求整个对象、某一值还是特定 schema,也不能把 123 单独定性为非法 JSON:数值 123 本身可以是合法 JSON 值,错误还可能涉及键或预期结构。
【结论】此处只能记录“尝试编辑并触发错误,未见成功添加”,不能把 Loc-1-1 → QU1 → 123 纳入已经建立的任务逻辑链。标题末尾出现星号也只说明界面存在待保存变更提示,不能证明已写入磁盘或下发车辆。
11. 关联图与设计思想
flowchart TD
M[地图:站点与路线] -->|id / 导航目标| A[参数化动作]
R[识别目录:plt 下 p2] -->|recfile: plt/p2.plt| L[ForkLoad / AP28]
G[托盘几何、识别类型、偏移、退出距离] --> R
L --> A
V[设备页:fork / camera / laser 等] -.能力支持:实现映射待确认.-> A
A --> T[任务项 → 有序动作组]
T --> E[运行:下发、步骤状态]
E --> F[地图路径 / 位姿 / 货叉高度 / 告警]
F -.人工观察并检查配置.-> T
F -.人工检查识别参数.-> R
实线表示画面可找到的结构或引用;虚线表示分析推断或需要实现材料确认的关系。
资源和实例分开。 识别对象以分类/文件存在,动作通过 recfile 引用;替换资源与修改任务参数是两个维度。但视频未证明实际热更新机制。
位置与动作分开。 地图站点可供导航和叉车动作共同引用,不必在每个步骤中填写地图坐标。
几何与工艺高度分开。 托盘尺寸属于对象模型;取放高度属于一次作业;识别偏移属于定位/识别修正配置。避免把三个维度混合是理解软件的关键。
通用编辑器承载多种动作。 UI 提供导航、叉取/放货、等待、DI/DO 等入口,JSON 可以表达更丰富的参数。具体脚本文件是否存在、如何加载与执行未知。
调试入口与任务入口并存。 操作者先在地图上对单动作调试,再查看/运行复合任务,这是录屏实际呈现的工作方式。
运行可观测性跨页面。 有步骤高亮、底部状态、目标站点、路径、位姿、叉高、告警;任何一个视图都不能单独证明业务成功。
扩展能力同时需要校验。 地图对象可以编辑属性,错误反馈证明存在输入验证;具体数据契约缺失,不能推导为任意 JSON 均支持。
12. 尚未还原的关键问题与补证路径
级别
缺口
为什么影响结论
补证材料
P0
自定义动作实现与参数单位/坐标定义
无法确定高度、偏移、导航与叉动作的精确先后及完成条件
ForkLoad/ForkUnload/ForkHeight 实际脚本、接口契约
P0
任务2及任务1末步完整字段
卡片裁切,无法完整复现往返任务
原始任务导出文件
P0
真实任务结果与告警内容
界面运动不等于取放成功,告警未展开
执行日志、货叉/接货 DI 状态、告警详情、实物同步视频
P1
-1、布尔选项、阈值的正式语义
不能推断默认行为和边界
p2.plt 原文件与识别模板说明
P1
地图区域和路线属性
AreaShielded 的作用范围/对象未知
smap 原文件、属性说明
P1
AMB-150 与 AMB-02 的对应
型号配置与连接对象映射未知
车辆配置导出与设备信息
P2
JSON 属性错误具体规则
错误提示存在但不能定位是哪一字段
输入格式文档或软件校验代码
P2
短暂小字变化可能未覆盖
全帧检测不能保证所有语义变化均识别
原视频逐帧人工复核或原始操作日志
当前文档保留这些缺口,不用名称常识、其他项目的 Proto 或外部产品默认值补齐。尤其不能将当前 AMR Studio 项目的实现直接当作录屏软件的实现。
13. 验证说明
全片帧数与 ffprobe 元数据一致,截图命名保留帧号和媒体秒数。OCR 存在显著错误,例如尺寸小字与脚本标点误读,因此参数表仅采用视觉核对值,并对裁切/歧义保留 unknown。图文证据浏览器另做本地浏览器检查;详细结果见 VERIFICATION.md 。没有修改 AMR Studio 业务代码,也没有连接或操作视频中的机器人。