Skip to main content

JetPack 7.2 内存优化:软件演进与大模型部署预算

Jetson 统一内存示意图:CPU、GPU、系统与相机共享同一 DRAM 池,显示、权重、运行时和 KV 缓存也都从中分配

Jetson 使用统一内存:CPU、GPU、系统服务、相机与显示子系统、模型权重、推理运行时以及 KV 缓存都共享同一片物理 DRAM。JetPack 7.2 并不会为现有模组增加物理 DRAM,而是更新软件基础,并引入新的方式来构建、裁剪、测量和部署这个共享内存系统。

在 DRAM 供应持续紧张、内存成本上升的背景下,立刻换用更大内存的模组并不是让边缘 AI 设计可行的唯一途径。一次经过良好测量的 JetPack 7.2 升级可以释放此前被平台占用的内存,并让剩余预算更易于控制。从这个意义上,它可以视为一次软件内存升级:模组的物理容量没有变化,但在系统镜像、运行时、模型精度和请求上限重新验证之后,原本无法在等效 JetPack 6.2 部署中落地的大模型工作负载,可能变得可行。

本文聚焦于 Jetson Orin 开发者的两个问题:哪些 JetPack 7.2 软件更新可以提升内存效率,以及如何把可用内存转化为一个可执行的大模型部署预算。它将 JetPack 7.2 的特性与通用的 TensorRT 和大模型技术区分开来,帮助你对每一项优化进行准确测量。

reComputer J3011reComputer Classic J5011
reComputer J3011,对比表中的其中一台设备reComputer Classic J5011,对比表中的另一台设备
Jetson Orin Nano 8GB 平台Jetson AGX Orin 32GB 平台
info

阅读指引

本文的实操配套是 JetPack 7.2 Memory Optimization 指南,它将同样的原则转化为一套以技能为驱动的审计与配置工作流。

1. JetPack 7.2 的专属变化是什么?​

JetPack 7.2 提供 Jetson Linux 39.2、Ubuntu 24.04、Linux 内核 6.8、CUDA 13.2.1 和 TensorRT 10.16.2。JetPack 7.2 资源中心 已经介绍了完整的发行特性集;本节只保留那些会改变大模型内存决策的能力。

JetPack 7.2 能力为什么会出现在本文中详细指南
更新后的 CUDA 与 TensorRT 软件栈它是重建和分析受支持推理引擎的软件基线。在 JetPack 7.2 上部署 TensorRT Edge-LLM
内存优化与基准测试技能它们提供了一种可重复的方法,在修改配置前测量平台预留、服务和工作负载压力。JetPack 7.2 Memory Optimization
官方 Yocto 支持当 Ubuntu 开发镜像包含不需要的软件时,生产团队可以创建一个定制且可复现的镜像。构建并烧录 Yocto 镜像

JetPack 7.2 不会为模组增加 DRAM,不会自动缩小模型,也不会自行启用诸如 KV 缓存复用之类的运行时特性。它提供的是做出这些选择并对其进行测量的软件基线和工具链。

1.1 更低的启动内存就是可用的大模型余量​

系统在启动时的占用是大模型预算的第一部分。下面这组历史 Orin Nano 8 GB 对比显示:在某个 JetPack 6.2 状态下大约使用了 1.4 GiB,而在某个 JetPack 7.2 状态下只使用了略高于 800 MiB。两者的差值——在这个特定镜像与服务配置中大约 600 MiB——可以留给推理运行时、模型工作区或 KV 缓存,而不是在应用启动前就被消耗掉。

Orin Nano 上 JetPack 6.2 与 7.2 启动内存占用的历史对比

这就是为什么可以把更低的系统内存占用理解为一次软件内存升级。模组依然只有 8 GB 物理 DRAM,但更小的平台占用让应用可以实际预算的那一部分变大。对于受内存约束的大模型部署来说,这部分额外余量可能就是在引擎加载或预填阶段失败,和拥有足够空间运行一个有用且有边界的请求之间的差别。

JetPack 6.2 与 7.2 软件栈对比:Ubuntu 22.04 + CUDA 12.6 对比 Ubuntu 24.04 + CUDA 13.2,以及更轻量的 7.2 基线

并非每一个 JetPack 7.2 镜像都会自动得到这样的结果。桌面模式、启用的服务、容器、显示与相机链路、载板 BSP 设置以及测量时机都会影响基线。在把回收的余量分配给更大的模型或更长的上下文之前,请先在实际设备上测量稳定空闲状态。

关于已发布的 AGX Orin 32 GB JetPack 6.2 与 7.2 模型加载对比——包括其测试配置与性能数据——请参见 JetPack 7.2 Deep Dive。

2. 将 JetPack 7.2 软件栈转化为大模型内存预算​

JetPack 7.2 提供平台与工具链;大模型仍然必须装进操作系统和产品服务启动之后剩余的内存中。可用预算取决于模型大小、上下文长度、批大小、权重量化精度以及执行模型的运行时。在修改设置之前,先按下面这些块进行拆分。

大模型内存拆分为运行时、权重、工作区和 KV 缓存
  • 模型权重(Model weights) —— 模型本身及其训练得到的参数。通常是最大的一块:模型越大或精度越高,占用的内存就越多。
  • KV 缓存(KV cache) —— 模型对“当前对话进展”的记忆。它避免模型在生成每个新 token 时都重新阅读整段对话,但上下文越长,它就越大。
  • 激活值(Activations) —— 计算中间产生的临时数值;模型逐层计算时创建并释放。
  • TensorRT 工作区(TensorRT workspace) —— TensorRT 在准备和运行模型时预留的临时工作空间。
  • CUDA 上下文(CUDA context) —— CUDA 运行时在任何计算开始前打开的 GPU “会话”:上下文、流以及内部状态。
  • 运行时 / 临时缓冲区(Runtime / temp buffers) —— 框架和你的应用用于搬运数据的短生命周期缓冲区:I/O 缓冲区、拷贝区域和中间临时内存。

2.1 运行时边界:TensorRT Edge-LLM 带来了什么​

JetPack 7.2 提供 CUDA 13.2.1 和 TensorRT 10.16.2,作为 TensorRT Edge-LLM 运行受支持边缘大模型工作流的底层组件。Edge-LLM 是一个独立的运行时与工具链,而不是 JetPack 自动启用的某个特性。当模型与版本受支持时,它可以从 INT4 AWQ checkpoint 构建 TensorRT 引擎,并使用内存规划、KV 缓存管理、算子融合和 CUDA Graphs 等技术。

对 JetPack 7.2 开发者而言,实际收益是:拥有一套可与可复现系统基线配合使用的、最新的 NVIDIA 推理软件栈。目标不仅是把大模型跑起来,而是让模型与共享有限 DRAM 和内存带宽的 CPU、GPU、服务和应用共存。

对于大模型来说,权重通常是需要首先计入的稳定分配。一款 40 亿参数(4B)的模型大致需要:

40 亿参数大模型的内存估算:FP16/BF16 约 8 GB,INT8 约 4 GB,INT4 约 2 GB

这些数字只描述权重本身。量化尺度、元数据、运行时缓冲区和 KV 缓存都是额外的分配。即便如此,从 FP16 切换到 INT4 仍然可以在理论上将权重存储减少约 75%。

2.2 llama.cpp 与 TensorRT Edge-LLM 是不同路径​

“4-bit” 这个标签并不会让两种部署等价。在同一个 JetPack 7.2 镜像上,llama.cpp 使用的 Qwen3.5-4B GGUF 文件,与 TensorRT Edge-LLM 使用的 INT4 AWQ checkpoint,会沿着不同的路径抵达同一块 Jetson GPU。

对比GGUF 路径TensorRT Edge-LLM 路径
量化产物一个 GGUF 文件,例如 Q4_K_M一个受支持的 INT4 AWQ checkpoint 及其导出的产物
推理引擎llama.cpp模型导出 → TensorRT engine
GPU 执行由 llama.cpp 构建和后端选择的 kernel具有受支持融合、内存规划、插件和 CUDA Graphs 的 TensorRT engine
公平的内存对比匹配模型、上下文、GPU offload、batch、电源模式和版本匹配相同变量,然后计入 engine 和 workspace 的使用

因此,TensorRT Edge-LLM 不只是一个 INT4 模型读取器。它会将受支持的 checkpoint 转换为针对 NVIDIA GPU 优化的 engine。可用的具体特性取决于模型、engine 构建方式以及 TensorRT Edge-LLM 版本,因此务必查阅其受支持模型矩阵和发布文档。对于 JetPack 6.2 与 7.2 的对比,应在各自的软件栈上重新构建或重新验证这两条路径;不要复用旧的 engine 然后把结果称为 JetPack 7.2 的收益。

2.3 KV Cache:JetPack 7.2 无法消除的预算​

KV cache growth per generated token as the context lengthens

当 Transformer 生成第一个 token 时,它会处理提示词并存储其计算出的注意力 key 和 value。在下一个 token 上,runtime 可以重用这些值,而不是再次计算完整历史。正是这种重用让解码保持可行,但也带来了代价:随着对话增长,cache 也在增长。

KV cache memory growth across requests in the chart, with the 30 GB memory limit and OOM line marked

一个近似的规划公式是:

KV-cache bytes ≈ 2 × layers × KV heads × head dimension × tokens × batch × bytes per element

这就是为什么同一个 INT4 模型在 4K 上下文下可以运行得很从容,却会在 32K 时耗尽内存。JetPack 7.2 也许会通过更精简的部署镜像或更高效的受支持 runtime 留下更多可用余量,但它并不会限制 KV-cache 的增长。权重量化降低的是固定成本;上下文、batch 和并发仍然决定预算中不断增长的那一部分。

2.4 KV Cache 复用:把增长中的成本变成可管理资源​

第 2.3 节解释了这种权衡:KV cache 阻止模型在每个 token 上都重新计算完整提示词,但随着上下文增长,它会消耗更多 DRAM。在 JetPack 7.2 部署中,首先利用平台改进来确定一个真实的内存预算;然后再决定 cache 中已经存储的工作是否能帮助下一次请求。

TensorRT Edge-LLM 将该 cache 视为一种 runtime 资源,而不是不可见的副作用。engine 在构建时会指定目标输入长度和 KV-cache 容量,而 runtime 则为活动和保留的上下文维护一个 page pool。这是运行在 JetPack 7.2 计算栈上的 TensorRT Edge-LLM 能力——不是由操作系统自动应用的 cache 策略——但它让 7.2 部署可以有意识地预留内存,而不是在发生 out-of-memory 故障后才发现极限。

对于受支持的模型,Edge-LLM 还可以在请求之间复用匹配的提示前缀。cache 仅对一个 runtime 实例本地可见,并以前缀内容为键,因此只能复用提示中共享的部分。在当前的 Edge-LLM 实现中,此特性需要 FP16 KV cache,并且必须为所选 engine 和 runtime 显式启用。

轮次不使用前缀复用使用前缀复用
第一次请求系统提示和用户提示会被预取,然后写入 KV cache。需要相同的初始预填充。
之后使用相同系统提示的请求重复的前缀会再次被预取。可以复用匹配的已缓存前缀;只需为新增部分做预填充。
Prefix KV cache reuse across repeated LLM requests

这对具有较长系统提示的 agent、带有重复文档前缀的 RAG 工作流,或重复相同图像前缀的 VLM 请求尤其有用。最大的收益通常是减少重复的预填充工作并缩短首 token 时间,而不是降低峰值内存需求。被保留的 cache page 仍然会消耗内存,并且更改提示、图像或图像顺序会阻止受影响前缀的复用。

对于 Jetson 部署,要验证复用是否生效,而不是假定它已启用。为计划保留的上下文构建足够的 page-pool 容量,在 runtime 中启用上下文复用,并检查 runtime profile:命中 cache 的请求应报告一个大于零的 reused-token 计数。

在考虑了上下文容量和复用之后,剩下的问题是每个生成 token 的内部发生了什么。这正是 TensorRT 执行优化发挥作用的地方。

2.5 JetPack 7.2 上的 TensorRT:减少中间数据搬运​

一个 Transformer 层会组合归一化、量化或反量化、矩阵乘法、激活和注意力等操作。如果这些操作作为独立 kernel 执行,一个 kernel 可能会把中间 tensor 写入 DRAM,而下一个 kernel 会立刻把它读回来。

Transformer layer execution: each step writes to DRAM and the next reads it back, with the extra kernel launches and temp buffers that follow
执行路径穿越 DRAM 的内容在 Jetson 上的重要性
独立 kernel每个中间 tensor 在操作之间都会被写入和读出。更多带宽使用、临时分配和 kernel 启动。
融合 kernel兼容操作在最终结果写回之前一起运行。更少的中间流量和更低的 runtime 开销。

Kernel 融合不会改变模型权重或 KV cache 的大小。它减少的是在操作之间移动的工作数据,因此可以改善延迟并降低瞬时 runtime 压力。JetPack 7.2 的 TensorRT 10.16.2 为这条 engine 路径提供了 TensorRT 版本,但本文并未声称某个特定融合是在 7.2 中引入的。可用的融合取决于模型图和 engine 构建;应在目标 Jetson 上对生成的 engine 进行测量,而不是把融合视为一个固定的节省内存数值。

融合减少的是 kernel 序列内部的工作。解码仍然会为每个生成 token 重复该序列,这就留下了单独的调度成本。

2.6 JetPack 7.2 Runtime 路径上的 CUDA Graph​

在解码期间,LLM 每次迭代会生成一个或少量 token,而类似的 GPU 操作序列会被多次执行。在传统路径中,CPU 会反复提交该序列。

CUDA Graph 会先记录一次兼容的 GPU 序列,然后在之后通过单次 graph 启动进行回放。

解码阶段传统启动路径CUDA Graph 路径
初始兼容序列CPU 启动各个 GPU 操作。runtime 将该序列记录为一个 graph。
后续迭代CPU 在每次迭代中再次提交该序列。CPU 启动已记录的 graph,该序列作为一个整体执行。

这是一种调度优化。Kernel 融合主要减少中间内存流量;CUDA Graph 主要减少重复的 CPU 到 GPU 启动开销。两者都不会让模型权重或 KV cache 变小。在 JetPack 7.2 系统上,这是兼容 TensorRT engine 更好利用更新后的 CUDA 和 TensorRT 栈的一种方式。在 Jetson 上,减少启动工作可以提升端到端响应性,因为 CPU 资源和功耗预算与 GPU 资源一样有限。

这些机制现在构成了完整的 runtime 图景:量化降低固定的权重成本;KV-cache 设置控制不断增长的上下文成本;融合减少中间流量;CUDA Graph 减少重复的解码调度。

2.7 将每个机制映射回 JetPack 7.2​

下表区分了 JetPack 7.2 的杠杆与其之上使用的 runtime 机制。

层或机制与 JetPack 7.2 的关系部署决策需要测量的内容
JetPack 7.2 平台基线提供 OS、CUDA 和 TensorRT 版本;它建立了可复现的起点。记录发行版本、服务集、桌面目标和电源模式。稳定后的空闲内存和设备配置。
Yocto 或精简的 7.2 镜像一种直接基于 7.2 的生产镜像选项,用于减少不需要的系统软件。只包含必需的服务、驱动和库。空闲内存和必需功能验证。
低精度权重在 7.2 runtime 环境中做出的模型选择。选择受支持的 checkpoint 并验证输出质量。engine 加载内存和任务质量。
KV-cache 容量和复用一项可选的 runtime 特性,而非自动的 7.2 OS 特性。为工作负载设置上下文、batch、page-pool 和保留上限。预填充峰值、稳定解码内存、reused-token 计数和 TTFT。
TensorRT 融合和 CUDA Graph兼容的 engine 可以利用 7.2 中包含的 CUDA/TensorRT 栈。在目标 7.2 设备上构建并分析 engine。runtime 峰值、解码延迟和吞吐量。

这就是为什么在 Jetson 上“更高的内存效率”和“更快”是相关联的。系统并没有获得额外的物理 DRAM。相反,是同样的共享 DRAM 和带宽中有更多部分被留给了工作负载,因为权重、cache、中间数据和调度工作被更有意识地加以管理。

按以下顺序使用此图:先确定镜像和平台预算,测量运行时和模型占用,然后仅在整个工作负载仍有余量时,再扩展上下文和并发度。

3. 将本深度解析与现有 JetPack 7.2 指南配合使用​

本页解释的是预算:为什么更低的空闲占用、更小的权重、有界的 KV 缓存以及兼容的运行时是相互关联的。它刻意不重复 JetPack 7.2 其余文档集中已经维护的操作流程。

如果你需要…使用此指南保持本页打开以便…
测量空闲、引擎负载、预填充和解码内存;减少服务;或更改已验证的 BSP 预留JetPack 7.2 Memory Optimization在采取行动前确定是哪一层内存负责。
导出 checkpoint、构建引擎、选择受支持的精度,或对 TensorRT Edge-LLM 进行基准测试Deploy TensorRT Edge-LLM on JetPack 7.2理解权重、工作区和 KV 缓存如何适配到总预算中。
构建面向生产、定制化的 OS 镜像Build and Flash a Yocto Image决定更小的系统镜像是否值得额外的运维成本。
对比已发布的 6.2 和 7.2 AGX Orin 结果JetPack 7.2 Deep Dive避免将某一次测量结果误当作通用的内存节省。

正确的顺序很简单:先建立系统基线,测量选定的运行时和模型,然后仅在整个工作负载仍在预算范围内时,才增加上下文或并发度。链接的指南包含每一步的命令、安全检查、回滚流程和验收测试。

4. 现场观察:JetPack 7.2 的证据,而非市场宣传​

关于已发布的 AGX Orin 32 GB 对比及其图表,请参见 JetPack 7.2 Deep Dive。本文重点说明在规划 LLM 内存预算时如何解读这些结果。

在比较 JetPack 6.2 和 7.2 的结果时,将发行版本视为唯一变量。保持模组、载板、模型校验和、命令、GPU 卸载、上下文、生成 token 数、电源模式、jetson_clocks 状态、桌面目标、服务集合、温度和采样点不变。每次运行都记录 L4T、CUDA 和 TensorRT 版本。

重要的四种内存状态是稳定空闲、引擎或模型已加载、提示预填充以及稳定解码。Memory Optimization guide 提供了这些状态的采集命令和解读方法。仅在某一种状态下取得的数值,无法证明是 JetPack 7.2、CUDA 或 TensorRT 导致了整个工作负载的内存改进。

参考资料​

相关页面​

技术支持与产品讨论​

感谢你选择 Seeed Studio 产品!如需技术支持和产品讨论,请使用以下渠道:

Loading Comments...