JPEG 2000 与 JPEG XS: 深度解析图像压缩标准及其在 AMD FPGA 上的 4KP60 实时实现框架

深度对比 JPEG 2000 与 JPEG XS 图像压缩标准及 AMD FPGA 实现

• 本文总结了JPEG 2000和JPEG XS两种图像压缩标准的核心原理及在AMD FPGA上的4KP60实时实现框架，帮助工程师掌握超高清视频编解码技术。
• 你能获得：深入理解两种压缩标准的原理、学习FPGA上的硬件架构设计方法、掌握实时视频编解码的关键技术，为相关项目开发提供参考。

核心内容：

1. JPEG 2000 编码原理：

• 采用多分辨率离散小波变换(DWT)和EBCOT熵编码方案，实现卓越的压缩性能和强大的功能性。
  • 详细解释：DWT将图像分解成不同频率成分，EBCOT高效去除数据冗余，类似于汽车引擎从燃油升级为混合动力。
  • 举例：有损编码中常用5级DWT可以有效捕捉图像的宏观轮廓和精微细节。
• 编码流程包含预处理与色彩空间转换、多级DWT、量化、位平面熵编码(EBCOT)和数据包化与码流组装等关键环节。
  • 详细解释：预处理调整图像亮度，色彩空间转换提升压缩效率，DWT提取不同层次的细节信息，量化降低数据精度，EBCOT实现质量上的渐进可伸缩性，码流组装支持渐进式解码。
• 通过小波变换减轻了传统JPEG的方块效应，实现了图像质量的可伸缩性，但运算复杂度相对较高。
  • 详细解释：小波变换产生柔和的边缘振铃现象，嵌入式编码实现图像质量可伸缩，结合上下文模型的算术编码压缩效率出色。

2. JPEG XS 编码原理：

• 是一种轻量级图像编解码标准，核心设计理念是视觉无损和超低延迟，适用于对实时性要求非常高的视频传输应用场景。
  • 详细解释：JPEG XS更注重实际应用场景中的效率和速度，力求在实现高性能的同时保持适度的复杂度。
• 编码器首先对输入数据进行DC偏移消除，并将样本精度统一提升至预设的标准，支持可选的可逆色彩变换(RCT)。
  • 详细解释：精度提升保证后续处理精度，RCT将RGB信号转换为Y'CbCr格式，提升压缩性能。
• 采用5/3整数小波作为空间解相关的核心变换工具，并采用非对称结构降低编码延迟，水平方向最多5级分解，垂直方向限制为0-2级。
  • 详细解释：5/3整数小波计算简单、性能适中，适合低延迟应用，非对称结构大幅缩减行缓冲需求，降低处理延迟。
• 通过一个简化的、非强制性的码率控制机制来确定最终的量化步长，量化器可以选择均匀量化器或者死区量化器。
  • 详细解释：码率控制根据目标码率动态调整量化参数，量化器根据图像内容特性选择，量化策略侧重于低复杂度实现。
• 设计了一套极简的熵编码方案，对每个系数行最多执行四次扫描，摒弃了自适应算术编码器，采用固定码表与原始数据直接输出相结合的方式。
  • 详细解释：熵编码步骤包括显著性图、位平面计数、原始比特编码和符号编码，采用固定码表和原始数据直接输出，最大限度地降低了编码延迟和复杂度。

3. 基于 FPGA 的 4KP60 编码架构设计：

• 目标是构建一套深度流水线化和高度并行的硬件系统，使其能够实时处理4KP60视频流的庞大数据量，同时控制硬件资源footprint。
  • 详细解释：FPGA平台具有高度的灵活性和并行处理能力，适合实现高性能视频编解码器。
• JPEG 2000 FPGA编码器架构通常以流式流水线的形式实现，各个处理阶段可以灵活地应用并行化策略，进一步提高处理速度。
  • 详细解释：色彩变换模块资源消耗相对较低，但需要采用流水线设计以确保处理吞吐量，DWT引擎是核心组件，需要具备极高像素处理速率下的二维小波滤波能力，量化模块资源消耗极低，但熵编码是硬件加速实现中最具挑战性的环节。
• 内存管理是关键挑战之一，需要同时利用片上和片外存储器资源构建多级缓存架构，并采用多种优化策略，如图块化处理、即时压缩和多通道存储器架构。
  • 详细解释：DWT输出的数据组织方式与EBCOT熵编码器所需的数据访问模式之间存在差异，多级缓存架构提高数据访问效率，缓解存储带宽压力。
• JPEG XS在FPGA上的实现更像是一位“轻量级”的速度型选手，尽管架构上仍然延续了色彩变换、DWT、量化、熵编码等基本处理阶段，但是JPEG XS在各个环节的复杂度都显著降低。
  • 详细解释：JPEG XS在设计之初就充分考虑了FPGA硬件平台的特性，可以实现全流式处理，并且最大限度地减少对外部存储器的依赖。
• JPEG XS最显著的优势之一在于无需全帧缓冲区，通过行基线DWT、量化和熵编码，可以实现极低的内存需求和延迟。
  • 详细解释：每次读入少量的图像行数据，先对每行数据进行水平DWT变换，然后利用小型行缓冲区执行垂直DWT变换，一旦数据就绪，就可以进行垂直滤波并且输出相应分辨率层级的系数。
• JPEG XS的熵编码器高度可并行化，可以设计每时钟周期处理4个系数的熵编码流水线，在4系数/时钟*222 MHz的工作频率下，吞吐量可以达到惊人的888 M系数/秒。
  • 详细解释：JPEG XS熵编码以分组方式处理系数，主要采用定长编码方案，相较于算术编码器，不会引入串行处理瓶颈，在硬件设计阶段，可以通过固化部分可配置选项来简化设计复杂度。

问答

Q: JPEG 2000 和 JPEG XS 的主要区别是什么？

A: JPEG 2000 侧重于卓越的压缩性能和强大的功能性，适用于对图像质量要求较高的场景，但运算复杂度也相对较高。JPEG XS 则更注重实际应用场景中的效率和速度，核心设计理念是视觉无损和超低延迟，适用于对实时性要求非常高的视频传输应用场景。

Q: 在 FPGA 上实现 JPEG 2000 编码器的关键挑战是什么？

A: 内存管理是关键挑战之一，需要解决 DWT 输出的数据组织方式与 EBCOT 熵编码器所需的数据访问模式之间的差异。此外，还需要充分挖掘各个层级的并行潜力，并进行深度流水线化改造，以支持高时钟频率运行。

Q: JPEG XS 如何实现低延迟和低复杂度？

A: JPEG XS 通过采用浅层小波变换（5/3 小波）和轻量级编码技术，有效地规避了高运算复杂度的环节。此外，JPEG XS 的设计目标是，使得编码器和解码器在无需帧缓冲区（只需要行缓冲区）和极少量逻辑资源的情况下即可实现。