Google论文《Nested Learning: The Illusion of Deep Learning Architectures》提出了一个叫**嵌套学习**的新范式， 挑战了传统深度学习的架构观念。论文的核心观点是深度学习架构其实是一种幻觉，真正的能力来自于多层次的嵌套优化问题。这是一个非常新颖的观点，有必要详细解读这个论文。

随着大型语言模型 (LLM)参数规模的不断扩大，对大量内存占用和高通信带宽的需求已成为 LLM 训练和推理的重大瓶颈。为了缓解这些瓶颈，人们提出了各种张量压缩技术来减少数据大小，从而减轻内存需求和通信压力。 我们的研究发现，尽管视频编解码器最初是为压缩视频而设计的，但在压缩各种类型的张量时也表现出色。我们证明了视频编解码器可以是一种多功能的通用张量编解码器，同时在各种任务中实现最先进的压缩效率。我们进一步利用 GPU 上可用的硬件视频编码和解码模块，将视频编解码器重新用作张量编解码器，创建了一个能够进行推理和训练的框架。这大大降低了对内存容量和通信带宽的要求，使得在消费级 GPU 上进行大型模型的训练和推理成为可能。

与变长编码不同，算术编码的本质是为整个输入序列分配一个码字，而不是给每个字符分别指定码字，因此平均意义上可以为单个字符分配码长小于1的码字，所以算数编码可以给出接近最优的编码结果。

VVC中DBF用于降低方块效应、SAO用于改善振铃效应、ALF可以减少解码误差。在编码环路中，一般是先去方块滤波、样点自适应补偿和自适应环路滤波的顺序。LMCS一般对编码前的图像进行预处理。

帧间预测是利用视频帧与帧之间的相关性，去除视频帧间的时间冗余信息。统计表明，帧间差绝对值超过3的像素平均不到一帧像素的4%，因此，采用高效的帧间编码方式，可以很大程度上提高视频压缩效率。