在H.264中，编码的基本单元是宏块，对于抽样格式为4:2:0的宏块，它包含一个16x16的亮度样本块和两个相应的8x8色度样本块，如下图所示。
（1）、而在HEVC中，采用了一个新的编码结构——编码树单元（CTU），CTU是HEVC的基本处理单元。一个CTU包括1个亮度CTB、2个色度CTB和相应的语法元素。一个CTU可能只包含一个编码单元（CU），HEVC还能采用树型和类四叉树结构将CTU递归地分成多个大小不一的CU。如下图所示。
在HEVC中，视频帧被分割为若干个互不重叠的CTB，用来表示视频帧中相互独立的区域。亮度CTB的尺寸可以是16x16/32x32/64x64，色度CTB的尺寸可以是8x8/16x16/32x32，尺寸越大，压缩效果越好。
（2）、在HEVC中，CU是最基本的编码单元，每个CU由1个亮度CB、2个色度CB以及相应的语法元素组成。CB是之前已经分割好的CTB根据块中的图像内容而自适应划分的（划分规则：相对比较平坦的区域采用大尺寸的CB，而细节多的区域则采用较小尺寸的CB）。通常情况下，CB的形状是正方形，亮度分量CB的尺寸可以由8x8大小到亮度CTB的大小，色度CB的尺寸可以由4x4大小到色度CTB的大小（也就是说，亮度CTB的尺寸是亮度CB的最大可支持的尺寸；色度CTB的尺寸是色度CB的最大可支持的尺寸）。如下图所示。
CU可以分为两类：跳过型CU（Skipped CU）和普通CU。跳过型CU只能采用帧间预测模式，而且产生的运动向量和图像的残差信息不需要传送给解码器；普通CU则可以采用帧内预测和帧间预测两种方式进行预测，然后对残差数据以及附加的控制信息进行编码。
通常，在图像的右边界和下边界，一些CTU可能会覆盖部分超出图像边界的区域，这时CTU四叉树会自动分割，减小CB尺寸，使整个CB刚好进入图像。
（3）、每个CU还可以进一步分割成一个预测单元（PU）和变换单元（TU）。
PU是包含了预测信息的基本单元。PU包括了亮度PU、色度PU和相应的预测语法。一个CU可以包含一个或多个PU，PU的类型可以是跳过、帧内和帧间。
（4）、TU是变换和量化的基本单元，TU的尺寸可以大于PU，但不能超过CU。HEVC只定义了方形的TU，尺寸为4x4/8x8/16x16/32x32。每个CU可以包含一个或多个TU。