テレビ信号は，１秒間に約30枚の“フレーム”と呼ばれる画像の“駒”からできている。このため画像の静止部分では，符号化しようとするフレームと1/30秒前のフレームとは原理的には同じ画素値を持つ。フレーム間符号化とは，図に示すように画素値そのものではなくフレーム間の差分値を符号化する方式であり，上述したように画像の静止部分では差分信号が極めて小さくなるのでビットレートを大幅に低減できる。実際の符号化では，フレーム間符号化とDCT符号化とを組み合わせればさらに効果的である。この場合には，画素のフレーム間差分に対してDCTを施す方法と，フィールド内DCT係数に対してフレーム間差分をとる方法の２つが可能である。