В некоторых контейнерах (WMV, MKV, если не ошибаюсь) у каждого кадра есть свой таймстемп, соответственно между кадрами могут быть длинные дырки по времени. В AVI фреймрейт постоянный, но можно писать кадры нулевой длины, их некоторые кодеки понимают как "кадр точно такой же, как предыдущий".