Выведи в режиме 640х200 в мультиколоре цветные полосы с разными цветами (а лучше цветные квадратики), увидишь глюки кодирования YUV 4:2:0, вместо 4:4:4
Картинки будут смазанные примерно как тут
http://en.wikipedia.org/wiki/Chroma_subsamplingЕсли испульзуются режимы высокого разрешения, то надо юзать RGB или YPbPr, но никак ни пал кодер.