Nie wiem czy cię dobrze zrozumiałem, najpierw film kompresujesz w Xvidzie i później jeszcze raz w WMV. Moim zdaniem to bez sensu, prawdopodobnie trwa to zdecydowanie dłużej niż jakbyś od razu kompresował do docelowego formatu a mniejszego pliku bez utraty jakości nie uzyskasz.
Lepiej od razu dać trochę gorsze parametry przy Xvidzie, żeby uzyskać mniejszy plik albo użyć kodeka x264. Prawdopodobnie jeśli zainstalujesz to
http://sourceforge.net/projects/x264vfw/files/ to będziesz miał w VirtualDubie możliwość kompresji x264.
Co do dźwięku i obrazu, to pewnie youtube coś pomieszał, więc najprościej spróbować dać mu jakiś inny format np. ten Xvid albo x264.