Ну ты друг дал!
Тут весь форум об этом!!! А на вскидку лучшей связки чем x.264 + HE AAC слитое в матрёшку сейчас пока нет. Это конечно IMHO
Но почитай форум - по поводу настроек x.264 - очень неплохой результат дают настройки по умолчанию, можно конечно поэксперементировать и подвигать Deblocking в минус слегка и увеличить кол-во Ref fram'ов до 5-7 но больше ничего особо не трогать! Кроме битрейта конечно же! Качество при хорошем исходнике получается офигенное - даже если 2 часа на 1 CD!