Late Show с Стивеном Колбером ускорил ротоскоп с 5 часов до 5 минут на Runway

На The Late Show with Stephen Colbert (CBS) графическая команда из шести человек делает все визуальные вставки вечернего шоу: персонажные мультипликации, вклейки людей в сцены из фильмов с дублированной озвучкой, графически сложные комедийные эпизоды. Ритм у поздневечернего телевидения жёсткий: монтажное окно — часы, не дни. На этом сроке любые техники, которые помогают сократить рутину на порядки, идут в работу.

По словам Andro и Ryan из graphics team, главным приобретением стал Runway. Конкретный сценарий — ротоскоп. На обычном пайплайне в After Effects это покадровая работа на пять часов. Через Runway Roto и Green Screen тот же объём укладывается в пять минут. Маска ложится «без катушек», оставляя время на тонкую работу — тени, отражения, композитинг.

На примере шоу: к юбилею мороженого Americone Dream сделали клип с участием Сары Барейлис и Джоша Грубана. Композиты после съёмки заняли один день — на типовом After-Effects-пайплайне это была бы неделя. Один из сложных кадров с вклейкой персонажа в архивный фильм собрался за три минуты, а не frame-by-frame.

Что в инструменте критично для команды. Минималистичный интерфейс — графику делают не специалисты по AI, и погружение в Runway не съедает день. Качество матирования освобождает руки для работы над тенями и реалистичностью сцены, а не на borders маски. Lip-sync для дубляжа на вклеенных персонажах работает достаточно чисто, чтобы шло в эфир без переделок.

Что не закрывает Runway. Очень специфические композитные сцены, где нужна попиксельная точность — там графики всё равно возвращаются к After Effects. Но доля таких задач небольшая; основная масса вставок проходит через Runway, и поздневечерний ритм шоу это вытащил.

Главное наблюдение команды по Runway. Отдельный пайплайн под AI-видео не понадобился — инструмент встроился в уже существующий рабочий процесс After Effects. Графики выгружают плейт, прогоняют через Runway, возвращают финальный композит обратно в After Effects на финальную сборку. Это снимает обычное возражение к AI-инструментам «нужно перестраивать всю студию» — здесь ничего перестраивать не пришлось. Ребята просто получили в арсенал то, что закрывает 90% рутины ротоскопа.

Где дальше команда хочет это применить. Тестируют генеративные сегменты для скетчей-пародий, которые сейчас снимают живьём с одеждой и реквизитом. Если получится заменить часть таких сцен на AI-генерацию из промта, это ещё раз ускорит производственный цикл шоу — потому что съёмка с актёрами и декорациями всегда дольше, чем написание текста к промту. Но пока это эксперимент, в эфир таких сегментов не отдают.