INSAIT и Netflix със световен пробив в обработката на видео с изкуствен интелект

Институтът за компютърни науки, изкуствен интелект и технологии (INSAIT) със
съвместен проект с Netflix. Институтът към Софийския университет “Св. Климент
Охридски” и една от най-големите световни стрийминг платформи разработиха нов AI
модел – VOID, който може да премахва обекти от видео и едновременно с това да
пресъздава реалистично как се променя сцената.
За разлика от стандартните инструменти, които просто „запълват“ изтритите части,
VOID разбира как обектите си взаимодействат. Ако например човек държи предмет и
бъде премахнат, моделът симулира как предметът пада или се движи естествено,
сякаш сцената е заснета без него. Това може да даде много по-голяма свобода на
производителите на видео съдържание и би спестило значителен финансов ресурс за
презаснемане на различни сцени.
Технологията стъпва върху CogVideoX и използва специален подход с т.нар.
quadmask, който позволява да се разграничат обектите, зоните на взаимодействие и
фонът. Това помага на системата да запази логиката и динамиката на кадъра, без
видими артефакти. Тъй като реални тренировъчни данни почти липсват, екипите на
Netflix и INSAIT използват симулирани сцени, генерирани чрез Blender. Така моделът
се учи какво се случва в реалния свят, когато даден обект изчезне.
В сравнение със съществуващи решения, VOID постига по-добра визуална
последователност и по-реалистично поведение на обектите. Моделът е с отворен код,
което дава възможност на разработчици и изследователи от цял свят да работят и
надграждат технологията.
Това е пореден проект, който подчертава ролята на INSAIT в създаването на
технологии със световно значение.

в. “България СЕГА”
Изт.: INSAIT

Уважаеми читатели,