Нейромережа навчили малювати мультики за текстовим сценарієм (відео)

Американці створили нейромережу , яка компілює короткі ролики з героями мультсеріалу » Флінстоуни » за текстовим описом. Правда, поки нейромережа розуміє тільки шаблонні Тексти. У них повинна бути описана обстановка, перераховані персонажі і їх дії.

Розробники з Інституту штучного інтелекту Аллена та Іллінойського університету створили систему CRAFT (Composition, Retrieval and Fusion Network), завдання якої — генерувати анімовану картинку за текстовим описом. За основу взяли мультсеріал «Флінстоуни». Тексти, доступні розумінню нейромережі, шаблонні: в них повинна бути описана обстановка (наприклад, кухня або вітальня) і перераховані персонажі і їх дії (сидить, стоїть, йде, читає книгу, говорить).

Нейромережі, що входять в систему CRAFT, навчали на 25 тисячах вручну оброблених роликів з мультсеріалу «Флінстоуни». Обробка полягала в розмітці кадрів (в кожному ролику їх було 75); вчені виділяли на них персонажів, фон і їх дії. Система підбирає відповідні під текстовий опис фрагменти з цієї бібліотеки і компілює з них нові ролики. Іноді CRAFT помиляється-плутає дії або розгортає героїв не в ту сторону обличчям.

&Nbsp;