Программу научили искать юмор на картинках

Команда ученых из Virginia Tech, TTI-Chicago и Microsoft Research объединилась для создания алгоритма по исследованию юмора. Исследовательский коллектив разработал программу, способную разделять изображения на смешные и несмешные. Также разработку обучили перерисовывать картинку так, чтобы она становилась веселой или наоборот.  Препринт всей работы был выложен на ресурсе arXiv.org.

Ученые в ходе работы набрали добровольцев, которым было предложено составить коллаж. Для этого им предложили сотню клипартов, на которых были люди, животные и предметы быта.  Основным заданием было составить смешной коллаж. А другой группе добровольцев предложили оценить получившуюся работу по шкале от 1 до 5, где 1 – самый низкий балл, а 5 означала смешную картинку.

Простой набор элементов в изображении позволил без труда составлять текстовые описания. На их базе создали нейронную сеть, способную разделять картинки на смешные и нет.

По результатам получилось, что смешные изображения содержали объекты в необычном контексте. Так, на ряде картинок, человека и животных меняли местами: собака садилась за обеденный стол, а человек – в корзину для животного.

Программу также обучили преобразованию картинок. Этой опцией проверялось предположение, что за юмор отвечает контекст изображения.  Алгоритм выбирал элементы, которые на картинке выделялись больше всего, и делал замену.

Добровольцы в этом эксперименте должны были определить, кто является автором изображения: человек или программа. 28% случаев были отмечены добровольцами как созданные человеком, хотя коллаж был составлен компьютером.  По мнению авторов, если бы результат был 50%, это значило бы, что различить переделанные изображения нельзя.

Исследователи отмечают, что анализ смешных картинок проводится впервые. Исследования такого рода могут быть полезны для контекстной рекламы. Можно запрограммировать камеры так, чтобы они реагировали только на смешные моменты и делали снимки в этом случае.

Попытки проанализировать юмор ранее проводились, но предметом исследования были текстовые источники. Предпринимали попытки измерить юмор, используя методику информационной энтропии Шеннона.

 

По материалам: nplus1.ru