ODvinsk » Железо » Нейросеть способна озвучивать творения художников (видео)

 

Нейросеть способна озвучивать творения художников (видео)

Автор: от 16-02-2018, 12:09, посмотрело: 1

0

Японский энтузиаст по имени Нао Токуи придумал программу, в основе которой лежит нейросеть, способная подбирать наиболее удачные звуки и музыку, чтобы озвучивать картины художников. В ходе тестирования нейросеть справилась практически со всеми изобразительными произведениями, подобрав максимально верные звуки для них.

having fun with cross-modal audio retrieval with famous paintings :-) pic.twitter.com/bqWhVbyivI— Nao Tokui (@naotokui_en) 13 февраля 2018 г.

Нейросеть, которая легла в основу программы, называется Soundnet. Она способна определить, что изображено на видео, и затем подобрать подходящую музыку для описания картины. Если, например, предложить нейросети для распознавания видео с изображением собак, то программа включит звук собачьего лая. Точно по такому же плану программа работает с изображением детей, взрослых людей, мотоциклов, спорта и музыкальных концертов, и прочими всевозможными объектами.


Для наполнения программы Нао Токуи использовал два источника. С сервиса Flickr он взял различные видеоролики, а звуки из бесплатного каталога Freesound. Все файлы были пропущены энтузиастом через Soundnet (это нейросеть, о которой идёт речь). Благодаря Нао Токуи для не новой нейросети было придумано совершенно новое увлекательное применение.

Источник: mail.ru

Категория: Железо

Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

Добавление комментария

Имя:*
E-Mail:
Комментарий:
Введите два слова, показанных на изображении: *