{"product_id":"9786207661022","title":"\u0026#1055;\u0026#1086;\u0026#1076;\u0026#1087;\u0026#1080;\u0026#1089;\u0026#1100; \u0026#1082; \u0026#1080;\u0026#1079;\u0026#1086;\u0026#1073;\u0026#1088;\u0026#1072;\u0026#1078;\u0026#1077;\u0026#1085;\u0026#1080;\u0026#1102;","description":"Создание подписей к изображениям с помощью аудио стало сложной, но перспективной задачей в области глубокого обучения. В данной работе предлагается новый подход к решению этой задачи путем объединения конволюционных нейронных сетей (CNN) для извлечения признаков изображения и рекуррентных нейронных сетей (RNN) для последовательного анализа аудио. В частности, мы используем предварительно обученные CNN, такие как VGG, для извлечения визуальных признаков из изображений и используем представления спектрограмм в сочетании с RNN, такими как LSTM или GRU, для обработки аудиовходов. Предлагаемая нами модель основывается не только на визуальном содержании изображений, но и на сопутствующих аудиосигналах. Мы оцениваем производительность нашей модели на эталонных наборах данных и демонстрируем ее эффективность в генерации связных и контекстуально релевантных подписей к изображениям с соответствующими аудиовходами. Кроме того, мы проводим анализ вклада каждой модальности в общую производительность создания титров. Наши результаты показывают, что объединение визуальной и слуховой модальностей значительно улучшает качество создания титров по сравнению с изолированным использованием одной из модальностей.","brand":"Sciencia Scripts","offers":[{"title":"Default Title","offer_id":46358842802417,"sku":"9786207661022","price":47.0,"currency_code":"USD","in_stock":true}],"thumbnail_url":"\/\/cdn.shopify.com\/s\/files\/1\/0674\/5433\/7265\/files\/9786207661022_p0.jpg?v=1765080256","url":"https:\/\/shop.barnesandnoble.com\/products\/9786207661022","provider":"Barnes \u0026 Noble","version":"1.0","type":"link"}