自动生成电影预告片的新模型

放大字体  缩小字体 2021-11-30 12:00  浏览次数:

A new model that automatically generates movie trailers

预告片是介绍新电影的短视频片段,通常是电影制作公司推广策略的关键元素。为了达到最有效的效果,预告片应该简要总结电影的情节,以吸引人的方式传达电影的艺术风格和整体情绪。

到目前为止,电影预告片主要是由人类创造的。然而,最近一些计算机科学家开始探索这些宣传短片也可以由机器自动生成的可能性。

爱丁堡大学的研究人员开发了一种基于人工神经网络的模型,可以自动生成电影预告片。该模型在一篇预先发表在arXiv上的论文中提出,它基于一种无监督的、基于图的机器学习算法。

为了更好地完成电影预告片自动生成任务,研究者将其分解为两个子任务,即识别电影的叙事结构和预测其所传达的情绪(即情绪和感觉)。因此,他们创造的技术处理电影的部分(例如,视频)和电影剧本的文本摘录。

开展这项研究的三位研究人员Pinelopi Papalamidi、Frank Keller和Mirella Lapata在他们的论文中写道:“我们将电影建模为图形,其中节点是镜头,而边缘表示它们之间的语义关系。”“我们通过联合对比训练来学习这些关系,这种训练利用了剧本中特殊的文本信息(如角色、动作、情境)。然后,一个无监督算法遍历图表并生成拖车。”

实际上,他们创造的电影预告片生成方法是由两个神经网络组成的。其中一个网络处理来自电影视频流的多模态镜头表示,另一个网络分析基于电影剧本的文本场景表示。

这两种神经网络结合起来可以识别电影中的转折点,这些转折点是电影中特别突出的部分,应该出现在预告片中。电影中的转折点通常包括机会、计划的改变、不归路、重大挫折和高潮。

Papalampidi, Keller和Lapata对他们制作电影预告片的技术进行了一系列的测试。值得注意的是,他们发现这种方法能够识别电影中的转折点,其准确度比其他产生电影预告片的基准方法要高得多。

此外,研究人员还利用他们的模型为41部不同的电影制作了预告片。然后,他们通过询问亚马逊土耳其机器人(AMT)上招募的人类观众,比较了它制作的预告片和监督学习技术制作的预告片的质量。有趣的是,大多数受访者更喜欢由他们的技术制作的预告片,而不是由监督制作的预告片。

虽然Papalampidi、Keller和Lapata所创造的模式可能还不能创造出完美的预告片,但它最终可以被电影制作公司用于促进和加速预告片的制作。与此同时,该团队计划继续研究他们的技术,以进一步提高其生产的拖车的质量。

研究人员在论文中补充道:“未来,我们将致力于研究预测电影中细微情感(如悲伤、厌恶、恐惧、欢乐)的方法。”“在这项工作中,由于缺乏领域标签数据集,我们将积极/消极情绪作为情绪的替代。未来的工作包括新的电影情感数据集,以及基于文本和视听线索的情感检测模型。”

热门搜索排行
声明:本站信息均由用户注册后自行发布,本站不承担任何法律责任。如有侵权请告知,立即做删除处理。
违法不良信息举报邮箱
晋ICP备17002844号
中国互联网举报中心