直播视频内容无法识别?Twitter 开发的新算法做到了

此时此刻,某人正在直播有趣的事情。多亏了Twitter人工智能研发人员开发的这一技术,你很快就能找到这些正在直播的有趣视频。

此时此刻,某人正在直播有趣的事情。多亏了 Twitter 人工智能研发人员开发的这一技术,你很快就能找到这些正在直播的有趣视频。

因为 Twitter 的 Periscope、Meerkat 和最近的出现的 Facebook Live 这样的手机 App,直播正在成为当下最流行的事情。然而,直播视频的内容通常不能很好的被分类或者打上标签,因为直到开拍的时候人们才能知道直播内容。

Twitter 的人工智能团队 Cortex,已经开发出了一种即刻识别直播视频内容的算法。举例来说,这种算法能够分辨出来直播片段中主播是在玩吉他,还是在演示电动工具,或是一只猫在观众面前张牙舞爪。

「在 Periscope 上,内容是一直变化的,尤其是直播视频,」Cortex 的技术主管 Clement Farabet 说。他向《麻省理工科技评论》示了该视频识别技术:屏幕上,Periscope 上的二十四个直播视频全部被实时标记。

识别直播视频内容是一种让人印象深刻的手段。研究人员近些年已经用算法取得了令人瞩目的进展,比如识别图片中的物体。但在直播视频画质实时变化的情况下,识别起来就颇具难度了。实时识别同时需要可观的计算能力。Twitter 及时定制了一台完全由 GPU(图形处理器)组成的超级计算机,用以解决视频分类和传输计算结果的问题。这些芯片组在处理深度学习需要的数学计算时非常高效,而这仅仅是庞大计算机系统中的一部分。

「处理静态视频已经是个不小的挑战了,要处理动态视频则要求更强大的处理能力。」研究个性化内容的匹斯堡大学教授 Peter Brusilovsky 说。

Brusilovsky 说我们亟需更好的过滤视频方法。「视频一般不能快速预览,」他说,「因此,推荐就变得很重要。这是视频现在缺失的部分。」

推荐视频通常是向人展示一个跟他/她有相似兴趣的人看过的视频(也就是知名的「协同过滤」collaborative filtering 方法)。这是对真实兴趣的粗略估计,但它对直播视频的内容却不起作用。

Cortex 团队拥有创造复杂推荐系统的雄心。基于用户之前的行为,推荐系统帮助用户过滤和组织分享在服务平台上的各种内容。

Cortex 团队研发的视频识别技术至今仍未应用在任何 Twitter产品上。但现在正在 Periscope——一个用户利用智能手机就能视频直播的 Twitter 应用——上进行测试。该团队利用深度学习的方法来识别视频中的活动。深度学习通过大量样例训练大型模拟神经网络,识别输入的内容。这些样例由职员观看视频、然后添加关键词。打标签的过程为视频提供了足够复杂的语义理解框架。举例来说,一段视频中出现的猫将不仅仅被归类为「猫」,也会被纳入「猫科」、「哺乳动物」、「动物」等分类中。这提供了一种探索视频的精致方法。

视频直播正在快速成为社交媒介广阔图景的重要一部分。

Twitter 在 2015 年 1 月以超出 5,000 万美元的价格收购了 Periscope,当时这款 App 还未发布。这起收购发生在 Meerkat 火爆之后,Meerkat 是另一个关联到 Twitter 账号的视频直播应用 。而 Facebook 也在 2015 年早期开始运营自家的视频直播业务。在今年三月初 , 该公司将直播业务放到了每一用户可见的主页来凸显该业务对于公司未来的重要性。

Periscope 目前尚无将此视频识别技术商业化的计划,也不打算添加广告业务。但是,不难想象这种技术将给广告业务带何等的变化:算法帮助筛选与当前播放的电影、直播内容相匹配的广告(这将提高内容受众对广告的接受度)。事实上,随着越来越多的视频属于在线播放,这一算法能够帮助 Twitter 更为高效的根据内容匹配广告。值得一提的是,该公司获得了直播数场 NFL 比赛的资格。哈佛大学伯克曼中心副教授、在线媒体和广告专家 Ben Edelman 认为 Twitter 开发的这一技术在筛选、过滤有版权的视频内容上和色情、暴力这样的不想要的内容上非常重要。

同时 Farabet 只对找到人们真正想要观看的内容抱有兴趣。「找到你真正感兴趣的内容——与内容的创造者或产生时间无关——是我们真正想拥有的能力。」他说。

©机器之心,最专业的前沿科技媒体和产业服务平台,每日提供优质产业资讯与深度思考,欢迎关注微信公众号「机器之心」(almosthuman2014),或登录机器之心网站www.almosthuman.cn查看更多精彩内容。

相关推荐

评论 抢沙发

取 消
暂无评论...