超越竞争对手

如何创建允许用户获取内容推荐的增强现实应用程序。

来源:Another Datum

想象一下,你走在街上,看到了一辆不错的车,你正想买。只需将手机摄像头对准它,你就可以看到关于那辆车的相关内容。这有多酷?!

这是我们团队的想法,让我们在最近的 Taboola 研发黑客马拉松中获得了第一名,这个黑客马拉松恰如其分地命名为 — Taboola Zoom!

Taboola Zoom

Taboola 每年都会为其 350 多名工程师举办一次全球研发黑客马拉松,旨在为酷炫的潜在产品或一些有趣的实验创造创意。

今年,33 支队伍工作了 36 个小时,想出了既棒又对 Taboola 有帮助的想法。其中一些亮点包括一个可以根据用户的浏览活动准确预测用户性别的工具,以及 Taboola Feed 与社交网络的集成。

我们的团队决定创建一个 AR(增强现实)应用程序,让用户根据手机摄像头指向的内容获得内容推荐,就像 Taboola 的推荐小部件一样。

AR

什么是 Zoom?

该应用程序本身是一种类似于 Google Glass 的 AR 体验,可让您使用手机摄像头与世界互动。 使用该应用程序,只需将相机对准某个对象,即可立即从网络获取与该对象相关的故事列表。

为了将这个想法变为现实,我们使用了多个领域的技术——AI、Web 应用程序和微服务。

AI Web 应用程序 微服务

底层

流程非常简单:

    用户在手机上打开一个 Web 应用程序 — 一个 HTML5 页面,其行为类似于原生应用程序。该应用程序每秒将捕获的视频的屏幕截图发送到远程服务器。服务器使用计算机视觉技术处理图像。服务器搜索缩略图与处理后的图像最相似的 Web 文章。使用相似度阈值对检索到的图像进行过滤,并将其发送回用户,以显示在用户显示屏顶部的精美小部件中。当用户单击小部件时,相关文章将在浏览器中打开。