唤醒静态2D图像！3D重构技术为AR、VR带来新机遇

上个月，来自华盛顿大学的一组研究人员推出了一项实验性技术，该技术可以直接从静态2D图像中剪切出字符，并将其转换为3D动画。在AR媒体内容中，你就可以看到该剪切出的内容融入现实世界中的图景了。这种2D照片唤醒方法适用于照片、海报，甚至是涂鸦，整个过程就像是将生命注入到木偶中一样，在AR技术下，这些原本属于平面中的形象能够在3D现实世界中自由地行走、奔跑。

12月，该团队在接受《麻省理工学院技术评论》采访中这样说：“我们相信这种方法不仅能为人们提供了欣赏照片以及与照片互动的新方式，而且还提出了从单个图像构建虚拟形象的新途径；同时，从这一张照片的变化中可以洞察人类建模的艺术状态。”

实际上，基于2D图像重建3D模型的想法很早之前就有了，Andrew Ng的斯坦福3D重建小组十多年前就已经开始研究这个课题了。然而，现在出现的解决方案赶上了好时代，或着说更能满足目前的迫切需求。当前蓬勃发展的VR、AR行业，正面临着内容供应问题，而这个技术的出现，将为解决这个问题提供新的思路。

扩展3D模型工具包

目前，大多数用于VR、AR内容的3D模型仍由3D设计人员手动创建，这个过程费时费钱，且没有可扩展性。现在还存在人才短缺的问题，尽管当前信息经济日益繁荣，但人才短缺问题并没有因此有所缓解。这就是为什么像Sketchfab这样的3D存储库在业界内如此受欢迎的原因，因为在Sketchfab上，创作者可以发布、分享、搜索、购买和销售3D、VR和AR内容。

尽管有Sketchfab这样工具库的存在，创造者社区目前还是迫切需要摆脱对人力劳动的依赖，并学会从更多自动化工具中获得帮助，通过这些工具创造更好的创作捷径和技术“黑客”，从而加快和优化创作过程。

Trnio的创始人兼首席执行官Jan-Michael Tressler说：“在沉浸式体验的世界中，大多数内容制作者都会使用很多技术和软件来创作出逼真的内容。我见过创作者会先使用相机来留下影像，并将其作为3D创作内容的起点。有了现在的技术，创作者在AR/VR的工作中就可以简化和优化整个过程。”

像摄影测量、体积捕捉这样的3D扫描技术在输出质量方面不断提高，在生产周期上花费时间也越来越少，这使得现实世界中的形象更容易成为制作3D模型的直接来源。这些技术的发展，让当前的创作者、正在观望是否入行者或潜在的新人不会那么畏惧这个领域的创作难度。

Scandy的New Orleans创始人兼总裁Charles Carriere说：“我们认为大多数创作者目前还没有探索3D内容创作，是因为他们还没有这些工具。目前的事实是人们几乎每天都在不停地创建2D内容，因为每个人都可以访问和体验2D图像的创作工具——最重要的是手机摄像头。假设像Snapchat，Instagram和YouTube这样具有高度创造性的平台能够提供3D创建工具吸引用户，您将看到高质量3D内容的爆炸式增长。”

但目前时机尚未成熟。目前虚拟现实行业所面临的内容供应短缺问题，无论是新鲜的人才补充，还是3D扫描技术的进步，都无法提供快速地或实质性地解决这个难题。无论公平与否，期望VR、AR内容的生产和迭代周期能与我们习惯的2D内容速度相匹配是比较难的，因为无论是消费者还是企业市场对此的关注时间都很短。

2D> 3D从重建到救援

如果不是像Photo Wake-Up这样的3D重建技术，能够几乎自动地将2D图像、资源和数据库渲染进入3D建模的供应链中，我们之前都无法想象3D模型的构建可以从更低维度的2D图像中产生。事实上，这项技术不仅能够使得该行业迎头赶上，甚至可能在虚拟现实领域中引发寒武纪式的爆发。

AR零售和购物空间领域将成为第一个滩头阵地。本周，一个名为Threedy.ai的企业团队已经暗中形成，该团队包括苹果、Facebook、PayPal的“校友”和斯坦福大学博士。Threedy.ai是一家深度科技创业公司，专门致力于3D内容供应问题的解决方案，这个领域我认为是当前最成熟和最有需求市场的领域。

Threedy.ai的联合创始人兼首席执行官Nima Sarshar解释说：“你可能会认为创造这些产品的制造商必须得在某处拥有3D模型，对吗？事实证明，即使有人可以访问这些CAD文件，这些文件也可以生成3D产品的密度格数，但如果没有与之相匹配的纹理或材料的话也不行。”

例如，Houzz AR应用程序可以让用户根据尺寸和颜色等规格，来测试房间里是否适合放入某件家具。但这里所面对的困难是，所有这些行业领先的AR购物应用程序，如Houzz、Wayfair和Overstock都只有库存着很小一部分的3D模型。例如，Houzz只有约3％的餐厅类别家具3D模型。

Sarshar说“我们的目标是成为商业产品3D模型中的‘Getty Images’，想象一下我们将拥有亚马逊商城中每件商品的3D模型库。”

他们的第一个产品叫作Threedy Convert，利用家具环境和家具的普通2D产品照片，通过其专有的计算几何和深度学习算法自动将它们转换为高质量的3D模型。该技术可以大量应用于数量不断增长的产品种类，通常素材只需要一张普通的产品照片，成本比现有解决方案便宜了近两个数量级。

Sarshar说：“扫描可以提供更高质量的图像，但扫描过程是冗长和昂贵的。另外，从适用于XR的低多边形模型上，利用高多边形模型的扫描仪采样并不容易。另外一个问题是，对于许多电子商务网站而言，根本不存在可扫描的物理对象，只有有限的非结构化产品照片。”

以一个较小的维度，来助力一个更高维度的模型构建，这种思路是令人惊讶的，但绝对是最受欢迎的。随着VR、AR行业继续发展，新技术的出现，绝不是一个短期的创可贴一样的补救措施，而是代表一种全新的内容“移民”渠道，新的拐点时刻即将来临，可能就是今年。