当前位置:首页 -> 大学生兼职 -> 一部手机,万物皆可复制粘贴,这位兼职写代码的设计师将ar玩出了新高度

一部手机,万物皆可复制粘贴,这位兼职写代码的设计师将ar玩出了新高度

一部手机,万物皆可复制粘贴,这位兼职写代码的设计师将ar玩出了新高度

书本。

如上面几张动图所示,不管是盆栽、衣服还是书本,可见即可拷,一键挪进变为图像素材,完全是平面设计师的福音了。

据介绍,目前该工具的剪切延迟大约为2.5秒,粘贴延迟大约为4秒,流程还可以进一步加速。此外,作者还预告,下周将会发布另一个AI+UX原型!

项目简介

工具是一个AR+ML原型(),借助它你可以从周围环境中拷贝固定对象,并粘贴在图像编辑软件中()。需要特别注意的是,这款工具只适用于软件,未来可能支持处理不同的输出。

项目地址:-

该原型拥有3个独立的模块,分别是手机端APP、本地服务器和目标检测及背景移除服务。

首先,用户需要在手机上预装。

其次,作为手机端APP和Photoshop之间的interface,用户需要事先配置本地服务器。

virtualenvvenvsourcevenv/bin/activate

pipinstall-rrequirements.txt

最后,显著目标检测和背景移除交由外部服务执行(应用BASNet技术)。用户需要用自己的Photoshop远程连接密码替换以下代码中的123456。

pythonsrc/main.py\

--basnet_service_ip=http://X.X.X.X\

--basnet_service_host=basnet-http.default.example.com\

--photoshop_password123456

技术细节

该工具使用BASNet(Qinetal,CVPR2019)执行显著目标检测和背景移除。

然后,利用OpenCVSIFT找出手机在电脑屏幕上对准的位置。只需要一张手机照片和截图,就可以得到准确的x,y屏幕坐标系。

显著目标检测和背景移除

项目作者使用BASNet执行显著目标检测和背景移除。

BASNet出自一篇CVPR2019论文《BASNet:Boundary-AwareSalientObjectDetection》,关于边界的显著性检测。其主要创新点在于损失函数的设计,使用了交叉熵、结构相似性损失、IoU损失的混合损失,使网络更关注边界质量,而不是像以前那样只关注区域精度。在单个GPU上能跑25fps,在六种公开数据集上能达到SOTA效果。

BASNet的架构如下图所示:

网友回复
正在加载数据,请稍等......
信息管理
密码: