学部新闻

当前位置: 首页 > 学部新闻 > 正文

学部新闻

人机所科研团队在智能手机TOLED屏下ToF深度图像恢复方面取得创新研究成果

日期:2022-11-24    点击数:     来源:

智能手机作为现代人最常用的移动设备,为人们日常生活带来了极大的便捷。全面屏作为未来智能手机的发展趋势,能为其带来更加惊艳的视觉效果。在不牺牲美观的前提下,全面屏智能手机需要解决前置RGB摄像头和ToF深度相机置于透明屏TOLED(Transparent Organic Light Emitting Diode)下拍摄的难题。由于TOLED透光率有限,在拍摄过程中存在光衍射、反射和折射等效应,不仅会导致屏下拍摄RGB图像产生模糊、色偏、细节丢失、噪声等图像质量退化问题,还会导致屏下ToF深度信息丢失,包括3D点云精度下降、X-Y方向细节丢失等。

图1 屏下ToF拍摄原理及反射引起FPN

针对智能手机屏下ToF拍摄高质量深度图像的迫切需求,西安交通大学人工智能学院葛晨阳团队设计制作了基于智能手机的TOLED屏下ToF拍摄装置,深入研究基于深度学习的TOLED屏下ToF深度恢复算法,具体包括屏下ToF深度相机成像噪声模型分析、屏下ToF真实数据采集和大规模合成数据集生成、复数神经网络的RAW域深度恢复,不仅解决了屏下ToF深度图像和红外图像的模糊和噪声问题,而且提升了3D点云数据Z方向测量精度和X-Y方向细节分辨能力,并在屏下ToF真实3D人脸重建上验证了算法的有效性。

图2 TOLED屏下ToF深度恢复网络

图3 去除FPN噪声及屏下ToF 3D人脸恢复效果

上述研究成果近日在线发表在人工智能顶级期刊《模式识别汇刊》IEEE TPAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence,中科院JCR 1区期刊、西安交通大学最有国际影响力的学术期刊,影响因子24.3)上,题为“屏下ToF深度图像恢复”(Depth Restoration in Under-Display Time-of-Flight Imaging),论文第一作者为人工智能学院博士生乔欣,指导教师葛晨阳博士,西安交通大学为第一作者单位和第一通讯单位。论文研究得到国家基金委仪器专项、三星西安电子研究所SRCX、舜宇光学、vivo、清越光电的资助。

葛晨阳博士团队在计算视觉、三维成像、嵌入式AI、VR/AR领域有着十多年的研究积累,擅长跨学科技术创新,拥有近20项美国发明专利。技术成果和专利被广泛用于3D人脸支付、智能手机、智能装备。该团队同智能手机、智能车、智能家电等行业领军企业开展了密切合作。

论文链接:https://ieeexplore.ieee.org/document/9903562

编辑:王雅雯

关闭

版权所有:电子与信息学部 技术支持与维护:西安交通大学网络信息中心 联系人:李老师 029-82668661
地址:陕西省西安市咸宁西路28号 邮编:710049