智能手机作为现代人最常用的移动设备,为人们日常生活带来了极大的便捷。全面屏作为未来智能手机的发展趋势,能为其带来更加惊艳的视觉效果。在不牺牲美观的前提下,全面屏智能手机需要解决前置RGB摄像头和ToF深度相机置于透明屏TOLED(Transparent Organic Light Emitting Diode)下拍摄的难题。由于TOLED透光率有限,在拍摄过程中存在光衍射、反射和折射等效应,不仅会导致屏下拍摄RGB图像产生模糊、色偏、细节丢失、噪声等图像质量退化问题,还会导致屏下ToF深度信息丢失,包括3D点云精度下降、X-Y方向细节丢失等。
针对智能手机屏下ToF拍摄高质量深度图像的迫切需求,人工智能学院葛晨阳团队设计制作了基于智能手机的TOLED屏下ToF拍摄装置,深入研究基于深度学习的TOLED屏下ToF深度恢复算法,具体包括屏下ToF深度相机成像噪声模型分析、屏下ToF真实数据采集和大规模合成数据集生成、复数神经网络的RAW域深度恢复,不仅解决了屏下ToF深度图像和红外图像的模糊和噪声问题,而且提升了3D点云数据Z方向测量精度和X-Y方向细节分辨能力,并在屏下ToF 真实3D人脸重建上验证了算法的有效性。
上述研究成果近日在线发表在人工智能顶级期刊IEEE TPAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence,中科院JCR 1区期刊、最有国际影响力的学术期刊,影响因子24.3)上,题为“屏下ToF深度图像恢复”(Depth Restoration in Under-Display Time-of-Flight Imaging),论文第一作者为人工智能学院博士生乔欣,指导教师葛晨阳副教授,为第一作者单位和第一通讯单位。论文研究得到国家基金委仪器专项、三星西安电子研究所SRCX、舜宇光学、vivo、清越光电的资助。
葛晨阳团队在计算视觉、三维成像、嵌入式AI、VR/AR领域有着十多年的研究积累,擅长跨学科技术创新,拥有近20项美国发明专利。技术成果和专利被广泛用于3D人脸支付、智能手机、智能装备。该团队同智能手机、智能车、智能家电等行业领军企业开展了密切合作。
论文链接:https://ieeexplore.ieee.org/document/9903562