AR/MR实时光照阴影开发教程

一、效果演示

1、PICO4 Ultra MR 发光的球

2、AR实时光照

二、实现原理

        PICO4 Ultra MR开发时,通过空间网格能力扫描周围环境,然后将扫描到的环境网格材质替换为一个透明材质并停止扫描;基于Google ARCore XR Plugin和ARFoundation进行安卓手机的AR开发,通过扫描周围环境进行平面识别,然后将扫描到的平面的材质替换为一个透明材质并停止扫描。此处透明材质可以接收光照和阴影。

三、实现过程

        本教程使用Unity版本为2022.3LTS,渲染管线为URP,Built-In同样可用。

1、创建透明材质

        透明材质着色器来源于Meta的MRUK Sample,点击此处进入其Github页。

        克隆项目至本地,用Unity国际版本打开项目,需要复制着色器及三个依赖文件至计算机本地路径下。

(1)着色器资源准备

        找到下图所示Packages路径下的着色器,右键在资源管理器中打开,复制至本地文件夹下。

        找到下图所示Packages路径下的EnvironmentDepth文件夹,右键在资源管理器中打开,将EnvironmentOcclusion.cginc、URP中的EnvironmentOcclusionURP.hlsl和BiRP中的EnvironmentOcclusionBiRP.cginc复制至本地文件夹下。

        资源复制完成明细如下图所示。

(2)项目导入着色器

        将复制出的着色器及其依赖资源文件拖动至Unity项目合适路径下。此时,着色器会报错。

        此报错为资源引用路径所致,双击打开HighlightsAndShadows着色器脚本进行修改。

        1)找到以下引用:

        修改为:

#include "EnvironmentOcclusionURP.hlsl" //occl

        2)找到以下引用:

        修改为:

#include "EnvironmentOcclusionBiRP.cginc" //occl

注意:此引用有两处,都需修改

        修改完着色器脚本后,其依赖文件也会因资源引用路径而报错。

        双击打开EnvironmentOcclusionBiRP文件进行修改。

        找到以下引用:

        修改为:

#include "EnvironmentOcclusion.cginc"

        双击打开EnvironmentOcclusionURP文件进行修改。

        找到以下引用:

        修改为:

#include "EnvironmentOcclusion.cginc"

(3)创建材质

        按照以上修改完相关文件后,便可以使用HighlightsAndShadows着色器。有两种方式可以将此着色器应用于项目材质。

1)通过着色器直接创建材质

        选中HighlightsAndShadows着色器,鼠标右键-->Create--> Material。

2)材质引用着色器

        选中项目材质,在Shader设置中,选择Meta/MRUK/Scene/HighlightsAndShadows。

(4)材质效果

        可以将材质应用于Plane物体,查看光影效果。

2、PICO4 Ultra MR 发光的球实现

        此处需要使用空间网格,具体配置不再详述,参见:PICO4 Ultra MR开发 空间网格扫描 模型导出及预览或者PICO官网空间网格

(1)材质替换及停止扫描

        需要在扫描完成后,将网格材质替换为HighlightsAndShadows材质。首先需要找到所有网格对象,扫描生成的网格一般会作为挂载PXR_SpatialMeshManager脚本的物体的子物体,所以只需以此查找网格对象即可。具体代码如下:

public Transform spatialMeshParent;  //空间网格生成的父物体,即挂载PXR_SpatialMeshManager脚本的物体
public Material meshMaterial;        //接收光照和阴影的材质private MeshRenderer[] spatialMeshes;//空间网格上的MeshRenderer数组
private XRMeshSubsystem meshSubsystem;//网格子系统void Start()
{meshSubsystem = XRGeneralSettings.Instance.Manager.ActiveLoaderAs<PXR_Loader>().meshSubsystem;
}void Update()
{if (Controller.UXR_GetKeyDown(0, XR_KeyCode.APP)){spatialMeshes = spatialMeshParent.GetComponentsInChildren<MeshRenderer>();foreach(MeshRenderer renderer in spatialMeshes){renderer.material = meshMaterial;}//停止扫描网格meshSubsystem.Stop();}
}

(2)灯光设置

        创建一个点光源作为小球的子物体,并置于小球中心处。

(3)小球弹跳

        若使小球不会穿过墙面并可以在地面上弹跳,需要给网格预制件添加MeshCollider组件并赋予物理材质,物理材质设置合适弹性参数;小球上则需添加SpereCollider组件和Rigidbody组件,同样设置物理材质。

3、AR实时光照实现

        基于ARFoundation进行手机AR开发,若为安卓手机,额外导入Google ARCore XR Plugin,若为苹果手机,额外导入Apple ARKit XR Plugin。

(1)AR环境搭建

        创建XR Origin,并删除场景里的MainCamera物体。

        按照下图所示设置并添加组件。

        其中,ARPlaneManager的PlanePrefab需要手动创建并制作为预制件,赋予此处。

        创建ARSession。

(2)材质替换及停止扫描

        完整代码如下。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.XR.ARFoundation;
using UnityEngine.XR.ARSubsystems;public class ARDanceManager : MonoBehaviour
{public Material transparentMat;         //接收光照和阴影的材质public GameObject dancerPrefab;         //虚拟人物预制件public ARRaycastManager raycastManager; //射线碰撞检测器public ARPlaneManager m_ARPlaneManager; //平面生成器private List<ARRaycastHit> hits;private GameObject dancerObject = null;private bool hasSpawned = false;// Start is called before the first frame updatevoid Start(){hits = new List<ARRaycastHit>();}// Update is called once per framevoid Update(){if (dancerObject == null){if (Input.touchCount == 0)return;}if (!hasSpawned){var touch = Input.GetTouch(0);if (raycastManager.Raycast(touch.position, hits, TrackableType.PlaneWithinPolygon | TrackableType.PlaneWithinBounds)){var hitPose = hits[0].pose;if (dancerObject == null)//没有虚拟物体则生成{dancerObject = Instantiate(dancerPrefab, hitPose.position, /*hitPose.rotation*/dancerPrefab.transform.rotation);dancerObject.name = "Dancer";m_ARPlaneManager.enabled = false;SetAllPlanesTransparent();}else                      //有虚拟物体将虚拟物体锚定到射线碰撞点处{dancerObject.transform.position = hitPose.position;}}hasSpawned = true;}}//设置渲染的平面为透明void SetAllPlanesTransparent(){foreach (var plane in m_ARPlaneManager.trackables){plane.gameObject.GetComponent<MeshRenderer>().material = transparentMat;plane.gameObject.GetComponent<LineRenderer>().material = transparentMat;}}
}

        以上脚本挂载于场景物体,赋值相应变量即可。

四、视频教程

        视频教程参见:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/diannao/85450.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Python训练营打卡】day42 @浙大疏锦行

DAY 42 Grad-CAM与Hook函数 知识点回顾 1. 回调函数 2. lambda函数 3. hook函数的模块钩子和张量钩子 4. Grad-CAM的示例 作业&#xff1a;理解下今天的代码即可 Grad-CAM 在深度学习中&#xff0c;我们经常需要查看或修改模型中间层的输出或梯度。然而&#xff0c;标准的…

创建ipv6 only和ipv6+ip4的k8s集群的注意事项

关键字 : CNI calico vxlan flannel ipv6-only ipv6ipv4 在搭建ipv6-only或ipv6ipv4的k8s集群时&#xff0c;在worker节点加入集群后&#xff0c;发现worker节点上的CNI启动失败。 以下是calico的启动失败情况 : kubectl get pod -A输出如下 : NAMESPACE NAME …

鸿蒙OSUniApp离线优先数据同步实战:打造无缝衔接的鸿蒙应用体验#三方框架 #Uniapp

UniApp离线优先数据同步实战&#xff1a;打造无缝衔接的鸿蒙应用体验 最近在开发一个面向鸿蒙生态的UniApp应用时&#xff0c;遇到了一个有趣的挑战&#xff1a;如何在网络不稳定的情况下保证数据的实时性和可用性。经过一番探索和实践&#xff0c;我们最终实现了一套行之有效…

day 43

应用cnn对kaggle上的图像数据集进行练习 数据集地址&#xff1a;Cat and Dog import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pyplot as plt im…

Spring Boot 如何实现定时任务

Spring Boot 如何实现定时任务 在现代的微服务架构中&#xff0c;定时任务是一个常见的需求。无论是数据定时同步、定时清理缓存&#xff0c;还是定时发送通知&#xff0c;Spring Boot 提供了非常强大且灵活的定时任务支持。本文将详细介绍如何在 Spring Boot 中实现定时任务&…

“粽”览全局:分布式系统架构与实践深度解析(端午特别版)

第一部分&#xff1a;引言——技术世界的“端午”第二部分&#xff1a;分布式系统概述——粽子节点初探第三部分&#xff1a;核心技术详解——技术“粽子”大解构 粽叶篇&#xff1a;通信协议糯米篇&#xff1a;一致性算法馅料篇&#xff1a;任务调度与计算包扎篇&#xff1a;系…

AppTrace 视角下 App 一键拉起:提升应用转化率的高效方案​

官网地址&#xff1a;AppTrace - 专业的移动应用推广追踪平台 在大规模开展 App 推广、用户召回、广告投放、邀请传播等活动时&#xff0c;高效的深度链接方案至关重要。它不仅能缩短用户路径&#xff0c;带来无缝、流畅的跳转体验&#xff0c;更核心的是通过参数传递打通 web…

手拆STL

vector v e c t o r vector vector&#xff0c;动态数组。 先来看一下它的一些基本操作及其拆后残渣。 1.a.push_back(x)&#xff0c;将 x x x加入动态数组 a a a的末尾。 实现&#xff1a;a[cnt]x 2.a.size()&#xff0c;查询动态数组 a a a中元素的数量。 实现&#xff1a;cn…

6.01打卡

浙大疏锦行 DAY 40 训练和测试的规范写法 知识点回顾&#xff1a; 1. 彩色和灰度图片测试和训练的规范写法&#xff1a;封装在函数中 2. 展平操作&#xff1a;除第一个维度batchsize外全部展平 3. dropout操作&#xff1a;训练阶段随机丢弃神经元&#xff0c;测试阶段eval模…

CSS专题之层叠上下文

前言 石匠敲击石头的第 15 次 在平常开发的时候&#xff0c;有时候会遇到使用 z-index 调整元素层级没有效果的情况&#xff0c;究其原因还是因为对层叠上下文不太了解&#xff0c;看了网上很多前辈的文章&#xff0c;决定打算写一篇文章来梳理一下&#xff0c;如果哪里写的有问…

RabbitMQ集群与负载均衡实战指南

文章目录 集群架构概述仲裁队列的使用1. 使用Spring框架代码创建2. 使用amqp-client创建3. 使用管理平台创建 负载均衡引入HAProxy 负载均衡&#xff1a;使用方法1. 修改配置文件2. 声明队列 test_cluster3. 发送消息 集群架构 概述 RabbitMQ支持部署多个结点&#xff0c;每个…

Prometheus + Grafana + Cadvisor:构建高效企业级服务监控体系

在现代软件开发和运维领域&#xff0c;容器化技术的应用越来越广泛&#xff0c;其中 Docker 作为最受欢迎的容器化解决方案之一&#xff0c;其容器的监控管理变得至关重要。本文将详细介绍如何使用 cadvisor、Prometheus 和 Grafana 来监控 Docker 容器的状态。 一、安装镜像 …

小提琴图绘制-Graph prism

在 GraphPad Prism 中为小提琴图添加显著性标记(如*P<0.05)的步骤如下: 步骤1:完成统计检验 选择数据表:确保数据已按分组排列(如A列=Group1,B列=Group2)。执行统计检验: 点击工具栏 Analyze → Column analyses → Mann-Whitney test(非参数检验,适用于非正态数…

【开源工具】跳过网页APP禁止粘贴限制:自动输入键盘模拟工具

&#x1f4cc; 【黑科技】跳过网页APP禁止粘贴限制&#xff1a;自动输入键盘模拟工具 &#x1f308; 个人主页&#xff1a;创客白泽 - CSDN博客 &#x1f525; 系列专栏&#xff1a;&#x1f40d;《Python开源项目实战》 &#x1f4a1; 热爱不止于代码&#xff0c;热情源自每一…

深度学习篇---face-recognition的优劣点

face_recognition库是一个基于 Python 的开源人脸识别工具&#xff0c;封装了 dlib 库的深度学习模型&#xff0c;具有易用性高、集成度强的特点。以下从技术实现、应用场景等维度分析其优劣势&#xff1a; 一、核心优势 1. 极简 API 设计&#xff0c;开发效率极高 代码量少…

Git深入解析功能逻辑与核心业务场景流程

一、Git核心功能逻辑架构 #mermaid-svg-9tj1iCr99u6QenJM {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-9tj1iCr99u6QenJM .error-icon{fill:#552222;}#mermaid-svg-9tj1iCr99u6QenJM .error-text{fill:#552222;st…

【大模型】情绪对话模型项目研发

一、使用框架&#xff1a; Qwen大模型后端Open-webui前端实现使用LLamaFactory的STF微调数据集&#xff0c;vllm后端部署&#xff0c; 二、框架安装 下载千问大模型 安装魔塔社区库文件 pip install modelscope Download.py 内容 from modelscope import snapshot_downlo…

Java基础 Day26

一、网络编程简介 1、概念 网络编程指在网络通信协议下&#xff0c;不同计算机上运行的程序&#xff0c;进行数据传输 2、软件架构 &#xff08;1&#xff09;CS架构&#xff08;客户端和服务端&#xff09; 在用户本地有一个客户端程序&#xff0c;在远程有一个服务器端程…

【Hot 100】45. 跳跃游戏 II

目录 引言跳跃游戏 IIdp解题贪心解题 &#x1f64b;‍♂️ 作者&#xff1a;海码007&#x1f4dc; 专栏&#xff1a;算法专栏&#x1f4a5; 标题&#xff1a;【Hot 100】45. 跳跃游戏 II❣️ 寄语&#xff1a;书到用时方恨少&#xff0c;事非经过不知难&#xff01; 引言 跳跃…

计算机网络第1章(上):网络组成与三种交换方式全解析

目录 一、计算机网络的概念二、计算机网络的组成和功能2.1 计算机网络的组成2.2 计算机网络的功能 三、电路交换、报文交换、分组交换3.1 电路交换&#xff08;Circuit Switching&#xff09;3.2 报文交换&#xff08;Message Switching&#xff09;3.3 分组交换&#xff08;Pa…