在上一篇文章里我们用 ARKit 来检测真实生活中的平面,然后给这些平面添加了视觉效果。在这篇文章中,我会开始向 AR 体验添加虚拟内容,并与检测到的平面进行交互。
在这篇文章的最后,我们能够把小方块丢到世界里,并在小方块上应用逼真的物理学,以便它们彼此相互作用,同时还会制造迷你冲击波来让小方块飞出去。
下面是实际的演示视频,可以看到首先获取了水平面,然后添加了一些 3D 小方块并与场景交互,最后制造了一些迷你冲击波来让小方块飞出去:
视频
和以前一样,你可以参照这里的代码:https://github.com/josephchang10/ARCube/tree/part3
命中测试
在第一篇教程中,我们可以在任意 X,Y,Z 位置插入虚拟 3D 内容,并在真实世界里渲染和追踪。现在我们掌握了平面检测,我想添加一些内容并与这些平面交互。完成后从 app 中看过去,你的桌子、椅子、地板等等上面就像都摆了东西。
在此 app 中,如果用户点击屏幕,就会执行一次命中测试(hit test),即获取屏幕的 2D 坐标,并从摄像头原点处通过屏幕的 2D 坐标(在投影平面上有 3D 位置)发射一道射线到场景中。如果射线与某个平面相交,就会获得命中结果,然后利用射线和平面相交的 3D 坐标,在此 3D 位置放置内容。
这段代码相当简单,ARSCNView 包含一个 hitTest 方法,只要传入屏幕坐标,它会负责从摄像头原点投影射线,并穿过 3D 环境中对应屏幕坐标的点,最后返回结果:
@objc func handleTapFrom(recognizer: UITapGestureRecognizer) {
// 获取屏幕空间坐标并传递给 ARSCNView 实例的 hitTest 方法
let tapPoint = recognizer.location(in: sceneView)
let result = sceneView.hitTest(tapPoint, types: .existingPlaneUsingExtent)
// 如果射线与某个平面几何体相交,就会返回该平面,以离摄像头的距离升序排序
// 如果命中多次,用距离最近的平面
if let hitResult = result.first {
insertGeometry(hitResult)
}
}
有了 ARHitTestResult 就可以得到射线/平面相交点的世界坐标,并在该位置放置虚拟内容。这篇文章里只会插入简单的小方块,后面的文章里则会让物体看起来更真实:
func insertGeometry(_ hitResult: ARHitTestResult) {
let dimension: CGFloat = 0.1
let cube = SCNBox(width: dimension, height: dimension, length: dimension, chamferRadius: 0)
let node = SCNNode(geometry: cube)
// physicsBody 会让 SceneKit 用物理引擎控制该几何体
node.physicsBody = SCNPhysicsBody(type: .dynamic, shape: nil)
node.physicsBody?.mass = 2
node.physicsBody?.categoryBitMask = CollisionCategory.cube.rawValue
// 把几何体插在用户点击的点再稍高一点的位置,以便使用物理引擎来掉落到平面上
let insertionYOffset: Float = 0.5
node.position = SCNVector3Make(hitResult.worldTransform.columns.3.x, hitResult.worldTransform.columns.3.y + insertionYOffset, hitResult.worldTransform.columns.3.z)
sceneView.scene.rootNode.addChildNode(node)
// 将小方块添加到场景中
boxes.append(node)
}
添加物理学
AR 理应增强现实世界,所以为了让物体的感觉更加真实,需要添加一些物理学原理来给予重力感。
上面的代码里每个小方块都给定了 physicsBody,以便让 SceneKit 用物理引擎来控制该几何体。每个 ARKit 检测的平面我也给定了 physicsBody,以便让小方块与平面交互(查看 github repo 中的 Plane.swift 类可以获得更多细节)。
停止平面检测
有了一定数量的平面后,就不希望 ARKit 再继续提供新平面了,因为这可能会更新目前已存在的平面,并影响已经添加到世界中的几何体。
在这个 app 里,如果用户用两只手指长按一秒,就会隐藏所有的平面并关闭平面检测。只需更新 ARSession configuration 的 planeDetection 属性并再次 run 一遍 session 即可。默认情况下,session 会保留相同的坐标系以及所有 anchor:
// 获取当前的 session configuration
if let configuration = sceneView.session.configuration as? ARWorldTrackingSessionConfiguration{
//关闭平面检测和更新
configuration.planeDetection = .init(rawValue: 0) // ARPlaneDetectionNone
// 再次 run session 以应用改变
sceneView.session.run(configuration)
}
示例代码
所有的示例代码都在这里:https://github.com/josephchang10/ARCube/tree/part3
接下来
下篇文章里会强化之前我们写过的代码,并添加一些 UI 控件来开启/关闭某些功能。还会使用光线和纹理,以便让插入的几何体看起来更加真实。