1)文生模型(TEXT TO 3D)
Luma AI是一家供应3D捕捉和建模技能的公司,旨在帮助用户轻松创建高质量的3D内容。Luma AI于2024年1月发布的Genie 1.0,只需输入一句笔墨提示,就能在10秒内天生四个高保真的3D模型,用户可选择并在三维网格界面内编辑模型纹理。这些模型可在屏幕上预览,也能导出到Blender、Unity等工具中进一步利用。
除Luma AI外,市情上还有非常多的文生模型产品,大家可以自行去体验一下。
2)图片/视频建模
目前,由文生模型直接天生的模型在实际项目中还不具备很强的运用代价。那么,另一种图片/视频建模更具有实际的运用代价,其事理基本便是根据图片或者视频打算空间坐标,天生点云数据,根据点云模型和照片进行大略的粗建模和点云匹配照片映射,天生一个可看的模型。
目前图片以及视频建模,有好多产品都可以做到,这里看一下通过SA完成的图片建模效果。
由相机拍摄的甜甜圈图片(须要n多张图片)
自动建模产生的甜甜圈模型
这里可以看到,由SA完成建模的图片,质量实在算不错的,如果是做一些小物件的资产沉淀,大家可以考试测验利用这类方法。
这里推举下虚幻的Bridge模型库,号称代价千亿的扫描模型库。
总的来说,目前自动化建模基本都存在以下问题:
细节缺失落与精度问题:天生的 3D 模型在繁芜的细节和高精度哀求方面可能表现不佳。例如,对付具有风雅纹理和眇小构造的物体,天生的模型可能会显得粗糙或模糊。材质和光照仿照问题:天生的模型在材质表现和光照效果的仿照上可能与真实情形存在偏差,影响视觉效果和真实性。比如天生的金属材质可能没有真实金属的反射和光泽特性。AI理解能力有限(文生模型):在高质量3D数据获取上,本身便是一个非常大的寻衅,演习数据又直接影响天生的模型本身。AI 可能无法完备理解模型在特定场景或整体设计中的高下文和语义关系,导致天生的模型在实际运用中不足贴合需求。例如为特定游戏场景天生的道具模型,可能与游戏的整体风格和逻辑不匹配。后期编辑和修正困难:与传统手工建模比较,对自动建模天生的3D 模型进行后期的大幅度编辑和修正可能较为困难,须要特定的技能和工具。有时候修正本钱乃至会远远超出手工建模本钱。以上问题均会导致天生的模型无法直接应用于实际项目。
因此,目前阶段,自动化建模还无法被大批量利用来提高生产效率。
2. AI算法演习
最近自动驾驶与机器人观点十分火爆,那么在这两个行业中,数字孪生又能发挥什么浸染呢?
1)自动驾驶
自动驾驶是经典的四维空间打算难题,其重点在于实现四维空间中的感知、建图、定位与决策方案的实现。
目前市情上大多自动驾驶技能前期都会基于仿真三维场景进行大量数据的演习,通过构建虚拟的交通场景,对演习好的模型进行测试和验证。比如,在孪生仿真平台中设置各种繁芜的交通状况,包括突发的事件、恶劣的景象等,以考验模型的应对能力。
2)机器人演习
在今年的WAIC天下人工智能大会上,涌现了做事型机器人展示,如机器人拿着咖啡杯在咖啡厅移动进行客户做事,以此来展示其在用餐环境下的做事能力。又或者在景区导览上,已经有部分导览机器人在对游客进行做事了。
那么这一类须要在不同环境下具备感知环境、与人交互、实行任务能力的机器人,大多数的实现思路都须要先将周边环境进行三维建模,再结合特定的做事场景,对机器人进行演习。那么,在对做事哀求较高的情形下,每一个店铺乃至是每一个场景,都须要进行专门的场景建模以及针对性演习。
在浩瀚的仿真场景中,如工业生产、气候防灾、低空经济等领域,皆须要三维仿真场景来支撑数据演习,因此,如何快速构建精准的三维场景就显得极为主要。
二、TEXT TO 3D实测—D5渲染器
D5是我非常喜好的一款软件,它高效的场景搭建功能以及高质量的三维资产,真的在市情上很有竞争力。
在D5中有一个还处于内测阶段的文生模型功能,作者申请了一下然后拿到了利用次数,大家感兴趣也都可以去试试。
接下来看一下实际的利用测试情形。
1. prompt:地铁进出站闸机模型
结果:最终生成的模型和预期的相差较大,大概是AI并没有理解我们的提示词导致的。
然后对第一个结果进行了细化,可以看到,模型的清晰度会比刚天生时好很多。
2. prompt:一幢3层楼的屋子,须要有阳台
结果:这一次AI理解了,提示词中的三层楼和阳台都能看出来,但细节以及模型大小都存在较大问题。这次天生没有连续细化了,由于天生次数有限。
3. prompt:一个马克杯,紧张颜色为赤色,须要有把手
结果:这一次AI也理解了,提示词中的马克杯、赤色、把手都有还原,但同样的,天生的模型细节仍旧有问题。细化后的模型,除了表面轻微细致一点外,无其他明显细节。
从本次测试可以看出,在第一部分我们总结的自动化建模问题中,在这三次天生中都多多少少存在,因此,文生模型依旧道阻且长。
三、三维高斯重修
目前我们内部在考试测验利用三维高斯重修技能来代替传统手工建模,紧张运用于大场景中的非重点区域模型自动天生。
其紧张流程分为三个部分:供应须要天生区域的视频—天生ply文件—通过插件导入到UE引擎利用;
在实际运用中,三维高斯重修技能还须要办理一些问题,如如何更好地处理混叠(摩尔纹)征象、提高渲染视角干系效果的能力、优化打算效率等。
下面是根据同一个视频文件,天生的两个效果截图,可以明显看出,优化后的效果好于优化前。
优化前天生效果:
优化后天生效果:
除以上内容外,数字孪生技能结合AI在工业、医疗、城市方案、气候防灾等方面都得到了充分的运用。总之,数字孪生与 AI 的结合是发展的一定趋势,只管面临寻衅,但前景广阔,将为各个领域带来深刻的变革和巨大的代价。
本文由 @不理性的小马同学 原创发布于大家都是产品经理。未经作者容许,禁止转载
题图来自Unsplash,基于CC0协议
该文不雅观点仅代表作者本人,大家都是产品经理平台仅供应信息存储空间做事