怎么国内就做不出来这种项目呢!!纽约数字孪生,会下雨,能跑车。

2026-10-28 · 行业资讯 · ariclau 时界之外

数字孪生这词被喊烂了,但落到「一座城市」这个尺度上,过去基本是两种玩法。一种是政府或巨头花大价钱做的:几百万预算、激光雷达车满街跑、点云堆出白模,最后锁在一个你进不去的闭源系统里。另一种是小团队用游戏引擎手搓个「长得像」的街区,好看,但里面的楼是编的、路是画的,跟真实纽约半毛钱关系没有。

怎么国内就做不出来这种项目呢!!纽约数字孪生,会下雨,能跑车。
Valdrada,一个用纽约市公开市政记录编译出来的城市级实时数字孪生。它不靠激光扫描、不靠航拍合同,纯粹把市长官网上人人能下的数据,榨成一座能在浏览器里开车、看行人、还能下雨的城市。
Valdrada 走的是第三条路:数据是真的,渲染是实时的,而且免费开源。 它的底气来自一个很朴素的事实——纽约市把自己家底儿摊开在了网上。建筑轮廓、楼层数、临街立面用的是哪种材料、每条路的车道数、限速、甚至哪栋楼顶上有水箱,全在 NYCOpenData 上公开躺着。这个项目干的事,就是把这些记录读进来,编译成一座能跑的城。

公开数据

这是我眼里 Valdrada 最狠的地方。它有一份 DATA_SOURCES.md,把每一个喂进管线的数据集、从里面抠了什么字段、最后落到了城市的哪个角落,全列得一清二楚。我挑几个最有代表性的说说。

BuildingFootprints(建筑轮廓):纽约每一栋楼的真实 footprint 多边形、屋顶高度、地面高程、建造年份,全拿来当楼体体量。

PLUTO:每栋楼的楼层数、建造年份、建筑类别、用途,用来推算立面风格和配色。

FISP 外立面合规申报(LocalLaw11):这是真·细节控。纽约所有 6 层以上建筑必须定期申报外墙材质——砖石、陶土、天然石材、玻璃幕墙还是金属。Valdrada 直接把这份申报当成每栋楼的真实外墙材料,不是猜的,是法定填报的。

StreetCenterlines(街道中心线):路宽、车道数、单行方向、限速、自行车道,直接变成可走的车道图和人行道网络。

2015 年街道树木普查 + 日常更新的林业数据:纽约每一棵活着的行道树,树种、胸径、经纬度,连树坑围栏都摆上。

还有消防栓、公交候车亭、LinkNYC 信息亭、地铁出入口、自行车架(47,267 个)、乃至新泽西那边的桥和背景地形,全是从公开记录里扒出来的。

说白了,你在大街上抬头看见的纽约,和这个项目里编译出来的纽约,是同一份市政台账撑起来的。这种「可溯源」是它反复强调的卖点:每个被建模的元素都能追到一条公开记录。

642.png


Node.js 编译器读取市政记录,写出二进制瓦片;客户端绕着相机流式加载这些瓦片,给立面「穿衣服」、仿真车辆和行人,每一帧连同它的标注一起渲染出来。

不只是「看」,它还会「跑」

如果只是静态楼群,那跟 GoogleEarth 没本质区别。Valdrada 真正有意思的是仿真层。它在车道图上跑 IDM(智能驾驶员模型)跟车,配合信号灯相位和转弯规划;行人在人行道图上走,还会看红绿灯过马路。车辆阵容是照着纽约真实车队来的:出租车、私家车、MTA 公交按线路跑、校车、警车、邮车、环卫车、配送车、厢式货车、急救车,连 1 号地铁在曼哈顿谷高架上的身影和 Metro-North 通勤铁路都进了城。

643.png


上面这张 gallery 拼图能看出它覆盖的场景跨度:白天第五大道、夜里的时代广场霓虹、雨中的布鲁克林、还有哥大校园。细节到这种程度——125 街从十二大道一路到哈莱姆河,连 RiversideDrive 高架、公园大道高架、1 号线的 125 街车站都建模了。

同一座城,它还能切换一天里的不同光线。 

白天、夜晚、下雨,光照和材质响应是真在变的,不是简单滤镜。这种「可控天气 + 可控时间」的能力,对做感知仿真的人很关键——你想让模型在暴雨夜的纽约练眼力,它真能给你造出来。

摄像头看见的世界

这才是 Valdrada 的「杀手锏」,也是它明摆着冲着自动驾驶合成数据去的。常规仿真器给你画面,标注得自己标;Valdrada 直接把标注当副产品送你:

RGB 原始画面;

语义分割:Cityscapes 兼容的类别;

实例分割:带可见框和「amodal 框」(把被遮挡部分也框出来)、遮挡比例、3D 位姿;

度量深度:每个像素的距离真值。

644.png


上面这张四联图,是 README 里 PythonAPI 那节直接贴的:一步里同时拿到 RGB、语义分割、实例分割(带框)、深度。实例分割还能指定对最大的 8 个物体给出 amodal 框和遮挡比——这对训练遮挡场景下的检测器太友好了。分割和深度这两张,是这个项目「像素级真值」最直观的证据。做 BEV、做单目深度估计、做 3D 检测的人,缺的不就是这种和画面严格对齐、还随便换天气换机位的标注吗?

同一个城市,三个引擎一起渲染

Valdrada 有个挺轴的设计:同一座城,能在三个引擎里渲染。three.js 客户端是它「出生和仿真」的地方;一段相机路径录制下来,能导出成 OpenUSD,再用 BlenderCycles 和 UnrealEngine5 离线渲染同一段——几何、车流、树木、光照完全一致,只是各家用自己支持的材质。

645.png


架构上分得很清楚:公开记录 → 二进制瓦片 → 客户端流式加载+仿真+渲染 → 仿真服务器(Electron,TCPAPI)→ Python 客户端通过 TCP 去驱动。你写的 Python 脚本,本质上是在远程「开车」。 

谁会真的去打开它

别被「纽约」两个字骗了,它不是旅游 demo。README 自己写的三个用途很诚实:

合成数据生成:要带精确标注的街景图,尤其是换天气、换时段、换机位批量产;

闭环场景仿真:自动驾驶/机器人的闭环测试,在可溯源的城市里跑边缘场景;

街景研究:研究城市空间、立面、街道生活,且每个元素都能追到公开记录。

再往下分,具体谁用得上:做感知算法的研究员(缺标注数据)、做数字孪生课题的高校团队、做城市可视化/影视预演的人、以及单纯想「在浏览器里飞纽约」的好奇宝宝。

版权与侵权声明

本文中的技术内容基于本项目公开资料与官方仓库整理,配图优先采用项目官方 UI 截图或文档原图。如您认为本文或文中配图侵犯了您的合法权益(包括图片、数据、文字等未经授权使用),请通过公众号后台与我们联系,我们会在核实后及时删除相关内容。项目软件本身的授权范围与合规要求,以其官方仓库声明的开源协议为准,本文不构成法律意见。

参考链接

[1] Valdrada 项目仓库(GitHub) https://github.com/mkturkcan/valdrada

[2] 官方文档站 https://mkturkcan.github.io/valdrada/

[3] 浏览器在线 Demo(HuggingFaceSpace) https://huggingface.co/spaces/mehmetkeremturkcan/valdrada

[4] 编译好的城市、模型与纹理数据集 https://huggingface.co/datasets/mehmetkeremturkcan/valdrada

[5] 实机演示视频集 https://mkturkcan.github.io/valdrada/media/