#8.1 且行，且看，且记，且思（2021）

先把有趣的故事记录着……等2030之后再回头看看（希望我和我的网站都还活着，微笑）

🎞 全球🥇首个正式的8K电影放映厅于上海落户。

• 截至2023年12月，真正的8K片源仍寥寥可数。

🌀 元宇宙突然成为一个热门话题，

• 实际上就是大型多人在线3D网络游戏的升级版，附加更多社交、交易、存储、VR等功能。
• 各大娱乐巨头通过收并购现有的游戏开发、社交应用开发、3D数字技术开发和制作等相关公司，积极构建各自的元宇宙生态链，并进一步促进了数字动画技术的并道。
  • 脸书更名为“Meta”，以更亲近元宇宙战略，其宣传视频体现的更多是对实时交互动画技术的愿景。
    • Meta推出虚拟工作室应用，让用户通过其虚拟现实设备和数字化身，以更接近真实现场会议的感觉工作，尽管这些化身依然没有腿。
  • 微软也在其视频会议平台引入卡通角色化身以拥抱元宇宙。
    • 化身将替代用户的真实面孔，并根据用户的声音、行为生成实时动画。
  • 华为与新加坡小岛制作公司宣布计划合作建设元宇宙主题公园。
  • Epic Games发布“MetaHuman Creator”：
    • 本质上是一个游戏角色创建工具，可导出用于虚幻引擎，也可导出至其他专业3D模型软件继续修改，非专业用户可像玩游戏一样创造出以前由专业3D数字模型师花费数百小时才能创造的照片真实感数字角色。
  • 英伟达发布针对远程协作的可扩展实时3D世界开发平台“Omniverse”：
    • 其命名显然也受元宇宙热潮的影响，多个主流计算机生成图像软件和硬件设备供应商已接入该平台。
    • 英伟达还发布了一个基于语言捕捉的3D表情动画软件“Audio2Face”作为其元宇宙平台的一部分，自动化程序后角色表情仍可后期处理优化。
  • 迪士尼也加入了元宇宙赛道。
    • 申请了一种虚拟世界模拟器专利，不需要耳机、眼镜或智能手机，以更紧密地连接物理和虚拟世界。
    • 其迪士尼+平台也计划与元宇宙关联。

↑ Audio2Face © 2021 Nvidia

🎞 动画长片《智能大反攻》（The Mitchells vs. the Machines，2021 ）

导演：迈克·里安达（Mike Rianda），杰夫・罗（Jeff Rowe）；制作公司：Sony Pictures Animation，Columbia Pictures，Lord Miller Productions；首映：2021 年 4 月 23 日（美国/小规模点映），流媒体首播：2021 年 4 月 30 日。

• 为实现“手绘水彩”风格，采用了《蜘蛛侠：平行宇宙》（2018）中使用过的技术并加以改进。
  • 与《蜘蛛侠：平行宇宙》的漫画风格视觉效果和技术不同，本片主要采用2D风格效果来模仿传统动画片的外观，包括使用波浪线表现毛发，以及用水彩笔触来描绘树木和灌木等元素。
  • 开发自定义插件 “Brushify”，将 3D 模型表面自动转化为水彩笔触效果，同时支持动态变形时的笔触拉伸模拟。
• 对于PAL MAX Prime机器人，动画总监艾伦·霍金斯（Alan Hawkins）发明了一种方法，使机器人在移动过程中能够通过负空间分解。
  • 其灵感来源于电影《终结者2：审判日》中T – 1000的变形效果。据霍金斯所说，他发明的工具能让动画师们“像用刀切割一样切开角色”，并且每个人都可以有不同的处理方式。

  • BILL DESOWITZ (2021). How ‘The Mitchells vs. The Machines’ Went Beyond the ‘Spider-Verse’ to Fight the Robot Apocalypse[EB/OL]. https://www.indiewire.com/features/general/the-mitchells-vs-the-machines-animation-netflix-1234633881/

• 🏆 安妮奖“最佳影片”“导演”“最佳角色设计”等 8 项大奖：
  • “技术创新与艺术表达的完美平衡” “角色的 3D 建模精度与手绘质感的完美平衡，重新定义了动画角色的视觉可信度”。

↑ 《智能大反攻》 剧照 © 2021 Sony Pictures Entertainment，Netflix

🎞 混合电影长片《猫和老鼠》（Tom & Jerry ，2021）

导演：Tim Story；制作：Warner Animation Group，The Story Company，Turner Entertainment Co.；发行：Warner Bros. Pictures；上映：2021年2月26日（US）

• 没有进行当下流行的“CG改造”，而是继续使用三渲二技术让传统手绘动画角色走进实拍电影。

Tom & Jerry 剧照
© 2021 Warner Bros. Pictures

🎮🎞 宇宙万物（Universal Everything）开启了一个被称为“无限”（Infinity）的项目

• 通过代码实时创造永无休止的、绝不重样的、时尚的、怪异的、有趣的数字角色加入游行队伍，并以不同的方式前进。
• 这是实时渲染动画技术应用的全新探索，当时以直播的形式展示，持续了两周，创造了数十万个角色。
• Universal Everything是一个由一群数字艺术家、体验设计师和未来创造者组成的视觉设计工作室。

↑ Infinity 动画截图 © 2021 Universal Everything

🔬 英伟达、多伦多大学和矢量研究所发表了一种无需硬件或运动数据即可生成运动捕捉动画的新技术。

• 绕开了昂贵的动捕硬件，直接使用普通视频，通过人工智能分析识别视频中的人类和行为，将捕捉数据转换为数字化身，再对数字化身进行物理模拟，以消除脚步滑动、时间不一致或跳跃等问题。
• 从发布的演示视频来看，单人和多人视频均可被识别和捕捉，该技术不仅可用于视觉效果制作，也将极大地提高虚拟现实和视频游戏等项目的交互体验。

• Xie K., Wang T., Iqbal U. Guo Y., Fidler S., Shkurti F. University of Toronto, Nvidia. (2021). Physics-based Human Motion Estimation and Synthesis from Videos. https://doi.org/10.48550/arxiv.2109.09913

🛠️ Unity Technologies公司以 16.25 亿美元收购了维塔数码（Weta Digital）的视觉效果工具开发部门，

• 计划把维塔数码的技术整合到其Unity引擎现有的工具集中，提供给世界各地的创作者使用。
• 2023 年 SIGGRAPH 大会上，Unity 将整合后的工具集正式更名为Unity Wētā Tools。
  • 涵盖维塔数码的核心技术（如 Manuka 渲染器、Loki 流体模拟、Ziva 生物力学解算器、SpeedTree 植被生成工具等），形成覆盖角色创建、环境设计、影像合成三大流程的完整管线。
  • 这一举措旨在将原本仅供好莱坞顶级工作室使用的工具普及化，支持从独立开发者到大型影视团队，甚至跨行业领域的多样化创作需求。
• 收购后，原维塔数码的视觉特效团队独立为Weta FX，并继续作为 Unity 的重要客户。
  • Weta FX 在《阿凡达：水之道》《指环王：力量之戒》等项目中持续使用 Unity Wētā Tools，并与 Unity 联合开发针对影视行业的虚拟制片解决方案。
• 2023 年 11 月，Unity 终止与 Weta FX 的专业服务协议。
  • 解雇 265 名原维塔数码员工，并关闭 14 个全球办事处，战略重心重新聚焦游戏开发。这一调整反映出 Unity 在经济压力下优先保障核心业务的现金流。
• Weta FX 在 2024 年以 1.7 亿美元从 Unity 购得相关技术的永久授权。
  • 此举使 Weta FX 可自由选择工具供应商，同时 Unity 仍保留技术所有权并通过授权费获得收入。
• 尽管面临财务压力，Unity 仍在持续优化工具。
  •  2024 年的 GDC 大会上展示了 Wētā Tools 与 AI 的结合，例如通过生成式 AI 自动生成角色骨骼绑定和环境纹理。未来可能引入 NeRF（神经辐射场）技术，实现实时 3D 场景的重建与编辑。
• 这场收购后续发展呈现 “技术落地成功、商业整合曲折” 的特点：
  • 一方面，Wētā Tools 在实时渲染、物理模拟等领域取得显著突破，并在影视、游戏等行业实现应用；另一方面，财务压力和战略调整导致团队动荡，工具商业化进程受阻。希望Unity能在技术创新与市场需求间找到平衡，以兑现 “让顶尖特效工具民主化” 的承诺。

🎮 AR手游《大修理》（Wallace & Gromit: The Big Fix Up，2020）

开发：Fictioneers、Aardman和University of South Wales，平台：IOS、Android ；全球首发：2021 年 1 月 18 日。

• 经典粘土动画IP“超级无敌掌门狗”的 3DCG AR手游。

  • 尽管受限于手机硬件条件，模型以较低面数呈现，但粘土动画风格和数字动画技术的结合效果依然不错。
• 跨媒体叙事平台 MUST（Multi-User Storytelling Toolkit）：
  • 实时内容整合：开发团队自主研发的 MUST 平台，支持将 AR 任务、CG 动画、角色语音通话、漫画等多形式内容无缝嵌入同一应用。如玩家完成 AR 场景修复后，会触发角色 Jim Carter（饰演 Bernard Grubb）的语音邮件推动剧情。
  • 动态新闻流设计：通过预设定时器和用户行为数据，自动生成 “Spick & Spanners 公司内部公告”，打破传统线性叙事，增强沉浸感。
• 城市级 AR 与 3D 环境映射：
  • Fantasmo 引擎：采用 3D mapping 技术扫描现实场景，将 Bristol 市中心标志性建筑转化为游戏内可交互元素。玩家在现实中移动时，虚拟角色 Gromit 会同步在手机屏幕上做出对应动作。
  • 动态光影匹配：利用设备摄像头实时捕捉环境光照，调整虚拟道具的阴影和材质反射，实现物理级真实感。
• 混合现实交互设计：
  • 手势识别与空间锚点：支持捏合缩放、滑动旋转等手势操作，玩家可在现实桌面搭建虚拟修理台，组装 Wallace 的 “万能修理器”。
  • 多设备协同：允许多人同时扫描同一物理空间，合作完成修复任务（如共同抬起虚拟建筑模块），但受限于移动端算力，暂不支持跨平台联机。
• 轻量化引擎与性能优化：
  • Unity AR Foundation：基于 Unity 引擎开发，通过动态 LOD（Level of Detail）调整和纹理压缩技术，确保在中端设备（如 iPhone XR）上保持 30 FPS 稳定运行。
  • 异步资源加载：采用 “边玩边下载” 机制，主程序体积控制在 150 MB 以内，关键剧情节点的高清动画通过后台静默下载。
• 英国研究与创新署（UKRI）将该项目列为 “未来观众计划” 重点案例，资助金额未公开，但确认其技术创新性。

↑ 《大修理》游戏截图 © 2021  Aardman Animations Ltd.，Fictioneers Ltd.

💻🛠️ Weta Digital 在 NVIDIA GTC 2021 上演示其实时物理光照系统 PhysLight 在 Gazebo 平台上的应用与进步

• 由 Luca Fascione （Weta Digital 技术主管）和 Robert Cannell 主讲
• 核心系统：PhysLight 场景参考照明系统 + Gazebo 交互式路径追踪渲染器

• 动画 / 视效技术突破点

  • PhysLight：把“电影灯光”做成现实物理系统
    • Weta 开发的 scene-referred lighting 系统，用真实世界的光度单位、相机参数和色彩科学来定义灯光，而不是“随缘调数值”：灯光按流明、坎德拉等物理量标定；相机曝光、光圈、快门、感光度与真实摄影机一致；与自家 PhysCam、HDRConvert 等工具协同，保证从片场 HDR 勘景 → CG 灯光 → 合成，全程物理一致。
    • 实际效果：在复杂材质（高反射金属、粗糙盔甲、半透明皮肤等）上，更容易得到稳定、可预测的电影级光影，而不是“全靠灯光师经验测试”。
  • Gazebo：为电影级图像服务的“实时”路径追踪器
    • Weta 的交互式渲染平台，用 GPU 加速的路径追踪做接近最终质量的即时预览：在 Gazebo 里调灯、改材质，几秒内就能看到与离线渲染 Manuka 近似的结果，把电影 VFX 的工作体验推向“准实时”。
  • 复杂材质与体积光的高保真预览
    • 该体系专门考虑微表面粗糙度、各向异性金属、微结构法线、体积雾和大规模环境光：在镶满尖刺的金属盔甲、布料与皮革混合的服装，以及烟雾、灰尘、火焰等元素上，都能做到“预览基本等于成片”的照明判断。

• 历史与产业意义

  • 把“电影级物理光照”拉进日常工作流，而不只是论文demo
    • 在此之前，物理准确的全局光照往往只存在于学术论文或极少数离线渲染实验里——好看，但“算不动、落不了地”。
    • PhysLight + Gazebo 把这一整套真正变成日常生产工具：从 HDR 现场勘景、灯光标定、材质标定，到最终渲染，都按照物理逻辑可重复操作，而不是“手艺人经验 + N 次试错”。
  • 连接电影 VFX 与游戏/实时渲染技术路线
    • 当 NVIDIA 在 GTC 2021 等会议上邀请 Luca Fascione 等人分享时，讨论的焦点就是：电影级别的光照和材质，如何迁移到 GPU 实时路径追踪、游戏引擎和虚拟制片场景中？
    • 这类分享让电影工业里的物理光照经验，开始反向影响实时图形、游戏引擎和虚拟制作。
  • 为后续的虚拟制片与“全 CG 片场”打基础
    • 统一的物理灯光/相机体系 + 交互式路径追踪，是后来虚拟片场（LED Volume）、实时预览、以及云端协作渲染的“底层大脑”：导演、摄影指导和 VFX 主管可以在拍摄前就用 Gazebo 一类工具“排练光影”；拍摄现场通过 HDR 和 LiDAR 把真实环境进场后，灯光值不用重算一遍，只需微调。
    • 从动画技术史的角度看，这是电影光学 & CG 渲染从“风格化经验”走向“物理标准化”的重要阶段。

• 🍉一些延伸故事

  • “这是个灯光系统，不是美颜滤镜”
    • 相关技术报告一再强调：PhysLight 的目标是把现场真实光照“搬进电脑”，而不是给大家一个“自动好看”的滤镜。换句话说：如果现场打得丑、灯位混乱，PhysLight 会很诚实地帮你把“丑”保真到 CG 里。
  • 工具后来“出圈”被卖给 Unity
    • 2021 年 Unity 宣布收购 Weta Digital 的工具链资产时，PhysLight、Gazebo、Manuka 等都在收购列表里，被定位为可以服务更广泛创作者的电影级渲染与照明工具。
    • 这也意味着：原本只在《阿凡达》级别片场使用的那套物理光照体系，开始有机会下放到更广泛的动画、游戏和实时可视化行业——从“顶级工坊密技”变成“未来可能的行业共用基建”。

↑ 密恐千万不要点开！英伟达在NVIDIA GTC 2021上演示效果图