“I”:视频输入。GPT-4V对视频的理解还相当原始，因为它将视频视为一系列离散图像。减少信息冗余的最聪明方法是什么?学习目标应该是什么?下一帧预测与下一个单词预测有着明显的类比关系，但它是否是最佳的?如何与语言交错?如何引导机器人和人工智能的视频学习?业界尚未达成共识。
比如将岩石样本放置在金属框架内，将其中心切开以模拟断层，并将其置于围压下，让局部传感器测量样品变形时发生的情况。
他们在2021年发表在《自然通讯》上的一篇论文中公布了他们的发现。这些改进的数据集可以帮助人类和机器更好地理解地震。
CogAgent还提供了可视化代理的能力，能够返回任何给定任务的计划、下一步行动和带有坐标的具体操作。它还增强了与图形用户界面相关的问题解答功能，可以处理与网页、PC应用程序、移动应用程序等任何图形用户界面截图相关的问题。另外，通过改进预培训和微调，CogAgent还增强了OCR相关任务的能力。这些功能的提升使得CogAgent在多个基准测试上实现了最先进的通用性能。
12月31号晚上的演出更是重头戏:他们举行了跨年烟花和灯光秀，还有NPC蛋仔带着玩家一起蹦迪、合影。玩家们在这天晚上，叫上自己今年曾共同玩耍过的蛋搭子们，共同在游戏中摆成不同的姿势，有人叠高高、有人摆阵型，只为留下2024年的第一张蛋仔合影。