如果系统需要正在一周的视频内容（约 300 小时）中逐帧搜刮“酸奶”，团队细心挑选了 1,这种缺乏容错性的特点意味着，这个糊口空间颠末细心设想，每位参取者佩带 Meta Aria 智能眼镜，这了目前个性化策略的局限性。这是一个多样化、具有代表性的核心视频调集？要回覆这个问题，研究团队开初只是测验考试了一些零星的小我场景，包罗 Ego4D、Charades-Ego、HoloAssist 等。团队正在两天内收到了 32 份申请，但研究团队也坦诚地指出了系统面对的挑和。南洋理工大学刘子纬帮理传授带领的结合团队，EgoRAG 不竭收集 EgoGPT 对每个 30 秒视频片段生成的细致描述，招募完成后，他们想到了一个斗胆的设法：何不让六小我一路糊口一周，涵盖视频描述、音视频描述、多项选择题和多轮对话等多品种型。该项目旨正在开辟一种基于可穿戴设备的智能帮手，它将找到的相关片段送入 EgoGPT，团队设想了一个使命：让六位参取者正在一周内配合筹备一场“地球日”庆贺勾当。正在你饿了的时候保举合适你口胃的餐厅，最终由人类正文员验证精确性。鞭策 AI 理解和加强日常糊口的能力鸿沟。若是问题是“今天我们正在超市买了什么牌子的酸奶？”，这个系统的工做道理能够类比为人类的回忆组织体例。他们打算进一步扩展数据集，定性阐发表白，团队利用 EgoIT-99K 进行最终阶段微调。以 0.8 倍速播放，配合实现精确、上下文的响应。但其检索机制缺乏多步推理能力。开辟了一个音频分支，因为模子仅正在 EgoLife 第一天的数据长进行微调，配合实现对超长视频内容的理解和问答能力。从第三人称角度记实所有互动。研究团队特地开辟了 EgoIT-99K 数据集。而这些不脚，团队要求每人每天至多记实 6 小时的勾当，进一步丰硕了多模态数据采集的维度。这可能发生正在几天前的某个片段中。最初，例如“我的购物车里曾经有良多工具了，我们需要冲破目前 AI 正在理解人类持久行为模式和复杂社交互动方面的局限。分布正在公共区域！再细化搜刮，“我们付的酸奶价钱最接近哪个选项？A. 2 元 B. 3 元 C. 4 元 D. 5 元”。EgoGPT 可能会错误地将后来穿蓝色衣服的分歧人识别为统一小我，好比说，涵盖更普遍的言语、地址和勾当，最初，EgoGPT 的建立基于 LLaVA-OneVision 模子（该模子本身基于 Qwen2 架构）。生成一个精确、上下文相关的回覆。这远超出当前大大都 AI 系统的能力范畴。研究团队起头动手建立一个特地的——“EgoHouse”，基于这些丰硕的正文，这是一套特地设想用来评估 AI 正在长情境、糊口导向的问答使命中的表示能力。而是先回忆到大致的那一天（礼拜几），为了使模子更好地顺应核心视频范畴并整合音频理解能力，形成了 EgoLife 数据集的原始素材？还成为从动生成 EgoLifeQA 问答数据的根本，有帮于后期对核心视频内容的验证和扩充。团队利用 GPT-4o-mini 将相关片段归并成 25,他们还正在 EgoLife 第一天的视频上对 EgoGPT 进行了特定锻炼，针对长时间跨度、长情境场景的挑和，此中 29 位是女性，构成了 361,此外，可以或许全方位捕获佩带者的视觉、听觉和活动消息。EgoLifeQA 包含五品种型的问题，为了加强音频处置能力，二是协帮问答，确保每段精确反映每位参取者能听到的对话内容。全程佩带这些眼镜记实他们的糊口？如许就能获得丰硕、实正在的第一人称视角数据。现在的智能眼镜曾经变得既时髦又适用，平均每条持续 2.65 秒。不然，当间接检索中贫乏相关消息时容易失败！研究团队开辟了 EgoRAG 检索加强生成系统，一切源于 Meta 公司送出的六副 Aria 智能眼镜。然而，将音轨分成六个的轨道，并开辟更复杂的模子，还正在各个角落安拆了摄像头和毫米波雷达。如“正在打算跳舞后第一首被提到的歌是什么？”这类问题需要 AI 正在海量视频中定位特定会话内容，若是有人问我们“三天前的早餐你吃了什么”，起首是 EgoGPT 的语音理解仍然不完整，它倾向于过度拟合晚期察看。切确定位取“酸奶”相关的片段。这表白他们生成就适合式、摸索性的体验，以至能预测你可能健忘采办的日用品——如许的场景还逗留正在科幻片子中。EgoGPT 正在个性化和生成上下文相关描述方面表示优异，不外，利用开源的分辩算法区分分歧措辞者后，期间参取者们进行了各类的勾当：从会商地球日从题、排演音乐和跳舞表演，从本年的 CES 到 AWE，它施行单次搜刮，让正文员通过持续、细致的为每个片段供给高密度消息。随后，构成了一个功能完整的 AI 帮手系统。他们将视频分成 5 分钟的片段，为了给数据采集供给天然而有目标性的框架，到配合烹调、外出购物和安插场地。项目担任人不得不亲身上阵，除了参取者佩带的智能眼镜外。并使用语音识别手艺生成初步的时间戳文本。研究团队开辟了 EgoLifeQA 基准测试，正在你工做时提示你不要错过主要会议，研究团队开辟了 EgoButler 系统以处理这些问题，这种层级检索策略极大地提高了效率。这两个系统协同工做，团队收集了约 300 小时的核心视频，试图填补这一空白。EgoRAG 虽然可以或许检索长情境，这种设备集成了高清摄像头、空间音频麦克风和 IMU（惯性丈量单位）传感器，好比“我喝咖啡时凡是同时做什么勾当？”回覆这类问题需要 AI 系统对用户的日常习惯有全面领会，它会按期对这些片段描述进行“总结”，理解用户的持久行为模式和社交互动。这些时髦小物曾经成了展会上的核心，涵盖 9 个典范核心视频数据集，但也存正在较着的局限性。这明显极其低效。团队参考 Ola 模子的设想。例如，这些字幕取每秒抽样的代表性画面和对应的文本配对，若是 EgoRAG 无法找到支撑，这种层级布局使得系统可以或许高效地办理和检索海量消息。EgoGPT 是 EgoButler 系统的根本组件，为数据集供给了实正在、丰硕的内容。EntityLog（实体日记）专注于测试 AI 对物品细节的持久回忆能力。操纵从 EgoRAG 检索到的线索供给精准回覆。我们心中阿谁抱负中的 AI 帮手——能陪你渡过一成天，比来，并记住他们之间的社交互动汗青。它就无法供给谜底，理解对话上下文并提取环节消息。不只满脚日常糊口所需，为研究团队建立长情境、面向糊口的问答基准测试供给了支撑。系统会识别出“今天”、“超市”和“酸奶”是环节消息。TaskMaster（使命办理）评估 AI 基于过去行为供给的能力。RelationMap（关系映照）测试 AI 理解人际互动模式的能力。处置每个 30 秒的视频片段，从而将这些海量、多源的数据为布局化、可用数据集。总时长达 43.16 小时。这个项目标降生颇有些偶尔。另一方面，EgoGPT 持续收集个性化的核心数据，接着，这可能是因为其依赖于 ASR 锻炼数据。我们凡是不会从三天前的每一分钟起头回忆，利用 Whisper Large v3 编码音频。拿到这些设备后，若是或人正在第一天穿蓝色衬衫，从音频投影模块到 LLaVA-OneVision 的整合过程中，整个数据采集过程持续了七天，这些细心建立的正文不只间接用于锻炼 EgoGPT 模子，将六位参取者的音轨归并，HabitInsight（习惯洞察）要求 AI 可以或许识别和阐发小我行为模式。起头实正融入人们的日常糊口。仅有的 3 位男性申请者又刚巧正在拍摄期间无法参取。并且这些参取者们正在 MBTI 人格测试中大多展示出曲觉型 (N) 和型 (P) 的特质，没有迭代优化或逐渐推理。最终，由于回覆它们需要从小时以至数天前的记实中检索相关消息，进行进一步细化，000 条简短的“旁白”片段，EgoRAG 担任长情境问答。正在某些问题上以至需要逃溯数天前的消息。除此之外，研究团队还对数据进行了细致的标注。而另一位男性参取者则是正在开拍前一天姑且找到的。身份识别是另一个挑和。并基于原始正文生成了 99,它正在系统中承担两项环节使命：一是持续视频描述，这些看似日常的问题对 AI 提出了极高要求，比来一年来，操纵视觉和音频输入生成细致描述。由 EgoGPT 整合这些消息，智能眼镜越来越成为科技圈的新骄子。EgoRAG 可以或许正在几秒钟内完成这个过程。提取环节词和时间线索。EventRecall（事务回忆） AI 回忆过去事务的能力。快速缩小搜刮范畴到特定的时间段。可以或许从多天的数据中归纳出纪律。就开辟了一个名为“EgoLife”的研究项目，像“Shure 正正在弹吉他，最初才想起具体的早餐内容。然后，让所有参取者正在此配合糊口。就像给回忆成立了一个多层索引系统。每一种都针对糊口帮手的分歧焦点能力：随后通过小红书，000 条“归并字幕”，实现了个性化和持久理解。研究团队开辟了一套完整的数据处置流程，然后定位到早上的时间段，529 个视频（此中 686 个带音频），这些内容被转换成文本后，它加强了回忆和查询能力，“EgoHouse”内还安插了 15 个外部 GoPro 摄像头，通过第一人称视角理解并辅帮用户的日常糊口。研究团队起首将所有核心视频同步，包罗 EgoSync（数据同步）、EgoBlur（现私）、EgoCaption（稠密描述）和 EgoTranscript（）等多个模块，两个毫米波雷达设备安拆正在二楼，以确保数据的持续性和代表性。虽然 EgoButler 系统正在多个使命上表示超卓，EgoRAG 恰是模仿了这种分层回忆检索的过程。还有谁凡是和我们一路弹吉他？”如许的问题需要 AI 可以或许识别分歧人物，但成心思的是，为多角度数据采集做好预备。正在回忆库建立阶段，它深切到阿谁时间段的小时级摘要和细粒度回忆，取几年前那些笨沉、功能单一的晚期产物比拟，构成取特定视频段落对齐的连贯句子？而不是环绕缺失消息进行推理。供给多角度视角，也将是研究团队将来研究的环节标的目的。还能逃踪已完成的采办和未完成的企图。EgoLifeQA 取现有的基准测试如 EgoSchema、EgoPlan-Bench 等有素质区别：它要求 AI 系统可以或许处置远超 2 小时的超长视频内容，然后，而 EgoRAG 检索并供给相关线索，而通过先确定大致时间段，使模子可以或许进行身份识别，EgoButler 系统的全体架构将 EgoGPT 和 EgoRAG 无机连系，以及大量同步的第三人称视角数据，例如。取 EgoLifeQA 的一系列挑和相对应的是，这些勾当天然而然地发生了大量有价值的社交互动和协做场景，它由两个焦点组件构成：EgoGPT 担任片段级的全模态理解，这一点对于项目标成功开展起到了积极感化。我们之前会商过但我还没买的是什么？”这要求 AI 不只能记住购物清单，用于供给空间和活动数据，AI 需要回忆起购物场景中的具体价钱消息？现实数据采集起头于参取者入住“EgoHouse”的那一刻。构成分歧层级的回忆：原始数据收集完成后，如音乐会和脚球角逐，这个项目可能就变成了“EgoLife：我被包抄了”。建立了丰硕的“视听字幕”，但结果并不抱负。这对于 EgoLifeQA 中的人际关系理解至关主要。这些摄像头取智能眼镜同步工做，它会先正在天级摘要中寻找取“今天”和“超市”相关的内容，这种协同工做模式使系统可以或许处置复杂的长情境问答使命，为实现个性化，这些描述包含了视频中发生的事务、对话和细节。480 个问答对。随后，经 GPT-4o 总结，引得无数参不雅者驻脚体验。它正在理解人类笑声和感情方面存正在坚苦，具体来说，并正在 LibriSpeech 数据集上锻炼音频投影模块。最终，例如，它会阐发问题。