G-LMM
理解语言之外的世界
数学所要理解的世界并非仅由文字构成。
G-LMM 在同一语境中连接图像、声音、运动、图形、图表与语言，让 AI 更接近数学的起点：对世界的观察。
从语言到多模态理解
G-LLM 支持人们通过自然语言进行沟通。但许多教育互动包含的信息，仅靠文字无法完整表达。
G-LMM 在同一语境中，将理解扩展到多种形式的信息：图像、图表、图形、声音、视频、数学表达式以及自然语言。
重要的变化不只是 AI 能处理更多类型的媒介，而是它能够综合不同的表达形式来理解含义。
- 语言
- 图像
- 声音
- 视频
- 图形
- 图表
为什么需要多模态理解
一个问题往往与我们看到、听到、观看或经历的事物相关。
仅凭文字不足以把握完整的意义。
G-LMM 能够跨越不同模态理解语境。
不同的问题，不同的模态，统一的理解。
G-LMM 的工作方式
G-LMM 处理并连接不同类型的信息，以理解问题背后的含义。
G-LMM 使系统能够：
- 综合理解多种模态
- 识别不同表征之间的关系
- 连接数学知识
- 提供准确且切合问题的解释
从感知到数学意义
G-LMM 帮助我们从感知到的事物中获得数学理解。
我们在自然中看到规律。图像中的螺旋可能揭示一种数学规律；运动可能揭示随时间的变化；波形可能将声音与频率联系起来；图形则可能揭示一种关系。
G-LMM 在 GOS A LAS 中的作用
G-LMM 与数学 AI 算法、G-LLM 以及教育内容协同工作，将多模态语境与数学知识及自然语言沟通连接起来。
- 数学 AI 算法将问题连接至数学知识。
- G-LLM通过自然语言进行沟通。
- G-LMM理解多模态语境。
- 教育内容提供结构化的数学知识。
- 智能数学沟通多模态语境。互联的知识。自然的沟通。
AI 与数字技术 · 下一篇探索 IT 型数学图书