众人首个端侧全模态理解开源模子来了！

在菜单里帮衬选奶茶，不在话下：

还能帮衬应酬提真金不怕火长语音，再也无用对着一串几十秒语音头皮发麻（doge）。

就在刚刚，无问芯穹通告开源当今寰宇上首个端侧全模态理解的开源模子Megrez-3B-Omni，不仅体积轻巧，速率赶紧，更是一个多材多艺的万能选手，约略应酬处理图片、音频、文本三种模态数据。

在宽敞测评基准中，Megrez-3B-Omni在图片、文本、音频三个模态中均取得了同尺寸下最优性能。行为一个 3B 模子，空洞性能推崇甚而能卓著 34B 模子。

具体来说，Megrez-3B-Omni 秉承了专为手机、平板等端侧劝诱量身定制的 30 亿参数黄金尺寸，骨干汇注参数范围更是仅有 2.3B，精度超越了上一代 14B 模子，最大推理速率更是比同精度模子快达 300%。

一齐来看更多技能细节 ~

图像理解

在图像理解方面，Megrez-3B-Omni 行为一个体积仅为 3B 的模子，其空洞性能推崇不错全面卓著 34B 的小巧玲珑，是当今 OpenCompass、MME、MMMU、OCRBench 等多个主流测试集上精度最高的图像理解模子之一。

与此同期，Megrez-3B-Omni 在场景理解、OCR等任务上也具有精雅推崇，约略准确知悉和分析苟且比例尺寸图像中的场景本色，并高效地从中索取文本信息，且不论是肮脏的印刷体也曾复杂的手写字，齐约略应酬识别。

不仅能理出恭机屏幕上的信息，给定条目辅助商品挑选。

读取手写字体，雷同应酬贬责：

文步伐路

在文步伐路方面，行为全模态理解模子，Megrez-3B-Omni 在莫得殉国模子的文本处理能力的前提下，将上一代 14B 大模子的优秀能力压缩至 3B 范围，显耀裁减了谋略本钱、晋升了谋略效力。

在 C-EVAL、MMLU/MMLU Pro、AlignBench 等多个泰斗测试集上更是取得端上模子最优精度，在文步伐路方面劝诱了众人最初地位。同期，以更少的资源浮滥，完满了更高的性能输出，为端侧劝诱的智能化提供了进一步冲突精度与速率领域的全新可能。

de 个 Bug，凯旋：

蹙迫处理备忘录中的辛苦，也没问题：

音频理解

在语音理解方面，Megrez-3B-Omni 的后果并列行业主流决策。Megrez-3B-Omni 不仅援助华文和英文的语音输入，还约略处理复杂的多轮对话场景，更能援助对输入图片或翰墨的语音发问。

用户就苟且模态本色，发出语音教导，Megrez-3B-Omni 就能凭证语音教导径直反应文本，完满多轮对话中语音与文本输入的解放切换，让用户不错通过更少动作与模子伸开更直不雅、当然的交互。

遭遇客户的超长语音连击也不怕了：

援助语讯息图，还能听口令写小作文：

推理效力高，应用场景活泼

模子的范围并不是决定其速率的独一要素，因此模子小并不一定就意味着速率快。凭借对硬件特色的深刻理解与欺诈，Megrez-3B-Omni 通过软硬件协同优化战术，确保了各参数与主流硬件高度适配，以完满硬件性能的欺诈最大化。

与上一代过头他端侧大说念话模子比拟，单模态 LLM 版块的 Megrez-3B-Instruct 在推理速率上取得了显耀晋升，最大推理速率不错最初同精度模子 300%。

Megrez-3B-Instruct 此次还极端提供了WebSearch功能，这一功能使得模子约略智能地判断何时需要调用外部器具进行网页搜索，辅助恢复用户的问题。用户得以构建属于我方 AI 搜素，通过汇注赢得最新信息，克服小模子的幻觉问题和常识储备不及的局限。

就怕，模子通过搜索网页不错更全面地完成恢复，而其他期间，模子本身已具备饱胀的常识来沉着解决问题，过多的搜索调用可能会裁减推理速率和后果。Megrez-3B-Instruct 通过在搜索和对话之间智能切换，幸免了过度依赖搜索或透彻不调用搜索的问题。除了不错自动决策器具调用时机除外，Megrez-3B-Instruct 还具备崎岖文理解性能优异、可提供带参考信息的结构化输出等上风。

当今，这些能力已集成于 Megrez-3B-Instruct 模子中，用户不错通过 System Prompt 解放切换，同期享受到高精度模子推理能力与智能 WebSearch 调用收益。

One More Thing

相较于云霄大模子，端侧模子需要在资源有限的劝诱上快速部署、高效驱动，对裁减模子谋略和存储需求提议更高要求。

无问芯穹技能团队源起于清华大学电子工程系 NICS-EFC 实验室，在模子压缩、推理加快及硬件能耗优化等领域领有深刻的学术商榷和深厚的工程本质施展注解，恰是模子轻量化、软硬件协同优化领域的顶尖团队。

无问芯穹暗示，Megrez-3B-Omni 是一个能力预览，接下来还将合手续迭代 Megrez 系列，晋升自动化水平至" edge device use "后果，让用户只需要给出简便的语音教导，就可完成端劝诱的成就或应用操作，并将它行为"端模子 + 端软件 + 端 IP "端上智能一体化解决决策的宽敞组成推向阛阓。当今，无问芯穹就该一体化决策已与多家闻明智能劝诱和结尾芯片厂商伸开协作。

在这个决策中，除端侧全模态理解模子外，还有端上推理软件和 IP 斟酌决策，不仅援助 CPU、GPU 和 NPU 的同期推理，更能通过高出软硬件档次的系统优化，稀零带来最高可达 70% 的性能晋升，最大化端侧硬件性能的欺诈。

对那些久困于功耗、速率、续航以及智能后果的端侧劝诱来说，这意味着，后果更佳的智能升级成为可能。

Github：  https://github.com/infinigence/Infini-Megrez

HuggingFace：https://huggingface.co/Infinigence/Megrez-3B-Omni

登录 Infini-AI 异构云体验纯说念话版块 Megrez-3B-Instruct：https://cloud.infini-ai.com/genstudio/model/mo-c73owqiotql7lozr

—  完  —

点这里� � 关心我，难忘标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~