在AGI-Next前沿峰会上，月之暗面Kimi创始人杨植麟揭示了Kimi预训练的两大核心策略：提升Token效率和实现长上下文处理。

杨植麟指出Transformer架构在长上下文场景中的优势，当上下文长度达到1000个token时，其性能表现会显著优于LSTM。这种架构优势在代理智能时代尤为重要，因为许多Agent任务需要处理极长的上下文来完成复杂指令。

他强调提升Token效率的本质在于优化搜索过程，通过更好的预训练和基础模型减少无效搜索空间。同时，杨植麟认为AI模型研究需要注重Taste（品位和审美），因为智能具有不可交换性，不同领域需要不同的智能特质。

《夸克》非常好用的免费AI浏览器

下载APP查看