据悉，初创公司Tiiny AI发布了号称全球最小的AI超级计算机Tiiny AI Pocket Lab。该设备仅重300克，尺寸为14.2×8×2.53厘米，可轻松置于掌中。

尽管体积小巧，该设备能成功部署1200亿参数的模型，这在同类设备中尚属首创。它支持的大语言模型能处理博士级推理、多步骤分析和深度上下文理解任务。

该设备搭载ARMv9.2 12核CPU，通过定制异构模块提供约190 TOPS的AI算力。配备80GB LPDDR5X内存和1TB SSD存储空间，支持在本地流畅运行120B模型。

Tiiny AI采用TurboSparse稀疏激活技术和PowerInfer开源异构推理引擎两项核心技术，确保在紧凑设备上实用化120B模型。

AI Pocket Lab支持一键部署数十种主流开源模型及代理框架，无需依赖互联网或云端，支持完全离线操作。

《夸克》非常好用的免费AI浏览器

下载APP查看