腾讯网

用 PyTorch 实现 LLM-JEPA：不预测 token，预测嵌入

这篇文章从头实现 LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures。需要说明的是，这里写的是一个简洁的最小化训练脚本，目标是了解 JEPA 的本质：对同一文本创建两个视图，预测被遮蔽片段的嵌入，用表示对齐损失来训练。 本文的目标是让你真正 ...
腾讯网

LLM的Token物理学：为什么开头50个Token决定了输出质量

大多数人把AI当成神奇的聊天机器人，像跟人说话一样随意交流，然后祈祷好运。但要从现代LLM中获得精英级结果，你必须把它当作一个可操控的预测引擎——它处理的是token，而非"你脑中的想法"。 一、理解机器运作的核心概念 Token：LLM不"阅读"人类语言，而是 ...
NextBigFuture

Tokens and Tokenization are an Important for Fundamental LLM Understanding

Tokens are the fundamental units that LLMs process. Instead of working with raw text (characters or whole words), LLMs convert input text into a sequence of numeric IDs called tokens using a ...
36氪

上交大和辉羲把LLM刻进ROM，推理性能冲2万token/s，GPU时代终结？

上海交大团队实现端侧LLM推理速度20,000 tokens/s，突破内存墙。 【导读】当硅谷Taalas将大模型「物理焊死」进芯片引爆全球半导体圈，来自上海交大、辉羲智能与微软亚洲研究院的研究团队早已走得更远——他们用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens ...