上期我们讲了现代计算机体系结构通过处理器（CPU/GPU）和内存的交互来执行计算程序，处理输入数据，并输出结果。实际上 ...

最近，一位开源界的传奇人物 Salvatore Sanfilippo，用几千行纯C代码，直接把准前沿284B参数的 DeepSeek V4 Flash 模型，塞进了一台 128GB 内存的 MacBook Pro。 也许大家更熟悉他的另一个名字 ...

作者：梅菜编辑：李宝珠转载请联系本公众号获得授权，并标明来源来自 MIT 和 MIT-IBM 沃森人工智能实验室的研究人员构建了一个面向 AI 工作负载的快速 GPU 功耗估计框架 ...

GPU 性能没问题，模型也训练得不错，但 token 吞吐量就是上不去？问题多半出在 KV-cache 上。本文整理了 10 个实际可用的优化方向，都是能直接上生产环境的那种。 把 utilization 往上调，直到不再频繁出现 preemption；然后再调 max-num-seqs，让批次保持密集但别超出 ...

目前，不同大模型厂商发布的大语言模型在处理超长上下文方面已经有显著突破，最高的已能支持数百万 Token 的输入，例如 MiniMax-M1、Qwen2.5-1M 系列模型，均支持百万Token（1M）级别的超长上下文处理能力。 但是这场有关提升大模型上下文长度的“军备赛”依然不 ...

前不久的一则新闻，曝光了三星即将推出的Exynos芯片的图形性能。这颗应用于未来三星手机的SoC芯片，据说其3DMark Wild Life跑分达到了8134分。这个性能成绩比高通骁龙888的Adreno 660高出大约50%。至于和苹果A14比，我们手头没有可现测的设备，有媒体提到8134这个得分 ...

2026年1月15日，北京 —— 继英伟达CEO黄仁勋在CES 2026发布革命性“推理上下文内存存储平台”后，本土高性能存储厂商绿算技术（ForinnBase） 今日宣布，其旗舰产品GP7000系列全闪存储平台已通过英伟达适配，成为全球首批、也是唯一支持G3级KV Cache分层存储的国产 ...

第三，CPU+GPU架构可以共享内存空间，消除冗余内存副本来改善问题。在此前的技术中，虽然GPU和CPU已整合到同一个芯片上，但是芯片在运算时要定位内存的位置仍然得经过繁杂的步骤，这是因为CPU和GPU的内存池仍然是独立运作。为了解决两者内存池独立的运算问题，当CPU程式需要在GPU上进行部分运算时，CPU都必须从CPU的内存上复制所有的资料到GPU的内存上，而当GPU上的运算完成时，这些资料还得 ...

快科技7月31日消息，据媒体报道，2025（第二届）产融合作大会在北京召开。会上，浪潮存储重磅发布了推理加速存储产品AS3000G7，旨在解决大模型推理中因KV Cache重复计算导致的算力浪费和时延问题，为金融、科研等领域的模型规模化落地提供关键支撑。 当前 ...