aiweekly

Olmo Hybrid outperforms Olmo 3 7B via Gated DeltaNet layers

Want only the AI that hits your stack? Build an agent that tracks your companies and topics, and skips everything else. Olmo Hybrid is a 7B-parameter model that keeps the Olmo 3 7B recipe but swaps ...
blog.csdn

Transformer 25. Gated DeltaNet 架构详解与 Qwen 3.5 的联系：把「精准改写」的 Delta Rule 和「一键清空」的 Gating 组合起来，并用 TaoTok

Transformer 25. Gated DeltaNet 架构详解与 Qwen 3.5 的联系：把「精准改写」的 Delta Rule 和「一键清空」的 Gating 组合起来，并用 TaoTok Shen Planck墨衍会员·1平台·100+阅读墨衍智能分发本文由作者通过墨衍一键同步至各平台1分发平台100+累计阅读0平均单平台已同步平台CSDN微信公众号微博知乎掘金百家号博客园抖 ...
blog.csdn

为什么它更快：ZDTaichu5.0-9B混合线性注意力（Gated DeltaNet）与KV缓存机制解析

ZDTaichu5.0-9B 是一款 9B 参数级的多模态基础模型，支持文本、图像与视频输入，上下文长度可达 128K tokens。它比同规模模型更快、更省显存的关键，在于语言骨干 Qwen3.5 采用了混合线性注意力架构 ...