作者 · 2 篇文章

山景城小路

这里列出作者收录的实践记录和思考。

bilingual: EN/ZH, SF Bay Area based #bitcoin is a cult, bitcoin is a religion 硅谷一线从业者。AI架构师 AI architect AI / 美股 /教育/亲子所有观点仅为个人思考非投资建议 DYOR

收录2 篇文章2026年8月10日 05:36

4.6K2.2K3.2K

2 篇文章

一文科普主流 LLM 注意力机制

主流 LLM 的注意力设计不是一条简单的“MHA → MQA → GQA → MLA → 稀疏/线性注意力”升级链。更准确的理解方式，是把相关技术分成四个可以组合的维度：

普通 LLM 很容易被第一个想到的方向锚定。ADHD Agent 的做法是：先用多个互相隔离的认知框架生成方案，再用独立批判者评分、聚类、排除陷阱，最后深入展开最有希望的方案。