https://blog.20231106.xyz/tags/gpu/Recent content in GPU on POOROPSHugo -- gohugo.ioen-uspoorops@163.com (poorops)poorops@163.com (poorops)Mon, 23 Mar 2026 09:00:00 +0800https://blog.20231106.xyz/posts/2026-03-23/ai-chip-inhouse-terafab-compute-bottleneck/Mon, 23 Mar 2026 09:00:00 +0800poorops@163.com (poorops)https://blog.20231106.xyz/posts/2026-03-23/ai-chip-inhouse-terafab-compute-bottleneck/<p>凌晨 1 点半，业务线还在开会。客服、搜索、风控三个团队都在抢同一池 GPU。数据中心的电费像水龙头一样开着，模型越大、上下文越长，系统就越像被拉紧的橡皮筋，随时可能断。</p> <p>就在这时候，<strong>“Terafab 自研 AI 芯片工厂”<strong>的新闻刷出来了。那一瞬间，我第一次认真思考：</strong>“也许，真正的瓶颈不是模型，而是我们对算力的依赖方式。”</strong> 这篇文章就围绕这个热点展开：为什么 AI 芯片自研突然成为 2026 的主旋律？如果你是企业技术负责人，如何判断是否该走这条路？</p> <p>我会按照一个清晰的结构来讲：<strong>先看效果展示，再拆痛点，然后给出落地步骤，最后回到趋势总结。</strong></p> <h2 id="效果展示算力不是更快而是更可控">效果展示：算力不是“更快”，而是“更可控”</h2> <p>当行业开始谈“自研芯片”，本质上是追求 <strong>三件事的同时成立</strong>：</p> <ol> <li><strong>成本可控</strong>：推理成本不再随 GPU 价格波动；</li> <li><strong>吞吐可控</strong>：峰值请求不需要靠“限流+排队”硬扛；</li> <li><strong>路线可控</strong>：核心业务不再被供应链节奏左右。</li> </ol> <p>Terafab 的信号在于，它代表 <strong>“算力工业化”</strong> 的进一步延伸：</p> <ul> <li>从采购 GPU 变成自建“算力工厂”；</li> <li>从被动等待下一代卡，变成主动设计适配自己工作负载的架构；</li> <li>从单点性能追逐，变成系统级效率优化（能耗、带宽、调度一体化）。</li> </ul> <p>这不是“更快”的故事，而是**“更可控”**。当控制权回到自己手里，业务的上限就被重新定义了。</p> <h2 id="问题描述为什么再买更多-gpu已经不够了">问题描述：为什么“再买更多 GPU”已经不够了？</h2> <p>很多团队把瓶颈理解成“GPU 不够多”，但真正的问题更复杂：</p> <ol> <li><strong>算力成本结构失衡</strong></li> </ol> <p>训练与推理的比例已经彻底反转。过去“训练为王”，现在“推理才是消耗大头”。当推理成为持续性成本，<strong>一次性采购 GPU 已经不是最优解</strong>。</p> <ol start="2"> <li><strong>供应链与扩容节奏不可控</strong></li> </ol> <p>当市场热度上升时，GPU 的交期像潮汐一样反复。<strong>“等卡”成为增长天花板</strong>，而不是工程能力的体现。</p> <ol start="3"> <li><strong>工作负载高度定制化</strong></li> </ol> <p>很多业务并不需要“最强通用 GPU”，而需要对某些算子、模型结构、I/O 形态做优化。<strong>用通用芯片跑专用负载，其实是结构性浪费</strong>。</p> <ol start="4"> <li><strong>系统瓶颈并不在芯片单点</strong></li> </ol> <p>推理链路的瓶颈常常在内存带宽、通信延迟、请求调度。<strong>单卡再快，也可能被系统层面的“堵车”拖慢</strong>。</p> <p>所以，当越来越多公司谈自研芯片，其实是在回答一个现实问题：<strong>如果继续被动追随通用 GPU 的节奏，我们的业务增长就会变成“供应链函数”。</strong></p> <h2 id="步骤教学如何评估自研-ai-芯片是否值得做">步骤教学：如何评估“自研 AI 芯片”是否值得做？</h2> <p>下面是一套可落地的评估与行动路径。不是每家公司都该自研，但每家公司都该看懂这套逻辑。</p> <h3 id="第一步确认你的算力画像">第一步：确认你的“算力画像”</h3> <p>先把负载结构做清楚：</p> <ul> <li><strong>推理占比</strong>：真实成本里推理占多少？是否已超过训练成本？</li> <li><strong>模型结构</strong>：是 Transformer 大模型、还是多模态/稀疏专家模型？</li> <li><strong>算子热点</strong>：大部分时间卡在矩阵乘、注意力、还是 IO？</li> <li><strong>峰值并发</strong>：业务峰值是否远高于平均值？</li> </ul> <p><strong>只有当你的负载结构足够稳定，并且具备明显“热点”算子，才可能通过自研得到结构性收益。</strong></p> <h3 id="第二步算清买-vs-做的真实成本">第二步：算清“买 vs 做”的真实成本</h3> <p>自研芯片从来不只是芯片本身，还包括：</p><p>凌晨 1 点半，业务线还在开会。客服、搜索、风控三个团队都在抢同一池 GPU。数据中心的电费像水龙头一样开着，模型越大、上下文越长，系统就越像被拉紧的橡皮筋，随时可能断。</p> <p>就在这时候，<strong>“Terafab 自研 AI 芯片工厂”<strong>的新闻刷出来了。那一瞬间，我第一次认真思考：</strong>“也许，真正的瓶颈不是模型，而是我们对算力的依赖方式。”</strong> 这篇文章就围绕这个热点展开：为什么 AI 芯片自研突然成为 2026 的主旋律？如果你是企业技术负责人，如何判断是否该走这条路？</p> <p>我会按照一个清晰的结构来讲：<strong>先看效果展示，再拆痛点，然后给出落地步骤，最后回到趋势总结。</strong></p> <h2 id="效果展示算力不是更快而是更可控">效果展示：算力不是“更快”，而是“更可控”</h2> <p>当行业开始谈“自研芯片”，本质上是追求 <strong>三件事的同时成立</strong>：</p> <ol> <li><strong>成本可控</strong>：推理成本不再随 GPU 价格波动；</li> <li><strong>吞吐可控</strong>：峰值请求不需要靠“限流+排队”硬扛；</li> <li><strong>路线可控</strong>：核心业务不再被供应链节奏左右。</li> </ol> <p>Terafab 的信号在于，它代表 <strong>“算力工业化”</strong> 的进一步延伸：</p> <ul> <li>从采购 GPU 变成自建“算力工厂”；</li> <li>从被动等待下一代卡，变成主动设计适配自己工作负载的架构；</li> <li>从单点性能追逐，变成系统级效率优化（能耗、带宽、调度一体化）。</li> </ul> <p>这不是“更快”的故事，而是**“更可控”**。当控制权回到自己手里，业务的上限就被重新定义了。</p> <h2 id="问题描述为什么再买更多-gpu已经不够了">问题描述：为什么“再买更多 GPU”已经不够了？</h2> <p>很多团队把瓶颈理解成“GPU 不够多”，但真正的问题更复杂：</p> <ol> <li><strong>算力成本结构失衡</strong></li> </ol> <p>训练与推理的比例已经彻底反转。过去“训练为王”，现在“推理才是消耗大头”。当推理成为持续性成本，<strong>一次性采购 GPU 已经不是最优解</strong>。</p> <ol start="2"> <li><strong>供应链与扩容节奏不可控</strong></li> </ol> <p>当市场热度上升时，GPU 的交期像潮汐一样反复。<strong>“等卡”成为增长天花板</strong>，而不是工程能力的体现。</p> <ol start="3"> <li><strong>工作负载高度定制化</strong></li> </ol> <p>很多业务并不需要“最强通用 GPU”，而需要对某些算子、模型结构、I/O 形态做优化。<strong>用通用芯片跑专用负载，其实是结构性浪费</strong>。</p> <ol start="4"> <li><strong>系统瓶颈并不在芯片单点</strong></li> </ol> <p>推理链路的瓶颈常常在内存带宽、通信延迟、请求调度。<strong>单卡再快，也可能被系统层面的“堵车”拖慢</strong>。</p> <p>所以，当越来越多公司谈自研芯片，其实是在回答一个现实问题：<strong>如果继续被动追随通用 GPU 的节奏，我们的业务增长就会变成“供应链函数”。</strong></p> <h2 id="步骤教学如何评估自研-ai-芯片是否值得做">步骤教学：如何评估“自研 AI 芯片”是否值得做？</h2> <p>下面是一套可落地的评估与行动路径。不是每家公司都该自研，但每家公司都该看懂这套逻辑。</p> <h3 id="第一步确认你的算力画像">第一步：确认你的“算力画像”</h3> <p>先把负载结构做清楚：</p> <ul> <li><strong>推理占比</strong>：真实成本里推理占多少？是否已超过训练成本？</li> <li><strong>模型结构</strong>：是 Transformer 大模型、还是多模态/稀疏专家模型？</li> <li><strong>算子热点</strong>：大部分时间卡在矩阵乘、注意力、还是 IO？</li> <li><strong>峰值并发</strong>：业务峰值是否远高于平均值？</li> </ul> <p><strong>只有当你的负载结构足够稳定，并且具备明显“热点”算子，才可能通过自研得到结构性收益。</strong></p> <h3 id="第二步算清买-vs-做的真实成本">第二步：算清“买 vs 做”的真实成本</h3> <p>自研芯片从来不只是芯片本身，还包括：</p> <ul> <li>EDA 工具与设计团队成本</li> <li>流片与封装周期</li> <li>软件栈与编译器适配</li> <li>生态工具链（监控、调度、推理框架）</li> </ul> <p>很多公司低估的不是成本本身，而是<strong>周期风险</strong>。如果业务节奏以月为单位，芯片节奏以年为单位，<strong>错配才是最大成本</strong>。</p> <p>一个实用的判断指标是：<strong>当你能持续确认 3~5 年内的负载稳定增长，自研才真正可能收回成本。</strong></p> <h3 id="第三步确认自研的边界">第三步：确认“自研的边界”</h3> <p>现实中更多公司选择“半自研”或“定制化协作”，比如：</p> <ul> <li><strong>只做推理加速器</strong>，把训练仍然交给通用 GPU；</li> <li><strong>只定制关键模块</strong>（比如注意力模块、KV 缓存加速），其余复用现成架构；</li> <li><strong>与代工厂/供应链伙伴共建</strong>，减轻全栈负担。</li> </ul> <p>这是更可行的路径：<strong>不是所有公司都要做“全栈芯片厂”，但可以做“可控的关键模块”。</strong></p> <h3 id="第四步构建软件栈与部署能力">第四步：构建软件栈与部署能力</h3> <p>自研的价值必须被软件释放。关键动作包括：</p> <ol> <li><strong>推理框架适配</strong>：确保模型编译链路可控</li> <li><strong>算子优化与融合</strong>：把“热点算子”变成自研芯片的最大收益点</li> <li><strong>调度与编排</strong>：让资源分配围绕业务峰值而不是硬件指标</li> <li><strong>观测体系</strong>：把吞吐、延迟、能耗作为核心 KPI 持续迭代</li> </ol> <p><strong>如果软件栈没有跟上，自研硬件只会成为昂贵的“孤岛”。</strong></p> <h3 id="第五步从-poc-到算力工厂">第五步：从 PoC 到“算力工厂”</h3> <p>最后一步才是规模化。</p> <ul> <li>先用小规模 PoC 验证一到两个关键负载</li> <li>再扩展到一个业务线的主推理链路</li> <li>最后形成“算力工厂”：硬件、调度、业务策略一体化</li> </ul> <p>这才是 Terafab 类计划真正指向的终点：<strong>不是一块芯片，而是一整套可被持续经营的算力基础设施。</strong></p> <h2 id="升华总结ai-热点的下一阶段是算力主权">升华总结：AI 热点的下一阶段，是“算力主权”</h2> <p>回看这次“自研芯片”热潮，你会发现它不只是硬件升级，而是 AI 产业逻辑在变化：</p> <ul> <li><strong>从模型竞争，走向基础设施竞争</strong></li> <li><strong>从一次性采购，走向长期运营</strong></li> <li><strong>从被动依赖供应链，走向算力主权的争夺</strong></li> </ul> <p>Terafab 的出现，像是一枚信号弹：当 AI 真正进入规模化应用，<strong>算力不再是工具，而是业务命脉</strong>。对很多公司来说，能否掌握这条命脉，决定了未来三年的增长空间。</p> <p>但这并不意味着所有人都要立刻自研芯片。更现实的答案是：<strong>看清自己的负载与瓶颈，做“正确层级”的控制权建设</strong>。有的人从芯片开始，有的人从调度开始，有的人从推理成本开始。</p> <p>重要的是：<strong>不要再把“算力”当成天降资源，而是当成需要长期经营的生产力。</strong></p> <hr> <h2 id="参考链接">参考链接</h2> <ul> <li>CNBC：Spotify 押注 AI（行业对 AI 供给侧投入的信号）https://www.cnbc.com/2026/03/22/spotify-apple-amazon-streaming-music-ai.html</li> <li>The Hindu：Elon Musk 启动 Terafab AI 芯片项目 <a href="https://www.thehindu.com/sci-tech/technology/elon-musk-launches-terafab-project-to-make-own-ai-chips/article70771715.ece">https://www.thehindu.com/sci-tech/technology/elon-musk-launches-terafab-project-to-make-own-ai-chips/article70771715.ece</a></li> <li>Seeking Alpha：Nvidia AI 需求结构性增长 <a href="https://seekingalpha.com/article/4884808-nvidia-ai-is-here-to-stay-and-the-fear-is-misplaced-rating-upgrade">https://seekingalpha.com/article/4884808-nvidia-ai-is-here-to-stay-and-the-fear-is-misplaced-rating-upgrade</a></li> <li>站点：https://www.poorops.com/</li> </ul>