跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–3 条 · 共 3 条
9月29日周二
  1. AWS Machine Learning Blog68

    Claude Sonnet 5.5 上线 Amazon Bedrock

    AWS 宣布 Claude Sonnet 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上可用,主打聚焦编码和知识工作,多数任务成本更低、速度更快。

    推荐理由:原文说明了 Sonnet 5.5 的能力变化、与 Opus 5.5 的分工方式,以及在 Amazon Bedrock 上的具体接入步骤。

9月17日周四
  1. GitHub Blog · AI & ML74

    GitHub 用 Copilot 将 Copilot 智能体运行时迁移至 80 万行 Rust

    GitHub 团队用 AI 智能体把 Copilot 智能体运行时从 TypeScript/Node.js 原地重写为 832,378 行生产 Rust,128 个 pull request 在约十四周半内增量合入并随主分支发布,8 月 21 日完成 100% Rust。

    推荐理由:作者亲述用 AI 智能体把 Copilot 运行时原地迁移到 Rust 的完整过程,迁移策略、会话数据和踩坑经验都可迁移到类似工程。

7月29日周三
  1. Berkeley AI Research65

    从 CUDA 到 MLX:K-Search 将数十年内核优化经验迁移至 Apple Silicon

    IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 演进式内核搜索框架,构建 MLX 后端和 CUDA-to-MLX 结构化翻译层,把现有 CUDA 内核知识迁移为 Apple Silicon 的高质量 Metal 内核。

    推荐理由:工作把 CUDA 积累的内核优化知识通过结构化翻译层迁移到 Apple Silicon,读者可看到方法细节和可复现路径。