<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>AI Gateway - 标签 - 研发日志 · R&amp;D Log</title><link>https://rd163.visword.com/tags/ai-gateway/</link><description>AI Gateway - 标签 - 研发日志 · R&amp;D Log</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>whutluohui@gmail.com (小智晖)</managingEditor><webMaster>whutluohui@gmail.com (小智晖)</webMaster><copyright>本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。</copyright><lastBuildDate>Thu, 23 Jan 2025 00:00:00 +0800</lastBuildDate><atom:link href="https://rd163.visword.com/tags/ai-gateway/" rel="self" type="application/rss+xml"/><item><title>LLM 时代下的 AI 网关</title><link>https://rd163.visword.com/posts/gateway-for-ai/</link><pubDate>Thu, 23 Jan 2025 00:00:00 +0800</pubDate><author><name>小智晖</name></author><guid>https://rd163.visword.com/posts/gateway-for-ai/</guid><description><![CDATA[<h2 id="ai-网关" class="headerLink">
    <a href="#ai-%e7%bd%91%e5%85%b3" class="header-mark"></a>AI 网关</h2><p>AI Gateway（又称大模型网关、AI 网关）是位于应用与 AI/LLM 服务之间的一层流量管理组件，在开源社区已有较为成熟的技术实现。它在应用与模型服务之间承担统一入口的职责：无论调用的是预置模型还是自研模型，都可以经由网关完成路由、鉴权与调用，方便业务方在数据分析、应用开发等场景中接入 AI 能力。同时，AI 网关还提供配套工具，帮助监控模型调用性能，并为后续优化提供数据支撑。</p>]]></description></item></channel></rss>