LLM - 标签 - 研发日志 · R&D Loghttps://rd163.visword.com/tags/llm/LLM - 标签 - 研发日志 · R&D LogHugo -- gohugo.iozh-CNwhutluohui@gmail.com (小智晖)whutluohui@gmail.com (小智晖)本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。Sat, 08 Mar 2025 00:00:00 +0800llama.cpp 使用https://rd163.visword.com/posts/llama-cpp-get-started/Sat, 08 Mar 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/llama-cpp-get-started/ Install
git clone https://github.com/ggml-org/llama.cpp.git
mkdir build && cd build
cmake .. 
make && make install

一、GGUF量化过程

]]>LLM Retrieval-Augmented Generation(RAG)https://rd163.visword.com/posts/llm-retrieval-augmented-generation/Fri, 14 Feb 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/llm-retrieval-augmented-generation/相关论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 这里有个 手搓的RAG github项目可以一窥RAG的全貌。

检索增强生成（RAG）是一个概念，它旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。这样，LLM 在生成更精确、更贴合上下文的答案的同时，也能有效减少产生误导性信息的可能。

]]>LLM 工作流编排方案https://rd163.visword.com/posts/llm-workflow-compose/Fri, 14 Feb 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/llm-workflow-compose/ 商业方案 ]]>LLM时代下的AI网关https://rd163.visword.com/posts/gateway-for-ai/Thu, 23 Jan 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/gateway-for-ai/ AI 网关

AI Gateway 也被称为大模型网关、AI 网关，是一个用于部署和管理人工智能（AI）模型的平台，在开源社区有对应技术实现。它为用户提供了一种方便的方式来部署和管理 AI 模型，无论这些模型是预训练的模型，还是用户自己开发的模型。AI Gateway 还提供了一种方式，让用户能够在需要的时候轻松地调用这些模型，例如在进行数据分析或开发新的 AI 应用程序时。此外，AI Gateway 还提供了各种工具，可以帮助用户监控模型的性能，以及进行模型的优化。

]]>vLLMhttps://rd163.visword.com/posts/vllm/Sun, 12 Jan 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/vllm/ vLLM

vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。

在吞吐量方面，vLLM 的性能比 HuggingFace Transformers （HF） 高出 24 倍，文本生成推理 （TGI） 高出 3.5 倍。

]]>