ZBX Blog

热爱生活，健康工作

vLLM paper study

vLLM paper study

vLLm解决什么问题？ 1. 显存碎片化与低效的 KV Cache 管理的问题 传统 LLM 推理框架（如 HuggingFace Transformers）需要为每个请求预分配 连续的显存空间 来存储 Key-Value（KV）缓存，导致显存浪费和无法共享KV Cache。 QKV是什么？ Query (Q)：表示当前 token 的“询问”向量，用于与所有 token 的 ...

Posted by ZBX on April 12, 2025

vLLM Production Stack

vLLM Production Stack 研究

vLLM 生产栈 的可观测性 Kube-Prometheus-Stack 和 Prometheus Adapter 部署说明 kube-prometheus-stack: 包含 Prometheus、Grafana 和 Alertmanager 提供 Kubernetes 集群的全面监控 包含预定义的仪表盘和告警规则 prometheus-adapter: 将...

Posted by ZBX on April 2, 2025

大模型的评估方法

大模型的评估方法

huggingface开放 LLM 排行榜 Qwen/QwQ-32B-Preview DeepSeek-R1-Distill-Qwen-32B DeepSeek-R1 Benchmark MMLU（Massive Multitask Language Understanding）（https://huggingface.co/datasets/cais/mmlu）...

Posted by ZBX on March 13, 2025

Dify调研

Dify调研

简要说明 Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。 Docker Compose 部署 进入 Dify 源代码的 Docker 目录 cd dif...

Posted by ZBX on March 9, 2025

LLM微调

LLM微调

什么是微调Fine-tuning？ 微调是指在预训练模型的基础上，使用特定任务（如文本分类、摘要生成）或领域（如法律、医学）的数据集对模型进行一步训练的过程。预训练模型通常在大规模、通用语料库上训练，学习了丰富的语言模型和知识。 微调的方法分类 (1) 全参数微调（Full Fine-tuning） 更新模型所有参数。 (2) 参数高效微调（Parameter-Efficient ...

Posted by ZBX on March 1, 2025

用大模型进行文献阅读

用大模型进行文献阅读

Prompt 请你作为一位本文献研究领域的专家，将文献翻译为中文，翻译结果需要精准且符合学术表达习惯 请你作为本文献研究领域的专家，对文献进行精读 请你作为一位本文献研究领域的专家，对文献的摘要部分进行精读。精读过程中围绕以下两个问题: 1、作者想解决什么问题？2、作者通过什么理论/模型来解决这个问题? 请你作为一位本文献研究领域的专家，对文献的引言部分进行精读。精读过程...

Posted by ZBX on February 24, 2025

分布式训练

分布式训练

分布式训练 分布式训练是一种利用多台机器或多个计算设备（如GPU、TPU）协同工作来加速模型训练的技术，主要用于处理大规模数据或参数量极大的模型（如深度学习）。其核心目标是通过并行计算解决单设备内存不足、训练速度慢的问题。 一、为什么需要分布式训练？ 数据/模型规模大：现代模型参数量可达千亿（如GPT-3），单设备无法存储。 训练速度需求：单GPU训练大型数据集耗时过长（如几...

Posted by ZBX on February 23, 2025

Transformer实战

Transformer实战

TransformerBlock class TransformerBlock(nn.Module): def __init__(self, cfg): super().__init__() self.att = MultiHeadAttention( d_in=cfg["emb_dim"], d_ou...

Posted by ZBX on February 20, 2025

Transformer实践中的小例子

Transformer实践中的小例子

词嵌入矩阵V 假设我们正在进行一个机器翻译任务，输入的是英文句子，输出是翻译成法文的句子。为了简单起见，假设我们使用了一个非常小的模型。 batch_size：一次性处理的样本数量，假设是 2，表示我们有 2 个英文句子要翻译。 seq_len：每个句子的最大长度。假设每个句子有 4 个词。 d_model：每个词的表示维度。假设我...

Posted by ZBX on February 12, 2025

Transformer原理

Transformer原理

Transformer结构 1. Input Embedding 对于输入文本序列，先通过Input Embedding 将每个单词转换为其相对应的向量表示。 在送入编码器端建模其上下文语义之前，在词嵌入中加入位置编码（Positional Encoding）。 Positional Encoding（位置编码） 来显式地为输入的词向量添加位置信息，使得模型能够利用这些信息来区分...

Posted by ZBX on February 7, 2025

FEATURED TAGS
Ethereum EVM BlockChain Security 翻译 SGX Smart Contract MySQL Redis Java 面试 Spring LLM vLLM
ABOUT ME

只要热爱生命，一切都在意料之中。

FRIENDS