posts

Posts

全部文章 Game Golang SaaS Rust 游戏开发 客户端开发 GameDev Lua Indie 写作
llm

大模型本地部署与私有托管:从 Ollama 到 vLLM 生产级推理集群

全面指南:本地部署 LLM 的核心动机(隐私/成本/合规/延迟)、Ollama 一键部署与自定义 Modelfile、llama.cpp / llamafile CPU 推理优化、vLLM 生产级 GPU 服务、TGI 与 HuggingFace 生态集成、GGUF/AWQ/GPTQ/FP8 量化方案选型、LocalAI / LM Studio / GPT4All 自托管方案、CPU vs GPU 硬件需求与 VRAM 估算公式、OpenAI 兼容 API 集成模式、私有模型安全加固策略。包含完整 Docker Compose 模板、基准测试数据与实践命令。

14 分钟阅读
local llm ollama vllm
llm

LLM 商业化应用开发与产品化方法论:从价值验证到规模化盈利

系统性讲解大语言模型商业化路径:B2B SaaS / 内部工具 / 消费级应用的 PMF 验证、增强型与自动化型 AI 功能设计、四种定价模型对比、成本优化三板斧、AI 体验的置信度与人机协作设计、法律合规框架、MVP 到生产的评估与 A/B 测试体系,以及 Notion AI / GitHub Copilot / Intercom Fin 三大标杆案例的决策复盘。

13 分钟阅读
llm商业化 AI产品化 B2B SaaS