12. MLOps 与实验管理

Thu, 13 Aug 2026 11:12:00 +0800

MLOps 将 DevOps 的工程化理念引入机器学习，解决模型实验不可复现、数据版本混乱、部署流程断裂等问题。本文构建从实验追踪到自动化部署的完整 MLOps 工作流。

1. MLOps 核心挑战

挑战	表现	MLOps 解决方案
实验不可复现	参数、数据、代码的版本不一致	实验追踪 + 版本管理
数据漂移	训练数据与线上数据分布差异	监控 + 自动重训练
模型版本混乱	多个模型版本，不知哪个上线	模型注册中心
部署手动化	每次上线依赖人工操作	CI/CD Pipeline
资源利用率低	GPU 闲置与争抢并存	调度编排
测试覆盖不足	没有模型级别的测试	模型测试框架

2. 实验追踪：MLflow

2.1 MLflow 核心组件

组件	功能
Tracking	记录参数、指标、模型、工件 (artifact)
Projects	打包可复现的 ML 项目
Models	模型打包格式与部署工具
Registry	模型版本管理与阶段转换

2.2 Tracking 基础用法

import mlflow
import mlflow.sklearn
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# 设置追踪 URI
mlflow.set_tracking_uri("http://localhost:5000")
mlflow.set_experiment("customer-churn-prediction")

with mlflow.start_run(run_name="rf_baseline"):
 # 记录参数
 mlflow.log_param("n_estimators", 200)
 mlflow.log_param("max_depth", 10)
 mlflow.log_param("random_state", 42)
 
 # 训练
 model = RandomForestClassifier(n_estimators=200, max_depth=10, random_state=42)
 model.fit(X_train, y_train)
 
 # 记录指标
 train_acc = accuracy_score(y_train, model.predict(X_train))
 test_acc = accuracy_score(y_test, model.predict(X_test))
 mlflow.log_metric("train_accuracy", train_acc)
 mlflow.log_metric("test_accuracy", test_acc)
 mlflow.log_metric("overfitting", train_acc - test_acc)
 
 # 记录模型
 mlflow.sklearn.log_model(model, "model")
 
 # 记录工件
 import matplotlib.pyplot as plt
 plt.figure(figsize=(10, 6))
 pd.Series(model.feature_importances_, index=X.columns).sort_values().plot(kind='barh')
 plt.savefig("feature_importance.png")
 mlflow.log_artifact("feature_importance.png")

2.3 嵌套实验与超参搜索

from sklearn.model_selection import GridSearchCV
import numpy as np

mlflow.set_experiment("hyperparameter-tuning")

with mlflow.start_run(run_name="xgb_grid_search"):
 param_grid = {
 'max_depth': [3, 6, 9],
 'learning_rate': [0.01, 0.1, 0.3],
 'n_estimators': [100, 200]
 }
 
 for i, params in enumerate(ParameterGrid(param_grid)):
 with mlflow.start_run(nested=True, run_name=f"run_{i}"):
 mlflow.log_params(params)
 
 model = XGBClassifier(**params, random_state=42)
 model.fit(X_train, y_train)
 
 train_f1 = f1_score(y_train, model.predict(X_train), average='macro')
 val_f1 = f1_score(y_val, model.predict(X_val), average='macro')
 
 mlflow.log_metric("train_f1", train_f1)
 mlflow.log_metric("val_f1", val_f1)
 mlflow.log_metric("gap", train_f1 - val_f1)
 
 mlflow.sklearn.log_model(model, "model")

2.4 自动记录 (Autologging)

# 为支持的框架自动记录参数、指标、模型
mlflow.sklearn.autolog()
mlflow.tensorflow.autolog()
mlflow.pytorch.autolog()
mlflow.xgboost.autolog()

# 只需正常训练，MLflow 自动追踪
model = XGBClassifier(n_estimators=100)
model.fit(X_train, y_train, eval_set=[(X_val, y_val)])
# 参数、指标、模型自动记录

2.5 MLflow 服务启动

# 启动 Tracking Server
mlflow server \
 --backend-store-uri postgresql://user:pass@localhost/mlflow \
 --default-artifact-root s3://mlflow-artifacts \
 --host 0.0.0.0 \
 --port 5000

# 或使用本地文件系统（开发环境）
mlflow server --backend-store-uri sqlite:///mlflow.db \
 --default-artifact-root ./mlruns \
 --host 0.0.0.0

3. 数据版本管理：DVC

DVC (Data Version Control) 用 Git 管理数据版本，用云存储实际存储大文件。

MLOps on PlumePHP

12. MLOps 与实验管理

1. MLOps 核心挑战

2. 实验追踪：MLflow

2.1 MLflow 核心组件

2.2 Tracking 基础用法

2.3 嵌套实验与超参搜索

2.4 自动记录 (Autologging)

2.5 MLflow 服务启动

3. 数据版本管理：DVC