强化学习 · 入门学习路线图

ROADMAP

六阶段路线总览

零

基础回顾第 1–2 周

壹

RL 基础第 3–7 周

贰

DQN 值函数第 8–13 周

叁

策略梯度第 14–18 周

肆

现代深度 RL第 19–24 周

伍

应用与研究第 25 周起

建议节奏：每周 12–15 小时

如果有课或轮转，宁可拉长周期，也不要只看视频不写代码。先专心走完 30 项核心，拓展资源只在需要时查阅。

代码必亲手敲。看视频时暂停、自己先写、再对答案；每章作业独立完成，不复制粘贴。
每阶段必须有产出物。一个仓库、一次竞赛提交、一份实验记录——看得见的成果才能推动持续进步。
报错是最好的老师。复制完整报错信息搜索，读最后三行堆栈；先自查 20 分钟再提问。

40% 写代码做项目30% 看课 / 读书20% 论文与笔记10% 周复盘

HANDS-ON MILESTONES

八个实战里程碑

ENVIRONMENT

第一天上手：环境配置

RL 开发以 PyTorch + Gymnasium + Stable-Baselines3 为核心栈。大多数 RL 实验不需要 GPU（仿真在 CPU 上跑更快），只有涉及大规模视觉输入或分布式训练时才需要。

1安装 Miniconda

从 conda.io/miniconda 下载安装包。conda 为每个项目建立独立 Python 环境，避免包版本互相污染。

# 创建并激活名为 llm 的环境
conda create -n llm python=3.11 -y
conda activate llm

2安装 PyTorch

先运行 nvidia-smi 查看显卡与 CUDA 驱动版本，再到 pytorch.org 选择器复制命令。无显卡用 CPU 版。

# CPU 版（学习 Prompt/RAG/Agent 足够）
pip install torch

# GPU 版请以官网选择器为准，形如：
pip install torch --index-url https://download.pytorch.org/whl/cu121

3安装 RL 工具链

一条命令装好环境接口、算法库与可视化核心库。

pip install torch gymnasium \
  stable-baselines3 \
  numpy pandas matplotlib jupyter

4验证安装

运行下面命令，看到版本号即成功。然后安装 VS Code 及 Python、Jupyter、Remote-SSH 插件。

python -c "import torch, gymnasium as gym; \
print(torch.__version__, gym.__version__, \
torch.cuda.is_available())"
# 期望输出形如: 2.x.x  0.x.x  False/True

RL 需要 GPU 吗？ 大多数经典 RL 环境（CartPole、MuJoCo）在 CPU 上训练更快，因为仿真步本身是瓶颈。只有用像素输入（如 Atari、Procgen）或大规模分布式训练时才需要 GPU。没有 GPU 也能完成本手册绝大部分内容。

FAQ

强化学习入门