学习记录与文章分享，链接更大的世界
rollout 数据与当前策略之间存在训推不一致与策略更新漂移两类差异。三策略 PPO 将二者解耦，并据此厘清 PPO clip、TIS、IcePop、GSPO 与 R3 的作用边界。
Claude Code 的长期记忆不是向量数据库，而是一套 Markdown 索引、模型相关性预取与 Agent 主动检索共同构成的文件系统。
Claude 等闭源模型通常会将思维链加密，本地无法直接解密出原文。但借助 prompt hack 仍可将其还原，并通过对照组实验验证。
计算机网络入门，包括 IP、端口、Socket 与 TCP 连接等基础知识，并解释服务器监听地址、网络可达性、端口转发。
配置 Cloudflare R2 作为个人图床，同时可生成自定义域名格式的图片链接（推荐 AI 自动化管理图库）。
MC 估计无偏但方差较大，TD 估计方差小但引入自举偏差。GAE 权衡两者之间的优劣，是 PPO 中常用的优势估计方案。
策略梯度经由 Actor-Critic 和重要性采样过渡到 PPO-Clip，核心在于理解 ratio 如何重加权旧策略样本，以及 clip 如何截断分段梯度。
MDP、价值函数与策略优化构成强化学习的基本框架，value-based、policy-based、actor-critic 三类方法则对应不同的求解思路。