AI / ML

Day 1 LLM 基础 Transformer · Attention · Tokenization · 位置编码 Day 2 预训练与微调 Pre-training · SFT · RLHF · DPO Day 3 Prompt Engineering Zero/Few-shot · CoT · ReAct · Self-Consistency Day 4 RAG 体系 Embedding · Vector DB · Retrieval 策略 · Re-ranking Day 5 Agent 架构 ReAct · Plan-and-Execute · Reflexion · AutoGPT Day 6 Tool Use Function Calling · MCP · 工具选择 · Sandboxing Day 7 Multi-Agent 系统 AutoGen · CrewAI · 角色分工 · 协作协议 Day 8 Context 工程 Context Window · Prompt Caching · 压缩 · Memory 管理 Day 9 推理优化 KV Cache · Speculative Decoding · Continuous Batching · Quantization Day 10 Loss 与 Optimization Cross-Entropy · AdamW · LR Schedule · Gradient Clipping Day 11 Tokenization 深度 BPE · WordPiece · SentencePiece · UTF-8 边界 Day 12 Attention 变种 MHA · GQA/MQA · Sliding Window · FlashAttention Day 13 位置编码深入 Sinusoidal · Learned · RoPE · ALiBi Day 14 Scaling Laws 规模定律 幂律 · Chinchilla 计算最优 · 涌现能力 · Mirage 批判 Day 15 评估与基准 MMLU · HumanEval/pass@k · MT-Bench · LLM-as-Judge Day 16 经典 ML 算法 线性/逻辑回归 · 决策树 · 随机森林 · SVM Day 17 深度学习基础 反向传播 · 梯度下降 · 激活函数 · 正则化 Day 18 CNN 与视觉 卷积原理 · ResNet · ViT · CLIP Day 19 RNN 与序列 LSTM · GRU · Seq2Seq · Attention 起源 Day 20 生成模型 GAN · VAE · Diffusion · Flow Matching Day 21 强化学习 Q-Learning · Policy Gradient · Actor-Critic · PPO Day 22 语义搜索 BM25 · Dense Retrieval · Hybrid Search · HNSW Day 23 多模态 VLM · Audio LLM · 视频理解 · Embodied AI Day 24 编码模型 BERT · RoBERTa · Sentence Transformers · ColBERT Day 25 训练基础设施 分布式训练 · ZeRO · FSDP · Megatron-LM Day 26 Alignment 数学 RLHF · Reward Model · Constitutional AI · DPO Day 27 可解释性 Mechanistic Interp · Sparse Autoencoders · Feature Circuits · Probing Day 28 推理模型 测试时计算 · CoT · 自我验证 · Best-of-N Day 29 数据工程 合成数据 · 数据策展 · 去重 · 质量过滤 Day 30 表示与嵌入几何 词向量线性结构 · 对比学习/InfoNCE · 各向异性与白化 · Matryoshka Day 31 模型压缩 知识蒸馏 · 剪枝 · LoRA/QLoRA · 量化数学 Day 32 激活函数与归一化 ReLU/GELU/SwiGLU · BatchNorm/LayerNorm/RMSNorm Day 33 概率与信息论基础 熵 · KL 散度 · 互信息 · ELBO Day 34 前沿架构 MoE · 状态空间模型/S4 · Mamba · 长上下文 Day 35 时间序列预测 ARIMA · 指数平滑/卡尔曼滤波 · Prophet · 时序基础模型/TimesFM Day 36 因果推断 因果 vs 相关 · 潜在结果框架 · 工具变量 · 双重差分 Day 37 图机器学习 消息传递/GNN · GCN · GAT · 图嵌入/node2vec Day 38 概率编程与贝叶斯深度学习 MCMC · 变分推断 · 不确定性量化 · PyMC/Stan Day 39 元学习与小样本 迁移学习 · MAML · 原型网络 · In-context Learning Day 40 联邦与隐私学习 联邦学习/FedAvg · 差分隐私 · 同态加密 · 安全多方计算 Day 41 世界模型与具身智能 世界模型/Dreamer · JEPA · 因果表示学习 · 具身智能/VLA Day 42 神经符号 神经符号结合 · 知识图谱嵌入/TransE · 可微分推理 · 程序合成/DreamCoder Day 43 优化的几何与前沿 损失景观/平坦极小 · 锐度与泛化/SAM · 二阶方法/K-FAC/Shampoo · Lion/Sophia Day 44 训练中的反常现象 Grokking/延迟泛化 · 双下降 · 相变与突现 · 涌现是度量假象吗 Day 45 解码与采样数学 贪心/束搜索 · 温度/Top-p/Min-p · 对比解码 · 推测解码 Day 46 AI for Science AlphaFold · 材料发现(GNoME) · 数学猜想(FunSearch) · 科学大模型 Day 47 对齐失败机制 规范博弈/奖励黑客 · 目标错误泛化 · 欺骗性对齐 · 谄媚 Day 48 幻觉与校准机制 幻觉的统计根源 · 校准/ECE · RLHF 损害校准 · 知识边界 P(True) Day 49 知识存储与模型编辑 知识定位/因果追踪 · ROME 秩一编辑 · MEMIT 批量编辑 · 涟漪效应 Day 50 对抗样本与鲁棒性 线性假说/高维脆弱 · FGSM/PGD 攻击 · 对抗训练/迁移性 · 认证鲁棒(随机平滑) Day 51 公平、偏见与去偏 偏见来源 · 人口均等 vs 机会均等 · 公平的不可能定理 · 去偏方法/因果公平 Day 52 持续学习与灾难性遗忘 灾难性遗忘/稳定性-可塑性 · EWC 正则/Fisher · 经验与生成重放 · 参数隔离 PackNet Day 53 音频与语音模型 语音识别/CTC 对齐 · TTS 两阶段(声学模型+声码器) · 神经 codec/RVQ 离散化 · 流式与因果机制 Day 54 LLM-as-Judge 的偏差与校准 位置/冗长/自我增强偏差 · 自我偏好与错误趋同 · 生成-验证鸿沟(GV-Gap) · 多样化陪审团聚合与校准 Day 55 思维链监控与可监控性 CoT 监控(生产标记率) · 混淆式奖励作弊 · 忠实度探针(25%-39%) · 可监控性税/跨实验室联署