DYcoder

From Word to World：LLM 能否成为 Agent 的文本世界模型？

一句话结论：经过足量、覆盖多种行为的轨迹微调后，LLM 可以在结构化文本环境中充当高保真的下一状态预测器，并用于动作验证、合成经验和 RL warm-start；但这种能力高度依赖环境复杂度、行为覆盖与真实观测锚定，在 WebShop 等开放环境中仍存在明显模拟漂移。 论文信息 标题：From Word to World: Can Large Language Models be Implici
世界模型
#LLM #agentic RL #synthetic data #text world model #environment simulation

SPPO：把长程推理折叠成序列级上下文赌博机，单样本也能稳定做 PPO

一句话结论：SPPO 不再要求 critic 给几千个推理 token 分别估值，而是把“prompt → 完整回复 → 终局奖励”看成一步上下文赌博机，只预测题目本身的可解概率，再把同一个序列级优势广播给整条回复。它以单条采样保留 PPO 的样本效率，在论文实验中超过标准 PPO，并以约 5.9 倍训练加速达到 GRPO 的峰值表现。 论文信息 标题：SPPO: Sequence-Level
信用分配
#LLM #长程推理 #PPO #credit assignment #RLVR

主流基座模型技术报告横评：从 DeepSeek-V3 到 Kimi K3，两年里基模卷了什么

过去两年，开源基座模型经历了一轮疯狂的迭代：2024 年底 DeepSeek-V3 用 557 万美元的训练成本震惊业界，2025 年 R1 带火了 RL 推理范式，Qwen3 / Kimi K2 / GLM-4.5 / GPT-OSS 密集发布；进入 2026 年，Kimi K3、DeepSeek-V4、MiniMax M3 又把总参数量推到万亿级、上下文推到百万 token。 这篇文章把有正式
基础模型与后训练
#LLM #强化学习 #基座模型 #技术报告 #MoE #预训练

VC-PPO 详解：PPO 在长 CoT 上为什么崩？价值优化才是命门

2024 年底到 2025 年，DeepSeek-R1 带火了”用 RL 训练长思维链（Long CoT）“这条路线。当时社区里一个流行的印象是：PPO 在长 CoT 任务上不行了，GRPO 才是正解——GRPO 直接砍掉 critic，用组内相对奖励当优势，简单稳定，效果还好。 字节 Seed 团队 2025 年 3 月的这篇论文（也是 DAPO 同一拨人）提出了一个不同的诊断：PPO 不是不行
强化学习
#LLM #强化学习 #PPO #RLVR #value function

Agentic-R：为 agentic search 训练检索器，用全局答案正确性反传

Agentic search 是个新范式：agent 把多步推理和按需检索交错起来解复杂问题。但它有个被忽视的短板——检索器。现有 search agent 几乎都用基于相似度的检索器，而「相似的段落」不等于「对最终答案有用的段落」。Agentic-R 专门为 agentic search 训练检索器，把「全局答案正确性」纳入检索器的训练信号。 论文信息 标题：Agentic-R: Learni
Agentic RL
#数据合成 #agentic search #retriever training #RAG #强化学习

AgentInstruct (Orca-3)：用 agentic 流做生成式教学，25M 对合成数据

合成数据对加速语言模型开发越来越关键，但它质量参差、多样性不稳，有效使用往往需要大量人工策展。AgentInstruct（即 Orca-3）把这个问题重新定义成「生成式教学（Generative Teaching）」——用强模型造数据去教另一个模型一项新技能或行为，并用 agentic 流自动生成大规模、多样、高质量的数据。 论文信息 标题：AgentInstruct: Toward Gener
Agentic 数据合成与环境合成
#数据合成 #synthetic data #generative teaching #instruction tuning #agentic flow

ToolACE：工具调用数据的自演化合成与双层验证

函数调用（function calling）大幅拓展了 LLM 的应用边界，而解锁这个能力的关键是高质量、多样的训练数据。但真实 function-calling 数据极难采集标注，既有合成管线又在覆盖度和准确度上欠缺。ToolACE 是一条全自动的 agentic 管线，专门造「准确、复杂、多样」的工具学习数据。 论文信息 标题：ToolACE: Winning the Points of L
Agentic 数据合成与环境合成
#数据合成 #synthetic data #self-evolution #function calling #tool use

AgentOmnia：双向环境-任务合成 + PRD 自演化，全场景 agentic scaling

LLM agent 进展很快，但进步是碎片化的——跨领域、能力、任务难度、交互设定都参差不齐。AgentOmnia 把这个问题框定为「全场景 agentic scaling」，用一条 taxonomy 把任务空间定义、数据合成、后训练、评测、改进串成一个闭环，并造出了相当规模的环境-任务-工具集合。 论文信息 标题：AgentOmnia: Scaling Agentic Models for F
Agentic 数据合成与环境合成
#environment synthesis #agentic RL #agentic scaling #data synthesis #self-evolution

Environment-free：让 LLM 当世界模型，零执行环境造 API 调用轨迹

训练 API 调用 agent 要海量高质量轨迹，但这些轨迹通常依赖完整实现的环境——可执行的 API、真实预填充的后端数据库。这套基础设施是扩展性的最大瓶颈。Environment-free 的反直觉思路是：根本不造执行环境，直接让 LLM 当即时世界模型，只给 API 规格就能造出逼真的交互轨迹。 论文信息 标题：Environment-free Synthetic Data Generat
世界模型
#LLM #数据合成 #synthetic data #API-calling agent #LLM as world model