传统的智慧认为，基于模型的规划是顺序决策的有力手段。然而，在实践中往往是非常具有挑战性的，因为当一个模型可以用来评估一个计划时，它没有规定如何构建一个计划。在这里，我们介绍第一个基于模型的顺序决策代理“Imagination-based Planner”，该代理可以学习构建，评估和执行计划。在任何行动之前，它可以执行可变数量的想象步骤，其中包括提出一个想象的动作，并用其基于模型的想象力进行评估。所有想象中的行动和结果都被迭代地汇总成一个“计划环境”，它规定了未来的真实和想象的行动。代理人甚至可以决定如何想象：通过使用学习的策略灵活地导航到先前想象的国家之间，通过灵活地导航来测试替代想象的动作，将动作序列链接在一起，或构建更复杂的“想象力树”。我们的代理人可以学会计划经济，共同优化与使用其想象力相关的外部奖励和计算成本。我们表明，我们的架构可以学习解决具有挑战性的连续控制问题，并且还可以在离散的迷宫解决任务中学习详细的规划策略。我们的工作为学习基于模型的规划系统的组件以及如何使用它们开辟了新的方向。