面向营销的逆向强化学习

1078

收藏 2022-06-02

英文标题：
《Inverse Reinforcement Learning for Marketing》
---
作者：
Igor Halperin
---
最新提交年份：
2017
---
英文摘要：
Learning customer preferences from an observed behaviour is an important topic in the marketing literature. Structural models typically model forward-looking customers or firms as utility-maximizing agents whose utility is estimated using methods of Stochastic Optimal Control. We suggest an alternative approach to study dynamic consumer demand, based on Inverse Reinforcement Learning (IRL). We develop a version of the Maximum Entropy IRL that leads to a highly tractable model formulation that amounts to low-dimensional convex optimization in the search for optimal model parameters. Using simulations of consumer demand, we show that observational noise for identical customers can be easily confused with an apparent consumer heterogeneity.
---
中文摘要：
从观察到的行为中了解客户偏好是营销文献中的一个重要主题。结构模型通常将前瞻性客户或公司建模为效用最大化代理，其效用是使用随机最优控制方法估计的。我们提出了一种基于反向强化学习（IRL）的动态消费者需求研究方法。我们开发了一个版本的最大熵IRL，该IRL导致了一个高度易处理的模型公式，该公式相当于在搜索最优模型参数时的低维凸优化。通过对消费者需求的模拟，我们发现相同客户的观测噪声很容易与明显的消费者异质性混淆。
---
分类信息：

一级分类：Quantitative Finance 数量金融学
二级分类：Computational Finance 计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--
一级分类：Computer Science 计算机科学
二级分类：Artificial Intelligence 人工智能
分类描述：Covers all areas of AI except Vision, Robotics, Machine Learning, Multiagent Systems, and Computation and Language (Natural Language Processing), which have separate subject areas. In particular, includes Expert Systems, Theorem Proving (although this may overlap with Logic in Computer Science), Knowledge Representation, Planning, and Uncertainty in AI. Roughly includes material in ACM Subject Classes I.2.0, I.2.1, I.2.3, I.2.4, I.2.8, and I.2.11.
涵盖了人工智能的所有领域，除了视觉、机器人、机器学习、多智能体系统以及计算和语言（自然语言处理），这些领域有独立的学科领域。特别地，包括专家系统，定理证明（尽管这可能与计算机科学中的逻辑重叠），知识表示，规划，和人工智能中的不确定性。大致包括ACM学科类I.2.0、I.2.1、I.2.3、I.2.4、I.2.8和I.2.11中的材料。
--
一级分类：Computer Science 计算机科学
二级分类：Computational Engineering, Finance, and Science 计算工程、金融和科学
分类描述：Covers applications of computer science to the mathematical modeling of complex systems in the fields of science, engineering, and finance. Papers here are interdisciplinary and applications-oriented, focusing on techniques and tools that enable challenging computational simulations to be performed, for which the use of supercomputers or distributed computing platforms is often required. Includes material in ACM Subject Classes J.2, J.3, and J.4 (economics).
涵盖了计算机科学在科学、工程和金融领域复杂系统的数学建模中的应用。这里的论文是跨学科和面向应用的，集中在技术和工具，使挑战性的计算模拟能够执行，其中往往需要使用超级计算机或分布式计算平台。包括ACM学科课程J.2、J.3和J.4（经济学）中的材料。
--
一级分类：Computer Science 计算机科学
二级分类：Machine Learning 机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Computer Science 计算机科学
二级分类：Systems and Control 系统与控制
分类描述：cs.SY is an alias for eess.SY. This section includes theoretical and experimental research covering all facets of automatic control systems. The section is focused on methods of control system analysis and design using tools of modeling, simulation and optimization. Specific areas of research include nonlinear, distributed, adaptive, stochastic and robust control in addition to hybrid and discrete event systems. Application areas include automotive and aerospace control systems, network control, biological systems, multiagent and cooperative control, robotics, reinforcement learning, sensor networks, control of cyber-physical and energy-related systems, and control of computing systems.
cs.sy是eess.sy的别名。本部分包括理论和实验研究，涵盖了自动控制系统的各个方面。本节主要介绍利用建模、仿真和优化工具进行控制系统分析和设计的方法。具体研究领域包括非线性、分布式、自适应、随机和鲁棒控制，以及混合和离散事件系统。应用领域包括汽车和航空航天控制系统、网络控制、生物系统、多智能体和协作控制、机器人学、强化学习、传感器网络、信息物理和能源相关系统的控制以及计算系统的控制。
--

---
PDF下载：
-->

Inverse_Reinforcement_Learning_for_Marketing.pdf
大小:(518.68 KB)

马上下载

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

能者818

2022-6-2 18:30:15

市场反向强化学习Gor HalperinNYU Tandon工程学院邮件：igor。halperin@nyu.eduDecember14，2017摘要：从观察到的行为中学习客户偏好是市场营销文献中的一个重要主题。结构模型通常将前瞻性客户或企业建模为效用最大化代理，其效用是使用随机最优控制方法估计的。我们提出了一种基于反向强化学习（IRL）的动态消费者需求研究方法。我们开发了一个版本的最大熵IRL，该IRL导致了一个高度易处理的模型公式，该公式在搜索最优模型参数时涉及低维凸优化。通过对消费者需求的模拟，我们发现相同客户的观察噪音很容易与明显的消费者异质性混淆。1简介了解客户的选择、需求和偏好，客户是消费者或企业，是营销文献中永恒的主题。特别是，结构化营销模型通过将消费者或企业建模为效用最大化的理性代理人来构建消费者或企业模型（参见例[1]）。与“简化形式”（纯统计）模型不同，结构模型旨在从特定营销活动引起的影响中剖析真实的消费者选择和需求参考，从而促进新产品和供应商的推广，然后可以根据所学的消费者效用来评估其对消费者的吸引力。特别是在消费者需求研究领域，可以区分静态需求和动态需求。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-2 18:30:18

本文讨论了在动态、多周期环境中学习消费者需求函数的问题，在这种环境中，客户可以在预先确定的时间段（一周、一个月、一年等）内选择其最佳消费，既可以是战略性的，也可以是非战略性的。此类设置与营销不同的当前公用事业计划和服务相关，如云计算计划、互联网数据计划、公用事业计划（电力、天然气、电话）等。结构模型通过将前瞻性消费者建模为理性主体，在规划期内最大化其预期消费效用流，而不是其一步效用，来解决此类问题。结构模型通常为消费者效用指定一个模型，然后使用动态规划和随机最优控制的方法对该模型进行估计。这类模型通常计算量很大，因为它们常常涉及到贝尔曼最优方程的重复求解，这是结构模型在工业层面广泛部署的主要障碍之一。我们提出了一种基于反向强化学习（IRL）的动态多周期消费者需求效用学习方法。虽然IRL多年来被广泛应用于机器人领域【2】，但最近它也被应用于其他领域，尤其是研究人类行为，参见例【3】。然而，我们不知道有任何文献会专门针对营销问题应用反向强化学习。本文的主要贡献是最大熵IRLmethod（Ziebart 2008）的一个新版本，它为优化模型参数带来了一个非常容易处理的凸优化问题。我们的模型能够进行简单的模拟，从而可以使用它来研究消费者效用最优参数估计量的有限样本特性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-6-2 18:30:21

特别是，我们使用模拟来证明，由于有限的样本效应，具有相同需求效用的消费者很容易被误认为是异质消费者。1.1考虑到客户观察到的行为，相关的工作收入客户偏好是心理学、市场营销、统计决策、最优控制和人工智能（AI）社区的一个积极研究主题。根据不同的领域，它通常在营销和心理学文献中被称为客户选择问题，在统计决策文献中被称为偏好诱导问题，在人工智能文献中被称为逆向强化学习问题。在学习消费者动态需求的特定背景下，之前的研究主要遵循随机最优控制（SOC）方法。特别是，Xu等人最近的一篇论文【4】开发了一个基于结构化SOC的模型，该模型使用手机用户的日常消费观察数据预测其偏好。在逆强化学习方面，我们的框架植根于最大熵IRL（MaxEnt IRL）[5，6]方法。最大熵IRL的其他相关参考文献为参考文献。[7, 8, 9].1.2我们的方法概述与Xu等人[4]类似，此处提出的框架侧重于消费数据。虽然我们的方法可以应用于导言中概述的许多不同的业务设置（如云计划、数据计划、公用事业计划等），但我们遵循参考文献[4]，并考虑移动电话用户的消费公用事业，以便于与其方法进行直接比较。我们的模型根据少量的自由参数（尤其包括用户价格敏感性）对用户效用（奖励）函数进行参数化，然后根据用户的数据消费历史估计这些参数。与Ref不同。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-2 18:30:26

[4] ，我们不遵循随机最优控制方法，而是依赖于人工智能和机器学习社区中为类似任务开发的IRL方法。更具体地说，我们基于流行的最大熵（MaxEnt）IRL方法的高度易处理版本开发了一个模型【5，6】。与参考文献[4]的模型相比，我们的方法具有许多重要的优势。首先，我们的模型估计要简单得多，相当于一个具有5个变量的凸优化问题，可以使用标准的Off-she shelf优化软件轻松处理。这使得我们的模型能够高效地进行数值实现。相比之下，Xu等人的模型依赖蒙特卡罗进行模型估计。其次，如果需要的话，通过添加额外的特性，我们的模型更易于推广。第三，我们模型的可跟踪性允许我们研究有限样本“观测噪声”对估计模型参数的影响。参考文献[4]没有解决这个问题，该文献根据对少数用户相对较短（9个月）历史的模型估计，提出了实质性用户的异质性。最后但并非最不重要的一点是，我们的方法经过适当修改后，通常可以应用于上述其他类似设置中的客户偏好学习。论文的其余部分组织如下。在第节中。2我们介绍我们的模型。昆虫3，我们展示了估计模型如何用于反事实模拟和营销策略设计。门派4给出了数值实验。2模型公式2.1用户效用函数考虑购买了单个服务计划的客户，其每月价格F、初始配额q和价格p将在违反计划上的每月配额后按消费单位支付。我们指定了客户时间t=0，1，…的单步效用（奖励）函数。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-2 18:30:29

T-1（其中T是付款期的长度，例如一个月），如下所示：r（at，qt，dt）=uat-βat+γatdt- ηp（at- qt）++κqtIat=0（1）≥ 0是第t天的每日消耗量，qt≥ 0是第t天开始时的剩余津贴，dt是计费周期结束前的剩余天数，我们对任何x使用短符号x+=max（x，0）。等式（1）中的第四项与付款p（在- qt）+每月报价用完后由客户制作。参数η给出了客户的价格敏感性，而参数u、β、γ指定了用户奖励对状态行动变量qt、dt、at的依赖性。最后一学期~ κqtIat=0给出在时间t=0时零消费时收到的奖励（这里Iat=0是一个指标函数，如果at=0，则等于1，否则为零）。模型校准相当于根据用户消费历史估计参数η、u、β、γ、κ。对于不允许违反配额q的计划，目前的形式主义仍然适用，将价格p设置为单位。注意，奖励（1）可以等效地写成如下（这里K=5）：r（at，qt，dt）=Φ（at，qt，dt）=K-1Xk=0θkΦk（at，qt，dt）（2），其中θ=uhati，θ=-βhati，θ=γhatdti，θ=-ηph（at- qt）+i，θ=κhqtIat=0i（这里hXi代表X的经验平均值），以及以下一组基函数{Φk}k-使用1k=0：Φ（at，qt，dt）=at/hati，Φ（at，qt，dt）=at/hati，Φ（at，qt，dt）=atdt/hatdti，（3）Φ（at，qt，dt）=（at- qt）+/小时（at- qt）+iΦ（at，qt，dt）=qtIat=0/hqtIat=0等式（1）给出的用户奖励的定义与inRef提出的定义类似。[4] 但在四个方面与之不同。首先，我们添加了一个可能的双线性依赖关系，即奖励与每日消耗量和计划剩余天数的关系。其次，我们没有将参数β缩放为β=1，如参考文献所示。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

何人来此

2022-6-2 18:30:32

[4] （这是因为我们的框架不是，也不应该是尺度不变的）。第三，我们为零消费添加一个奖励，由等式（1）中的κqtIat=0给出。最后，也是最重要的一点，我们不能像参考文献[4]中所做的那样，将随机每日“用户冲击”ξ添加到u的值中。在参考文献[4]的方法中，用户效用函数中存在这种“私人用户冲击”的根本原因是，在经典马尔可夫决策过程（MDP）问题的设置中，动态通常是随机的，但策略和方向都是确定性的，已证明的次优（而非最优）行为可导致模型参数的发散解，和/或为演示轨迹分配零概率。正是通过在参考文献[4]中采用的结构模型方法中引入私人（即建模者未观察到的）冲击ξ来解决这个问题：因此，向上函数由一个额外的随机项σ（at，qt，dt）ξt增加，其中包含一些参数化的“波动性”函数σ（at，qt，dt）（参考文献[4]中使用了σ（at，qt，dt）=at的特定形式），虽然给出下一个ATI值的政策π（at，qt，dt，ξt）是ξt的非确定性函数。因此，该框架中的所有模型估计都是基于此。我们注意到，我们对无消费行为的规定比Xu等人[4]的建议更为灵活，Xu等人将零消费事件解释为在零下审查的高斯过程的观察结果。相反，我们的模型以引入额外的自由参数κ为代价，解开了零消费和非零消费事件之间的联系。经典的MDP问题处理的是一个完全观测的马尔可夫过程，其中始终存在一个最优确定性策略。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-6-2 18:30:35

因此，经典的随机最优控制方法通常适用于确定性策略。对私有冲击ξt的路径进行蒙特卡罗模拟，然后使用它们生成每个时间步的可观测路径（at，qt）。我们没有依赖结构模型的范式，而是遵循了反向强化学习（IRL）的最大熵方法的思想，即概率论，并将概率分配给观察到的路径【5，6】。由于其概率特性，这种方法不需要在效用函数中引入随机冲击来协调模型与可能的次优行为。如下所述，我们的方法比参考文献[4]中的方法有许多优点。最重要的是，它不需要蒙特卡罗来估计用户效用的参数，而是使用带有5个变量的凸负对数似然函数来进行直接的最大似然估计（MLE），这可以使用standardo ff-the shelf凸优化软件高效地完成。此外，如果需要，我们的模型可以通过添加更多的基函数来简化奖励函数，同时保持方法的其余部分不变。2.2逆最优控制和逆强化学习给定观察行为的报酬估计问题（在经济学和计量经济学文献中传统上称为跨时效用函数）是一个逆最优控制问题。在直接最优控制中，目标是优化策略（即消费策略π（at | qt，dt）），以便在已知或独立估计消费动态的情况下，最大化用户的预期总回报（总效用）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-2 18:30:39

（直接）强化学习（RL）解决了同样的问题，但不了解动力学，而是依赖于系统的样本。相反，在逆最优控制（IOC）或逆强化学习（IRL）公式中，问题是找到观察到的行为所给予的奖励（可以在在线或在线环境中获得）。虽然在IOC设置中，假设动力学已知，但在IRL方法中，动力学未知，只有在这些动力学下获得的样本可用。请注意，参考文献[4]使用两步结构法来估计消费模型，该模型首先估计经验政策，然后确定效用函数的结构参数，这些参数与经验上“观察到的”最优政策一致。IRL文献中有时也采用了类似的方法，试图同时估计与该奖励兼容的奖励和政策函数。相反，我们的最大熵IRL模型要简单得多，因为在我们的设置中，参数会自动调整用户策略函数，因为考虑到每日消费，累积消费过程是确定的。2.3最大熵IRL和相对熵IRL最大熵IRL（MaxEnt IRL）[5，6]方法是目前最常用的IRL方法。在我们的设置中，最大熵参数应用于单步（每日）跃迁概率P（qt+1，at | qt，dt）。MaxEnt解决方案要求该分布应与沿此类单步路径的经验计数φk（at，qt，dt）相匹配，否则应尽可能接近均匀分布。定量地，最后一个条件被施加为所寻求的分布和均匀分布之间的Kallback-Leiblerrelative熵最小化的条件。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-2 18:30:43

我们使用了MaxEnt IRL的一个扩展，称为相对熵IRL【7】，它用非均匀基准（或“先验”）分布π（在| qt，dt）代替MaxEnt方法中的均匀分布。这将产生指数单步跃迁概率：P（qt+1=qt- at，at | qt，dt）≡ π（at | qt，dt）（4）=π（at | qt，dt）Zθ（qt，dt）exp（r（at，qt，dt））=π（at | qt，dt）Zθ（qt，dt）exp（qt，dt）），其中Zθ（qt，dt）是依赖于状态的归一化因子Zθ（at | qt，dt）exp（at，qt，dt））dat（5）我们注意到MaxEnt IRL的大多数应用都处理多步TRAL将轨迹作为素数对象，并定义轨迹空间上的配分函数Zθ。虽然MaxEnt IRL的应用程序精确计算了[5]中小型离散状态作用空间的Zθ，但对于大型或连续状态作用空间，只能使用近似动态规划或其他方法近似地进行此类计算。例如，Bourarias等人[7]的相对熵IRL方法使用参考（“背景”）策略分布的重要性抽样来计算Zθ。正是这种计算对大型或连续状态作用空间的最大/相关IRL方法的应用构成了主要的计算瓶颈。与此相反，在我们的方法中，每个时间步都定义了依赖于状态的归一化因子Zθ（qt，dt）。因为我们用依赖路径的“全局”分区函数Zθ来交换依赖于局部状态的因子Zθ（qt，dt），所以我们不需要依赖exactor近似动态规划来计算该因子。我们的方法与Bourarias等人的方法有些相似（因为它也依赖于相对熵最小化），但在我们的情况下，参考分布π（at | qt，dt）和归一化因子Zθ（qt，dt）都是在单个时间步上定义的，Zθ（qt，dt）的计算相当于计算积分（5）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-2 18:30:46

如下所示，该积分可通过适当选择的分布π（在| qt，dt）进行解析计算。为此，我们建议使用混合离散连续分布作为参考（“先验”）作用分布π（at | qt，dt）：π（at | qt，dt）=νδ（at）+（1- ν）~π（在| qt，dt）Iat>0（6），其中δ（x）表示狄拉克δ函数，如果x>0，则Ix>0=1，否则为零。连续分量|π（at | qt，dt）由拼接高斯分布|π（at | qt，dt）给出=(1 - ω（qt，dt））φat，u+γdtβ，β如果0<at≤ qtω（qt，dt）φat，u+γdt-ηpβ，β如果在≥ qt（7）此外，参考分布可以适应估计的路径分布，正如参考文献[9]中的引导成本搜索算法所做的那样。其中φ（at，u，σ）和φ（at，u，σ）是两个截短正态分布的概率密度函数，分别针对小型和大型日消费水平定义，0≤在≤ qtand at≥ qt分别为（特别是，它们都是单独归一化的toone）。混合参数0≤ ω（qt，dt）≤ 1由at=qt时的连续性条件确定：（1- ω（qt，dt））φqt，u+γdtβ，β= ω（qt，dt）φqt，u+γdt- ηpβ，β（8）由于此匹配条件可能涉及较大的qt值，其中正态分布将以指数形式较小，因此在实践中，最好通过取两侧的对数来使用它：ω（qt，dt）=1+expnlogφqt，u+γdt-ηpβ，β- 对数φqt，u+γdtβ，βo（9）“先前”混合拼接分布（6）虽然以简单分布的形式表示，但会导致潜在的相当复杂的动力学，具有直观的意义，并且似乎与观察到的消费模式一致。特别注意，式（7）表明>qt处的大波动集中在较小的平均值u周围-γdt-ηpβ大于平均值u-较小流体的γdtβ0<at≤ qt。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-2 18:30:49

在当前环境下，突破剩余津贴壁垒后平均值的降低和每个成分的平均值随时间的降低都是非常直观的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-6-2 18:30:52

正如下图所示，“后验”分布π（at | qt，dt）继承了这些特性，同时也进一步丰富了动力学的潜在复杂性。使用混合拼接参考分布（6）作为参考分布π（at | qt，dt）的优点是，可以使用以下选项精确计算依赖于状态的归一化常数Zθ（qt，dt）：Zθ（qt，dt）=νeκqt+（1- ν）（I（θ，qt，dt）+I（θ，qt，dt））（10），其中I（θ，qt，dt）=（1- ω（qt，dt））sββ+βexp（u+u+（γ+γ）dt）2（β+β）-（u+γdt）2β×N-u+u+（γ+γ）dt-（β+β）qt√β+β- N-u+u+（γ+γ）dt√β+βN-u+γdt-βqt√β- N-u+γdt√βI（θ，qt，dt）=ω（qt，dt）sββ+βexp(u+ u - （η+η）p+（γ+γ）dt）2（β+β）（11）-(u- ηp+γdt）2β+ηpqt×1 - N-u+u-（η+η）p+（γ+γ）dt-（β+β）qt√β+β1.- N-u-ηp+γdt-βqt√β特别是，它将静态混合系数ν提升为状态和时间相关变量νt=ν（qt，dt）。其中，N（x）是累积正态概率分布。T步路径的概率τi={ait，qit，dit}Tt=0（其中i枚举不同的用户路径）作为单步概率的乘积获得：P（τi）=Y（at，qt，dt）∈τiπ（at | qt，dt）Zθ（qt，dt）exp（φ（at，qt，dt））~ 经验值Φ（τi）（at，qt，dt）（12）这里Φ（τi）（at，qt，dt）=nΦ（τi）k（at，qt，dt）oK-1k=0是沿观察路径的累积特征计数τi：Φ（τi）k（at，qt，dt）=X（at，qt，dt）∈τiΦk（at，qt，dt）（13）因此，在我们的模型中，总路径概率在沿总回报轨迹上是指数的，正如“经典”MaxEnt IRL方法[5]中所述，而指数前因子的计算方式不同，因为我们使用的是一步，而不是路径概率。定义指数路径概率分布的参数（12）可通过标准最大似然估计（MLE）方法进行估计。假设我们有N条历史上观察到的单周期消耗路径，并假设这些路径概率是独立的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-2 18:30:56

观察这些数据的总可能性isL（θ）=NYi=1Y（at，qt，dt）∈τiπ（at | qt，dt）Zθ（qt，dt）exp（ΘΦ（at，qt，dt））（14）因此，在省略不依赖于Θ的对数π（at | qt，dt）项并按1/N重缩放后，负对数似然为，-Nlog L（θ）=NNXi=1X（qt，dt）∈τilog Zθ（qt，dt）-X（at、qt、dt）∈τiΘΦ（at，qt，dt）=NNXi=1X（qt，dt）∈τilog Zθ（qt，dt）- Φ（τi）（at，qt，dt）（15）给定最佳参数θ（0）k的初始猜测，我们还可以考虑负对数似然的正则化：-Nlog L（θ）=NNXi=1X（qt，dt）∈τilog Zθ（qt，dt）- Φ（τi）（at，qt，dt）+ λ||θ - θ（0）| | q（16）可以考虑一个更复杂的情况，即个人客户奖励之间的相互依赖关系，但我们在此不采用这种方法。请注意，该规范正式启用了单个客户级别的校准，在这种情况下，N将等于该用户观察到的消耗周期数。然而，在实践中，单一名称校准的可行性取决于最大似然估计的有限样本属性，这将在第节中讨论。注意，Zθ（qt，dt）仍然取决于π（在| qt，dt），见等式（5）。其中λ是正则化参数，q=1或q=2分别代表L-范数和L-范数。当MLE估计（14）被aBayesian最大后验概率（MAP）估计所取代时，正则化项也可以被贝叶斯解释为θk上先验分布的贡献。众所周知，像（12）这样的指数模型会产生凸负对数似然函数，因此我们的最终目标函数（16）在参数Θ上是凸的（也可以通过直接计算验证），因此对于θ（0）和λ的任何值都有唯一的解。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-6-2 18:30:59

这确保了校准程序的稳定性，以及单个客户之间或客户组之间的估计模型参数Θ的平稳演变。2.4计算方面正则化负对数似然函数（16）可以使用许多凸优化算法最小化。如果λ=0（即不使用正则化）或q=2，则目标函数是可微分的，基于梯度的方法可用于校准参数θk。当λ>0且使用L正则化时，目标函数在零处是不可微分的，这可以通过使用L-BFGS算法的Orhant-Wise变体来解决，如参考文献[8]所示。2.5不同支付方案的可能扩展到目前为止，我们假设一个定价方案，其中客户在月初支付预付款Fjin，初始配额为q0j，，并且在月底之前用完配额后，为消费单位支付固定价格p。在实践中，此类定价方案可能存在许多修改。首先，一些服务提供商可能不允许超出配额q的额外消费，因此违反配额q的客户只能获得最低要求的服务级别，例如低速访问。如上所述，可以在我们的框架内通过采取限制p→ ∞ 在上述公式中。其他服务/定价方案需要对模型进行进一步调整。特别是，除了“主要”月度计划外，一旦月度配额用完，客户还可以获得不同的计划调整和延期。这可以在我们的框架中通过使状态动力学完全随机而不是像以前那样局部确定来处理：qt+1=（qt+qe- at）+其中qe是一个额外配额，可以按成本C（qe）添加到计划中。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-2 18:31:02

由于这种不规则调整可能只在一个月内进行几天（或零天），因此Qe在一个月内的大多数天都等于零，因此可以再次建模为零的delta函数和离散（或连续，取决于服务提供商提供的选项范围）分布的混合。此分布的混合权重可以取决于当前剩余配额qt、付款期结束前的剩余天数dt，以及可能的其他一些其他因素。同时，需要通过减去附加项ηC（qe）来调整奖励函数（1）：r（at，qt，dt，qe）=uat-βat+γatdt- ηp（at- qt- qe）++κ（qt+qe）Iat=0- ηC（qe）虽然模型的这种扩展是可能的，但我们将其留给未来的研究，并在下面的数值实验中集中于上述基本设置。3反事实模拟3.1行动概率使用公式（15）或（16）的MLE方法估计模型参数Θ后，假设用户采用不同的前期溢价Fj、价格pj和初始配额qj（0）的计划，则该模型可用于总用户奖励的反事实模拟。为此，请注意，给定每日消耗量At和之前的值qt-1，dt-1，下一个值是确定性的：qt=（qt-1.- at）+，dt=dt-1.- 因此，在我们的模型中，路径概率仅由行动概率和不同行动的概率密度来定义≥ 可从一步概率（τ）中获得时间t的0~ exp（r（at，qt，dt））。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

nandehutu2022

2022-6-2 18:31:05

使用等式。（1）和（4），这给出：π（at | qt，dt）=π（at | qt，dt）Zθ（qt，dt）expuat-βat+γatdt- ηp（at- qt）++κqtIat=0（17）利用式（6）给出的混合离散连续先验分布π（at | qt，dt）的显式形式，我们可以用相同的形式表示“后”分布π（at | qt，dt）：π（at | qt，dt）=νtδ（at）+（1- 当混合物重量变得与状态和时间相关时，则：νt=|exp{κqt}Zθ（qt，dt）=νexp{κqt}eκqt+（1- ν）（I（θ，qt，dt）+I（θ，qt，dt））（19）（这里我们使用公式（10）），拼接高斯分量为|π（在| qt，dt）=(1 - ω（θ，qt，dt））φat，u+u+（γ+γ）dtβ+β，β+β如果0<at≤ qtω（θ，qt，dt）φ在，u+u-（η+η）p+（γ+γ）dtβ+β，β+β如果在≥ qt（20），其中重量ω（θ，qt，dt）可使用等式获得。（17）和（10）。经过一些代数运算后，这会产生以下公式ω（θ，qt，dt）=I（θ，qt，dt）I（θ，qt，dt）+I（θ，qt，dt）=1+I（θ，qt，dt）I（θ，qt，dt）（21），其中函数I（θ，qt，dt）在上述等式中定义。(11). 比率I（θ，qt，dt）/I（θ，qt，dt）可等效表示为以下形式：I（θ，qt，dt）I（θ，qt，dt）=e-p（η+η）qt-u+u+（γ+γ）dtβ+β-p（η+η）2（β+β）Rqte-(β+β)在-u+u+（γ+γ）dtβ+βdatR公司∞qte公司-(β+β)在-u+u+（γ+γ）dt-（η+η）pβ+βdat（22）可以通过直接计算进行检查，公式（21）与公式（22）给出的比率I（θ，qt，dt）/I（θ，qt，dt）符合从at=qt的连续性条件中获得的权重公式，如果我们直接从公式（20）开始。这将产生，类似于等式（9），ω（qt，dt）=1+expnlogφqt，u+u+（γ+γ）dt-（η+η）pβ+β，β+β- 对数φqt，u+u+（γ+γ）dtβ+β，β+βo（23）两个表达式（21）和（23）重合的事实意味着“后”分布π（at | qt，dt）在at=qt时是连续的，只要先验分布π（at | qt，dt）在那里是连续的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-2 18:31:08

随着at=qt时的连续性，最优（或“后验”）作用分布π（at | qt，dt）与参考（“前验”）分布π（at | qt，dt）具有相同的混合离散拼接高斯结构，同时组分分布的混合权重、均值和方差也发生了变化。我们模型的这种结构保持特性在某种意义上类似于共轭先验贝叶斯分析的结构保持特性。请注意，拼接高斯分布（20）的模拟只比标准高斯分布的模拟稍微复杂一些。这包括首先模拟拼接分布的一个组成部分，然后模拟该分布中的截断正态随机变量。通过混合分布（18）的重复模拟，以及状态变量qt、dt的确定性更新，获得不同的消耗路径。下面将给出示例。4.3.2计划的总预期效用给定特定服务的消费计划，月费Fj，初始分配Q0，jand价格pj（其中j=1，…，j），计划开始时的总预期效用isRtotj=-ηFj+XtE[r（at，qt，dt）| q=q0，j，p=pj]（24）如果给定的客户在所有j个可能的计划中选择了计划j，并且我们假设客户的反应是合理的，那么这会产生一组不平等rtj≥ Rtotk，k 6=j（25），可等效表示为参数η：η的一组不等式≥PtE[r（at，qt，dt）| q=q0，k，p=pk]-PtE[r（at，qt，dt）| q=q0，j，p=pj]Fk- Fj，k 6=j（26）根据消耗计划的规格，该关系可用于验证（或改进）从上述MLE程序中获得的η估计值，或作为η校准的唯一来源。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kedemingshi

2022-6-2 18:31:11

特别是，一些服务提供商不允许任何超出计划限制的额外消费。虽然这可以正式地表示为极限p中呈现的形式主义的一个特例→ ∞, 这也意味着数据中不会出现任何超出配额的消费，因此无法从MLE程序中学习价格敏感性参数η。在这种情况下，推断η的唯一方法是torely不等式（26），它为该参数提供了一个下限。公式（26）分子中出现的预期回报应在使用MLE估计其他模型参数后通过模拟计算得出。3.3促销设计的反事实模拟对于可能的促销设计（Fj、q0、j、pj）（j=1，…，j），可以根据不同的计划升级场景对未来客户行为进行反事实分析。我们可以模拟N条未来消费路径，然后再次使用公式（24），为了方便起见，我们在这里重复该公式，以计算未来消费的预期效用：Rtotj=-ηFj+XtE[r（at，qt，dt）|q=q0，j，p=pj]（27）因此可以对不同的消费计划进行定量比较，并在Rtotj（j=1，…，j）中按递减顺序对它们进行排序，显示它们在总预期效用方面对客户的吸引力下降。4数值实验4.1消耗路径的模拟为了测试我们的模型，我们通过模拟混合拼接分布方程（18）中的每日消耗路径，从模型中生成人工数据，如第节末尾所述。3.1.每日消耗量的模拟如图1所示，而剩余裕量的结果轨迹如图2所示，其中我们选取了以下模型参数值：q=600，p=0.55，u=0.018，β=0.00125，γ=0.0005，η=0.1666，κ=0.0007。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-2 18:31:15

此外，我们设置u=u、β=β、γ=γ、η=η、κ=κ和ν=0.05。请注意，尽管效用函数保持不变，但由于观测噪声的影响，每个月的消费量可能会有很大差异（例如，客户可能在大约80%的时间段内用完配额，或者可能在月末有一个单独的未使用配额）。图1：模拟每日消耗量4.2最大似然估计的有限样本特性虽然已知最大似然估计（MLE）可为估计的模型参数提供渐近无偏结果，但在实践中，我们必须处理在单个客户层面上历史长度有限的数据。例如，参考文献[4]的结构模型是针对1000个客户的9个月数据进行培训的。虽然收集更多数据可能会增加待分析的客户数量，但由于客户流动性等诸多因素，收集长期的个人消费历史可能会更加困难。鉴于服务消费的长时间序列的可用性存在这些潜在的局限性，在我们的模型设置中研究MLE估计的有限样本属性非常重要。特别要注意的是，即使两个客户具有相同的“真实”模型参数，他们的有限样本MLE估计值对于这些客户来说通常是不同的。因此，模型在各个客户之间进行区分的能力取决于其MLE估计器在实际预期环境中的偏差大小和方差，即可用于分析的数据量。我们注意到，参考。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-2 18:31:18

[4] 报告称，1000名用户的9个月观测数据集的估计模型参数存在很大的异质性，但他们没有说明估计器的有限样本属性，因此遗漏了对其结果的最简单解释，因为他们的估计器中存在“观测噪声”，即使是完全同质的客户也会观察到这种噪声。我们通过对N个月的消费历史进行重复抽样（Nptimes），估计了我们模型的最大似然估计量的“经验”分布，同时保持上述模型参数不变。对于每个模型参数，我们计算其NP估计值的直方图。结果如图所示。3-5，其中我们分别显示NM=10、100和1000个月数据的结果直方图，同时保留exFigure 2的数量：所有图的模拟剩余AllownCeperiments Np=100。注意，对于除β以外的所有参数，Nm=10的MLE估计的标准偏差几乎等于其平均值。这意味着两个每天观察10个月的用户很难被模型区分开来，除非他们的隐含参数相差两倍或更多。这可能会对参考文献[4]中类似设置中暗示的模型隐含的客户异质性产生一些怀疑，并表明这种异质性中的一些（如果不是全部）可以简单地用模型估计过程的有限样本噪声来解释，而所有客户实际上从模型角度看都是不可区分的。另一方面，我们可以看到，随着观察期从10个用户月增加到1000个用户月，极大似然估计的偏差和方差是如何减少的。这些结果表明，在实践中，应该使用具有类似消费行为的客户群来校准该模型。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

能者818

2022-6-2 18:31:21

虽然发现此类群体的问题不在本工作范围内，但这项任务可以通过使用可用的时间序列聚类技术来解决。5总结我们提出了一种用于动态消费者需求估计的最大熵反向强化学习（IRL）的非常易于处理的版本，它可以应用于为新产品和服务设计适当的营销策略的技术。在对经常性公用事业（如云计划、互联网计划、电力和天然气计划等）的营销和定价中的类似问题进行适当修改后，可以应用相同的方法。该模型可以方便地进行模拟，这有助于进行反事实的实验。在IRL/机器学习方面，与大多数其他版本的最大熵IRL不同，我们的模型不必求解Bellmanoptimality方程，甚至一次。我们的方法中的模型估计相当于低维空间中的对流优化，可以使用标准的o f-theshelf优化软件来解决。这在计算上比通常依赖蒙特卡罗模拟进行模型参数估计的结构模型容易得多。参考文献【1】P.Chintagunta、T.Erdem、P.E.Rossi和M.Wedel，“营销中的结构建模：回顾和评估”，《营销科学》，第25卷，第6期（2006），第604-616页。[2] J.Kober、J.A.Bagnell和J.Peters，“机器人强化学习：aSurvey”，《国际机器人研究杂志》，第32卷，第11期（2013），第12381278页。[3] S.Liu、M.Araujo、E.Brunskill、R.Rosetti、J.Barros和R.Krishnan，“通过反向强化学习进行不理解的顺序决策”，2013年IEEE第14届移动数据管理国际会议。[4] L.Xu、J.A.Smith、Y.Hu、Y.Cheng和Y。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-6-2 18:31:25

Zhu，“异构移动数据消费和推广设计的动态结构模型”（2015），工作论文，可访问https://www.krannert.purdue.edu/academics/MIS/workshop/Xuetal2015动态移动数据。pdf。[5] Brian D.Ziebart等人，《最大熵反向强化学习》（2008），AAAI，第1433-1438页（2008）。[6] B.D.Ziebart、J.A.Bagnell和Anind K.Dey，“估计相互作用过程的最大因果关系原则”，IEEE信息论学报（2012年）。[7] A.Boularias、J.Kober和J.Peters，“相对熵反向强化学习”（2011）。[8] ，M.Kalakrishnan，P.Pastor，L.Righetti和S.Schaal，“操作的学习目标函数”，机器人与自动化国际会议（ICRA），2013年。[9] C.Finn、S.Levine和P.Abbeel，“引导成本学习：通过政策优化进行深度反向最优控制”（2016年）。图3：Nm=10个月数据的极大似然估计分布图4：Nm=100个月数据的极大似然估计分布图5：Nm=1000个月数据的极大似然估计分布图

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群