利用马尔可夫决策过程寻找最佳癌症治疗方案

2022-4-24 17:07:21

随着经济转型国家城市化生活方式的采用和饮食习惯的改变，癌症导致死亡的风险预计将增加，因为据预测，到2030年，全球癌症威胁将增加到2070万新癌症病例，随着人口增长和老龄化导致1300万癌症患者死亡，发展中国家将在其中扮演重要角色[46]。国际癌症研究机构（International Agency for Research on Cancer GLOBOCAN project）预测，印度的扫描负担将在未来20年翻一番，从2012年略多于100万的新病例增加到2035年的170多万[32]。癌症诊断是目前医学和生物学研究领域讨论最多的话题之一。现有的癌症治疗方式包括手术、化疗、放疗、免疫治疗、药物治疗或监测等。即使癌症患者通常只接受其中两种或三种治疗方式，以不同的顺序和时间点接受治疗可能会产生不同的结果。不幸的是，与多模式治疗相关的决定往往取决于患者的临床经验，因此，对于主题从业者来说，回答诸如应用这些模式的最佳顺序是什么，或者它们之间的最佳时间间隔应该是什么等问题往往变得困难。也许可以通过适当设计的方法来克服这些挑战，这些方法建议治疗政策，一系列与治疗相关的决策，从而优化患者的整体健康和经济福利。找到这种最佳治疗策略的一种可能方法是通过蛮力从所有可能的路径集合中搜索最佳治疗路径，但找到这种策略可能在计算上很昂贵，而且往往不切实际。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:07:27

即使是对最佳治疗模式的直观或启发式搜索，有时也可能在计算上不够高效[47]。这一方向的早期方法是由Beil和Wein（2001）[6]和Hathout等人（2016）[20]分别使用普通微分方程和偏微分方程得出的。他们的模型能够在医生通常只接受外科治疗和放射治疗的情况下取得成功。这些挑战代表着巨大的改进机会。在医学领域，已经尝试了几种决策理论方法来诊断各种疾病和癌症。Bennettand Hauser（2013）在癌症治疗的临床决策中使用了一个基于人工智能模拟的框架[7]，后来Maass和Kim[31]提出了一种基于马尔可夫决策过程的多模式治疗癌症的方法。本文的目标是开发一个临床决策模型，该模型与患者的个人病历一起，也考虑了患者的个性化属性，旨在最大限度地提高“回报”的合适度量。在本文中，启发式意义上的患者“回报”或“回报”应用于纳入患者预期寿命的概念，以及患者在治疗后恢复到被诊断为疾病之前的生活方式的能力（从决策理论的角度来看，回报可被视为具有损失函数相反性质的函数）。在这里，我们提出了一个合理选择的实值报酬函数。为了计算的简单性和可处理性，我们的模型假设我们的模型的性质是“马尔可夫”的，即无记忆（一步依赖性，即当前情况下的未来独立于过去）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:07:33

第2节将讨论调整到患者日常生活的治疗方案的重要性。在第3节中，我们阐述了模型，并明确陈述了我们的模型假设。在第4节中，我们将重点讨论在协变量数据的帮助下，模型中参数的估计。第5节将侧重于对该模型进行基于模拟的研究，并试图解释结果，并从中得出有意义的推论。第六部分是本文的结论和评论。2针对日常生活的治疗方案我们想强调日常生活因素在癌症治疗中的重要性。随着我们从一个难以捉摸的梦想跃升到一个迫在眉睫的现实[29]，我们不能只局限于药物基因组学和药物遗传学信息[24]，还要局限于其他外生因素，比如生活方式、种族、饮食习惯等，穆努兹等人[37]在委内瑞拉的一项病例对照研究中发现，人类饮食是影响胃癌风险的一个重要因素。事实上，他报告说，随着谷物、淀粉类蔬菜、乳制品和水果消费量的增加，患胃癌的几率可能会增加。即使控制肌酐水平，钠水平也会对胃癌风险产生积极影响，这意味着盐摄入量的增加是一个很强的风险因素。该研究还发现了饮酒与胃癌之间的关系。吸烟和吸烟习惯对一个人患肺癌的几率有很大影响，许多研究如Loeb等人[30]所述。然而，肺癌的风险超出了反应性吸烟习惯。正如Correa等人[12]所述，与重度吸烟者配偶结婚的非吸烟者患肺癌的风险较高。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:07:40

该研究还提出了关于母亲吸烟习惯及其对孩子影响的问题。患癌症的风险不仅限于个人习惯，还包括环境因素。暴露于污染水平的增加、靠近城市地区和工业中心对居民构成肺癌威胁。Nafstad等人[38]在挪威男性中发现了此类证据，而Nyberg等人[39]在斯德哥尔摩也发现了类似的结果。SOC浓度、SPM水平等因素严重影响肺癌风险。从Jedrychowski等人在波兰的研究[25]到Tseng等人在台湾的研究[51]，这些影响的普遍性确实显示了对肺癌风险的巨大影响。事实上，即使在确诊后，这些环境空气污染水平也会缩短患者的生存机会和生存时间，正如埃克尔等人[16]的一项研究所发现的那样。事实上，癌症的风险影响不仅限于日常活动，而且对种族影响和社会经济地位也产生了一些影响。Bradley等人[8]、Schwartz等人[48]和Le等人[27]等的早期研究支持这类发现。特别是，非裔美国人的发病率与不同种族的平均发病率有显著差异。这种影响已在病例对照研究、区域特异性研究和一般性研究中得到体现，也出现在广泛的癌症类型中，包括但不限于胃、结直肠、肺和乳腺癌。穆努兹等人[37]事实上也研究了受试者的教育水平，并发现受教育程度越高的人暴露的风险越小。所有这些都与人们对该疾病的意识以及降低其发病风险的方法有关。然而，尽管后来的研究对种族影响进行了辩论，如Yang等人的研究。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-4-24 17:07:46

[57]在大多数研究中，社会经济状况对发病率和生存率的影响都很明显。事实上，受试者的职业等因素也会影响受试者的暴露风险。例如，Peller[42]和Navarro等人[18]发现，矿工患肺癌的几率更高。事实上，这并不局限于某个特定的矿山，而是广泛分布在矿山工人中，如赤铁矿[11]、塔康铁矿[2]、黄金[40]、砷、镍和铬[55]。这种影响不仅限于目前的采矿工人。伍德沃德等人[56]发现，由于氡子体的暴露，镭山铀矿的前矿工体内存在残余效应。研究人员还对接触粉尘的矿工和陶器工人的死亡率进行了研究[10]。社会经济地位和人口统计学变量的影响不仅限于暴露，还包括生存机会。昂贵治疗的有效性一直是globalarena[1]的一大担忧，有很多人试图弥合治疗和治疗之间的差距。这种尝试的例子包括药物的可持续定价[52]、医疗保险[59]和有效行动[28]。Goldstein等人[19]在全球平台上研究了药物的成本效应，发现癌症治疗在美国是最昂贵的，而在印度，它在很大程度上不影响普通大众。Moye等人[35]在墨西哥等中等收入国家研究了这种情况，广泛的结论是，癌症药物在中等收入国家仍然非常不受欢迎，降低了全球生存率。随着世界财富不平等的加剧，健康不平等也在加剧，人们试图量化和衡量这种不平等[3,53]。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:07:52

Sarah和Curtis[13]还研究了地理位置在健康不平等中的地位，这也将对一个人在治疗中获得的医疗保险产生影响。根据世界卫生组织的观点，患者的整体健康状况不仅表现为没有疾病和疾病，还表现为身体、心理和社会健康状况[41]。因此，除了标准杆数胡癌风险和生存率，我们还需要考虑生活质量的参数在治疗个人。Testa和Simonson[49]对生活质量因素的重要性以及评估和衡量生活质量的方法进行了精彩的讨论。为了我们的目的，考虑一个工作年龄在40岁左右的人，他已经被诊断出患有癌症。如果医生对周围的财务状况有足够的能力，那么医生应该专注于快速恢复健康。治疗费用可能很高，但如果她/他能够在康复后重返工作岗位，那么他/她就有可能恢复开支，过上充实的生活。因此，在选择治疗方案时，应充分考虑患者重返工作岗位的能力，以及在被诊断为癌症之前恢复生活方式的能力。另一方面，考虑退休后的个人退休年龄。在这种情况下，重度治疗和随后的副作用可能会对她/他的健康产生不利（通常是致命的影响）。即使这种治疗不是致命的，也能减轻她/他患癌症的风险，但潜在的陷阱会导致她/他终生卧床不起。医生后来成功地缓解了她/他的癌症，但治疗结果在生活质量量表上表现非常差。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:07:58

这种量表必须与医生缓解疾病的意图结合使用，以使医疗保健更加有效和充实。近年来，医疗保险中的生活质量参数和癌症生存率越来越受欢迎，例如[9]，我们欢迎这一发展，并强调其在基于奖励的动态治疗制度中的应用。在一些医疗领域，辍学现象十分猖獗，癌症也不例外。抑郁症、缺乏对医生指导的了解、收入和财务障碍等因素导致癌症患者退出治疗。事实上，正如Wells等人[54]所发现的，由于无法理解坚持治疗的概念，人们往往没有意识到他们已经退出了治疗。少数民族和经济困难人群往往处于坚持治疗的最前沿。如[5]所述，容易辍学的人的另一个方面是那些病得太重而无法旅行的人，远程医疗方法将对他们有利。生活质量方法在几种疾病中越来越流行，例如，McRae等人[34]研究了帕金森病患者的这一指数。这种生活质量方法带来的一个重要方面是行为疗法的发展。例如，Monnikes等人[21]证明了行为疗法和药物治疗优于单纯的药物治疗，现在是我们在癌症治疗中尝试这种行为方面的时候了。正如Testa和Simonson[49]所阐述的，这种基于生活质量的治疗需要确保治疗方面的安全性、有效性和便利性，以及患者行为方面的依从性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:04

结果参数应包括风险降低、获得奖励的健康寿命年数、总体生活质量，以净效益函数的形式汇总。我们将在本文中概述的MDP方法提供了一个现成的位置来使用净收益函数，即奖励函数，以及一个通过最佳行动选择随机优化它的框架。事实上，正如Richard Thaler[50]经常提出的那样，通过使用这种方法来证明对患者整体生活幸福感的影响，可以开发出新的简单但有效的推动方法。随着人们对健康不平等和随之而来的政策影响的日益关注[14]，在不久的将来，探索这一方面将变得必不可少。3模型表述：将癌症建模为马尔可夫决策过程在我们的文献中，我们隐含地假设不同阶段（恶性肿瘤）之间的转变是一个马尔可夫过程，即未来的转变仅取决于肿瘤的当前阶段，而不取决于过去的信息。像[26,23]这样的几位作者已经做出了这样的假设，以提出与这个问题相关的概率决策模型。因此，我们的目标是建立一个假设马尔可夫变换的概率决策模型。在定义符号和问题时，我们采用[45]的约定。马尔可夫过程是一个具有无记忆性质的随机过程，即给定当前信息，随机过程的未来实现不依赖于过去的实现。如果{Xn}∞n=0是随机过程，如果P（Xn）是马尔可夫过程-1=xn-1，··，X=X）>0P（Xn=Xn | Xn-1=xn-1，··，X=X）=P（Xn=Xn | Xn-1=xn-1）（1）简而言之，马尔可夫决策过程（MDP）是一个马尔可夫过程，其中在执行一项操作后给出一定数量的回报（或扣除成本）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:11

一般来说，这个过程可能是任何依赖于历史的随机过程，但为了便于计算，我们的模型将坚持马尔可夫假设。3.1手头的问题考虑一个疗程为T和s的受试者寻求最佳治疗决策。这里的最优决策指的是最大化预期回报值的决策。以下是模型的不同组成部分：3.1.1状态空间（癌症阶段）对于一种特殊类型的癌症，我们将恶性肿瘤分为标准杆数S、···Sn}，并将其视为状态空间S。如果我们考虑一种以上的癌症，那么每个状态可以由S（j）I表示，其中i＝1，···N；3.1.2行动空间（可能的治疗方法）行动空间是指当系统在给定时间处于特定状态时，将要执行的一组行动，可能取决于时间，也可能不取决于时间。为了减少计算复杂度，在这个模型中，我们将考虑动作空间是时间均一的，即当患者处于某一状态时，治疗方式不依赖于观察的时间点，它只依赖于相应的状态。因此，当系统在时间t时处于状态S时，动作集合为AS，t= AS。动作空间由以下公式给出：A=∪s∈SAs3。1.3转移概率当系统处于状态i，并且在时间t采取行动a后，转移到状态j，转移概率表示为：pt（j | i，a）=P（Xt=j | Xt-1=i，at=a）（2）转移概率是一个时间相关函数，即在相同的作用和相同的转移下，不同时间点的概率可能不同。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:18

为简单起见，在许多情况下都假定时间均匀。3.1.4奖励功能根据系统状态和从该状态采取的相应行动，每个过渡都会产生奖励（或扣除一些可被视为负面奖励的成本）。奖励函数由rt（A，i，j）表示，其中在动作A下的时间t发生从状态i到状态j的转变。rewardis一词指的是患者在接受癌症治疗后是否有能力过上正常的生活方式。在下一节讨论一个基于模拟的例子时，我们将解释一类奖励函数的结果，并对此进行论证。当系统在时间t处于状态s时，通过对转换状态的概率分布进行期望，即isrt（s，a）=E[rt（a，s，s）]=Xs，奖励函数被视为增益∈SRT（A，S，S）PT（S S，A）（3），我们认为报酬函数依赖于代表相应学科的经济或地理背景的某些参数。尽管控制奖励的其他变量是固定的，但对于属于不同地理区域、社会经济地位不同的人来说，可能具有不同的奖励功能。例如，[58]说明了癌症诊断如何对受影响的成年人及其家庭的经济福祉产生重大影响，而根据[44]，由于人口的遗传因素或气候因素，两个不同的地理区域的人可能不会面临相同的癌症风险。3.1.5决策规则和策略在决策理论中，非随机决策规则是从样本空间到行动空间的函数，即对于决策规则d，样本空间X和行动空间a，d:X 7→ A.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:24

随机决策规则δ是一组非随机决策规则D上的概率分布，即δ∈ P（D）。参考我们提出的模型，决策规则是从状态空间到动作空间i的函数。e、决策规则将系统的状态作为输入，并决定要采取的操作。我们将我们的模型与一类确定性决策规则相关联，即在时间t，决策规则dt:s7→ A.我们模型的马尔可夫历史确保时间t的决策仅取决于当前时间和状态，而不考虑之前的状态链和行为，即规则独立于历史。Apolicyπ定义为时间点上的决策规则集合，即π=（d，d，·，dT）-1） .3.2优化目标在该模型中，奖励函数的效用本质上是可加的。因此，我们将ψ（r，·，rT）=PTi=1riLet∏作为所有策略的空间。主要目标是确定政策π*= （d）*, · · · , D*T-1）使奖励的预期效用最大化（假设存在这样的政策）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:30

在策略π和初始状态s下，到达视界T的预期总效用为：vπT（s）=Eπs“T-1Xt=1rt（st，dt（st））+rT（st）#（4）我们寻求一个策略π*使癌症患者的预期效用最大化，使vπ*T（s）≥ vπT（s）s∈ S、 π∈ 为了寻找这样一种策略，我们对在算法的每一步中获得的一组报酬方程（也称为贝尔曼最优性方程）应用反向归纳算法。算法1：反向归纳算法（马尔可夫设置）结果：最优策略集t=N；计算u*N（sN）=所有序列号的rN（sN）∈ s如果t=1，则停止；埃尔塞特← T- 1.圣∈ S计算ut（st，a）=rt（st，a）+Pj∈Spt（j|st，a）u*t+1（j）表示所有a∈ 阿斯图*t（st）=maxa∈阿斯图特（st，a），a*st，t=arg maxa∈阿斯图特（圣，阿）继续；end4模型公式：用于估计参数的统计模型。到目前为止，我们介绍的模型和方法没有考虑患者手部的特征。尽管一些因素可能因影响奖励功能而被包括在内（例如，个体的体重没有直接考虑在内，但可能有助于患者的整体最终健康，这可能对最终的奖励功能感兴趣）；可能存在一些因素，虽然不会直接影响奖励功能，但在做出决策时可能会起到重要作用。所以我们引入了这些变量，它们不会影响奖励函数，但会影响转换的结果。因此，在本节中，我们介绍了协变量的概念，并打算扩展模型，考虑到患者拥有的协变量实现。一般来说，协变量是独立变量，在基础模型中作为观察值/测量值起作用，可以被视为控制变量。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:37

我们提出了两个在程序中使用它们的想法。4.1非自适应方法：固定的协变量和不变的状态空间给定时间t的状态站作用，我们使用了所有s的概率pt（s | st，at）∈ 通过直接从数据中进行估计。然而，不考虑患者的协变量特性会导致在状态统计时间t（应用ataction）从患者群体中随机选择患者的估计转移概率。现在，我们使用比例赔率累积Logit模型，由McCulagh推广[33]。使用该模型的基本原理是，按照定义状态的方式，状态具有固有的严重性顺序。设p个协变量X，Xp。假设这些协变量是固定的数量，并且对每个个体都不同。但对于固定患者，协变量的值是给定的，即卵巢的数据不是随机量。假设我们在时间t。如果我们有n个个体，即n个处于状态的患者，应用于他们，数据由{Xij:1给出≤ 我≤ p、一,≤ J≤ n} 。数据矩阵（或设计矩阵）由X=（（Xij））1给出≤我≤p、一,≤J≤n、设| S |=J，也就是说，对于状态变量，我们有许多类别，它们本质上是有序的。我们的目标是确定有多少物品属于KTH类别或以下1≤ K≤ J.模型为：log“π（t，st，at）+··+π（t，st，at）Jπ（t，st，at）J+1+··+π（t，st，at）J#=α（t，st，at）J+β（t，st，at）x+·+β（t，st，at）pxp（5），其中，J∈ {1，··，J- 1} ，π（t，st，at）j=P（st+1=j | st，at，x），x=（x，···，xp）>该模型也可以写成：logit（P（st+1≤ j | st，at，x））=α（t，st，at）j+β（t，st，at）x+··+β（t，st，at）pxp（6）我们将继续我们的讨论，假设这个模型，但是，这个框架可以用于概率的任何模型。请注意，β系数不随j而变化。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:44

这通常被认为是一种限制性的假设，人们希望废除这种假设。Peterson和Harell[43]在这方面讨论了部分比例模型。Ari和Yildiz[17]对模型的平行线假设进行了讨论，而Ananth和Kleinbaum[4]对本文使用的有序响应变量的几种模型进行了全面的回顾。参数的估计可以通过最大似然估计和Fisher的排序方法来完成。需要注意的是，代替比例优势累积logit模型，可以使用多项式logit模型，但可能存在两个问题：（1）在多项式logit模型中，对于每个状态j（j<j）和给定（t，st，at），有（p+1）个参数需要估计，因此参数总数为JT（j）-1）（p+1）|A |如果我们有J，T，|A |，p中的任何一个，它可能会很大，因此可能会出现一些关于维度诅咒的问题。为了解决这些问题，我们可以采用一些简单的假设，例如参数是时间齐次的，我们使用比例赔率累积logitmodel。因此，参数的数量归结为Jp | A |+J（J- 1） |A |=J（p+J）- 1） | A |小于多项式logit模型中的参数数。通常会使用更复杂的估计方法，例如Mukherjee等人[36]讨论了一种方法，通过理论尺度的二元分解，并合并由此产生的条件似然度。然而，我们不会离题讨论更复杂的方法，因为我们的目标是研究最佳的行动方案。4.2自适应方法：随机协变量和修正状态空间在这里，我们允许协变量随时间改变其值。再次假设有p个协变量X，···，Xp，每个协变量都可以从联合分布F中取值。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:50

现在假设样本空间Ohm 其中F是有限的，比如m阶，mp阶，每个单元都有一定的发生概率（可能为零）。我们对患者群体（而不是一般人群）进行了分析。我们将状态空间修改为/S=S×Ohm, 现在是|S |×|Ohm|.现在我们允许S中的转换从状态i开始∈ S和协变量曲线x∈ Ohm 陈述j∈ S和协变量∈ Ohm, 其概率可直接从数据中估算。这个新马尔可夫链的奖励函数是这样的，它仍然与我们原来的奖励函数相关。由于我们在给定初始和最终状态的两个协变量之间是不同的，因此我们采用了对协变量不变的逐步奖励函数，即，Ts、 j∈ s在∈ As，rt（s，at，j，x）=rt（s，at，j）十、∈ Ohm最终的回报也会与患者最终到达的协变量无关，只要是相同的∈ 有了这些状态空间和转移矩阵，我们使用反向归纳法和Bellman方程的相同过程，我们得到了每个S的最佳作用∈ 请注意，虽然奖励函数保持不变，但转移的概率会随着协变量的信息而更新，因此，最佳行动可能会根据协变量的知识而改变。4.3两种方法的比较两种方法各有优缺点。第一个比较是在协变量是随机的哲学中，频率分析法和贝叶斯方法。然而，从实践的角度来看，除了哲学之间的争论之外，还有一些技术问题值得怀疑。第一种方法允许x是任何东西，也就是说，它不限制其样本空间是有限的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:08:56

因此，它采用了一种模型假设，并给出了β的估计值，从中可以估计任何协变量变量x的概率，而不仅仅是观察到的x。然而，第二种方法没有对概率模型进行任何假设。但它不允许协变量文件x的所有值，因为其样本空间被限制为有限的。否则，状态空间将变得有限（并且可能不可数），这就需要闭合集和对奖励函数的假设，以使上确界可实现，并通过贝尔曼方程获得最佳行动。因此，这种方法失去了其固有的简单性。第一种方法在行为上不适应协变量，因为它的唯一输入是患者首次诊断时的协变量。但第二种方法允许卵巢功能在治疗期间发生变化，这是治疗经常需要的特征。然而，通常有一些协变量是自然不能随时间变化的（比如人的遗传特征），如果允许它发生变化，尽管它不能，可能会使模型变得不必要的麻烦和易处理性。作为说明，我们想指出的是，如果在开始阶段需要准确的协变量值，如首次诊断时患者的体重，那么第一种方法更方便，而如果“超重”、“正常体重”和“体重不足”等信息足够，但它们随时间的变化很重要，人们可以采用第二种方法。5.模拟急性髓系白血病（AML）是一种白血病（血癌），是一种克隆性造血干细胞疾病，在这种疾病中，干细胞室中增殖增加和分化失败导致称为成髓细胞的非功能性未成熟细胞的聚集。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:02

AML约占所有白血病的25%，是成人中最常见的急性白血病[15]。在过去的几十年里，AML患者的治疗和支持性护理有所改善。然而，尽管现代诱导化疗取得了很高的完全缓解率，但达到完全缓解的患者的总体生存率仅为50%左右，或总体生存率为26%[1]。在这个基于模拟的例子中，我们考虑了一个500名AML受试者的例子，其中的测量包括每个患者的年龄（证据见[22]）、收缩压、她/他的放射性暴露指标（这可能由该个体是否经历了大于伦琴某个值的暴露量的信息来确定），一些控制激素（如甲状腺素）的水平和标记基因（如CD34+和CD38-）的存在。关于这些变量的信息被视为协变量，并已使用第4节的方法来估计状态转移概率。我们为训练模型而模拟的协变量结构如下：年龄~ N（50,3）血压~ N（年龄+60,0.7）{放射性暴露}~ 伯努利（0.1）激素水平~ N（700，20）收入（θ）~ 10000+10×帕累托（100，10）我们考虑了两种治疗方式：1。观察监测或患者病情缓解，以及2。化疗治疗。对于白血病患者来说，第二种疗法的一个问题是化疗会损害骨髓，从而减少血细胞的数量。出于这个原因，医生们总是建议在治疗期间先进行化疗，然后再进行休息。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:08

此外，我们认为状态空间由3个状态所标记，1, 2个和3个状态代表恶性程度越来越严重的二级恶性肿瘤。在这种情况下，治疗程序的范围被认为是N=8。然后，如果受试者在第j个时间点处于第j状态，则动作矩阵包含（i，j）作为受试者要采取的最佳治疗动作。在这里，我们认为当主体在水平面观察时不采取任何行动，因此作用矩阵A的维数是（n）。- 1） x S.对于固定的i和j，a的（i，j）尝试可以用协变量Xk建模，以量化Aijt对Xk微小变化的敏感性。在实际情况下，协变量Xkmight具有特定（已知）分布，并且取决于Aij的敏感性可能会受到显著影响，或者根本不受影响。对于固定的Xk值，我们对Aijas进行建模：πkij（x）=P（Aij=1 | Xk=x）。我们使用逐步奖励函数如下：rt（i，j，a）=g（i）- j）（t+1）-Caθ·e-λt其中CAI是与行动a相关的成本（如果行动a是减免，则成本为0），θ是个人的收入，λ是因个人财务状况较高而考虑的报酬衰减的常数参数。我们设定λ=1.2，C=5000。其他用于解释奖励函数地理因素的参数g（逐步和最终）被设置为g=0.7。可以解释为，奖励函数的第一项是状态转换的结果，而第二项则是在时间t采取的行动以及患者财务状况的影响。最终奖励函数由（第4节定义的| S |=J）rN（J）=g（J）给出- j）（N+1）在这种情况下，j=3。利用比例优势累积logit模型，我们估计πkij（x）为^πkij（x）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:14

函数πkijis的通常95%渐近置信带由πkij（x）±zn，0.025sπkij（x）（1）- πkij（x））n不同协变量的协变量敏感性图如下所示。对于一个特殊的协变量，即患者的年龄，我们考虑一系列可能的值，并且对于每个值，我们模拟来自同一训练分布的其他协变量，并且将时间处理动作的比例（即动作2）作为动作矩阵的一些（t，i）ththof（1）中的最优动作声明。≤ T≤ N、一,≤ 我≤ J）也就是说，对于具有特定协变量的患者来说，治疗行动在时间t是最佳的，并且可以从癌症的第I阶段得到缓解。图1：图1和图2所示的A4,1vs协变量值下治疗行动的敏感性，当患者处于癌症的1期或2期时，如果患者年龄较小，则建议最佳行动作为更频繁的治疗行动。但图3和图4表明，如果患者正在从3期癌症中康复，那么对于老年患者来说，最佳的治疗措施往往是治疗措施。这种作用比例的行为表明，对于癌症不太严重的阶段，用放疗、化疗等强有力的药物治疗老年患者并非最佳选择。但当患者从第3阶段开始缓解时，最佳的治疗措施确实是治疗措施，这意味着对恶性肿瘤的严重程度进行某种报复。对于其他协变量，即血压，在癌症的不同阶段，治疗行动在协变量值范围内的敏感性有些相似。也就是说，如果考虑中的患者血压过高，那么在任何情况下，我们的方法都不太可能建议治疗措施为最佳措施。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:20

图1、图2、图3和图4显示了行动矩阵中某些条目的治疗行动对血压的敏感性，并且在图2的范围内，所有条目都有下降的模式：A3,2vs协变量值下治疗行动的敏感性图3：A2,3vs协变量值下治疗行动的敏感性血压。我们希望观察患者的财务状况如何影响我们的方法建议的最佳行动。患者的社会经济地位越高，他就越能承担昂贵的治疗行动，因此他从癌症中康复的机会也就越高。在这种情况下，最佳行动政策应牢记患者的健康状况以及社会经济地位。我们对两个不同收入（θ）组的200名患者进行模拟，每组100名患者的收入和其他协变量在相应范围内变化。对每位患者计算最佳行动矩阵，随后我们注意到行动2（即治疗行动）被宣布为最佳的次数比例。很明显，收入水平之间的差异越大，建议对收入较高的人采取治疗措施的频率就越高。在图5中，深绿色线表示收入为80000卢比的人的行动2随时间的比例。绿线严格位于蓝线之上，蓝线表示收入为10000卢比的a在一段时间内行动2的演变。仅在3期癌症中，蓝线与绿线相交一点（5<t<6），并在绿线上方。这种行为可以被解释为收入较低的人所表现出的接近地平线尽头的最终复苏效应。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:27

也就是说，他在接近地平线尽头时的目标应该是最大化他与健康相关的奖励价值（当收入因其指数衰减特性而贡献的奖励非常低时），即使收入较低。这种现象很好地符合我们的直觉，如图4所示：不同收入群体在5,3vs协变量估计（N=8）癌症阶段的治疗行动敏感性。10000卢比80000卢比1期2期3期1期2期31 0.00 0.00 0.00 0.06 0.18 0.062 0.00 0.00 0.00 0.07 0.22 0.193 0.01 0.00 0.00 0.00 0.03 0.04 0.09 0.12 0.32 0.425 0.06 0.09 0.43 0.17 0.36 0.476 0.09 0.12 0.72 0.18 0.38 0.487 0.01 0.00 0.00 0.00 0.00 0.09 0.29 0.352（作用表1:ESOF）癌症治疗不同阶段和不同时间点的作用比例对于收入群体，分别为1万卢比和8万卢比。从患者的健康经济角度来看，这是一种昂贵的治疗方式。此外，仔细观察表1，人们可能会注意到表中有相当多的零。由于该表列出了建议的昂贵治疗次数的比例，这表明当费用较高且社会化医疗不盛行时，我们最好建议更便宜的治疗，以便将个人的总体生活质量保持在最佳水平。我们模拟研究的另一个有趣的观察结果是，随着财务状况之间的差异减小，绿线和蓝线开始相互靠近。换句话说，如果两个收入水平之间的差异较小，那么行动2的比例差异也会减小。此外，对于这里考虑的每一个病例，当患者从3期癌症中康复时，行动2的比例更高。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:34

因此，我们的模型显然对癌症患者的社会经济地位以及癌症的严重程度敏感。文中给出了用于协变量模拟、最优治疗策略搜索和图绘制的R码idedhttps://github.com/navonil1729/MDP-and-QOL-in-Cancer-Treatment.6讨论癌症是一种主要的全球危害。癌症诊断是一个被研究者广泛探索的领域，涉及生物科学、统计科学、计算机科学等多学科领域。在这篇文献中，我们温和而真诚地试图指出日常生活因素如何在癌症治疗中发挥巨大作用，我们还制定了一个统计模型，该模型涵盖了所有这些因素和图5：收入组患者的治疗行动与观察时间的比例分别为10000卢比和80000卢比（N=8）收入组患者的癌症分期。20000卢比70000卢比第1阶段第2阶段第3阶段第1阶段第2阶段第31 0.00 0.00 0.00 0.04 0.09 0.102 0.03 0.00 0.01 0.04 0.11 0.153 0.04 0.06 0.07 0.06 0.16 0.364 0.07 0.12 0.38 0.09 0.21 0.535 0.15 0.61 0.11 0.22 0.70.74 0.14 0.26 0.587 0.04 0.05 0.01 0.16 0.472（表2：不同治疗阶段和不同治疗时间点的作用比例）对于收入群体，分别为20000卢比和70000卢比的人试图提出最佳治疗措施。我们在本文中的贡献是协调动态治疗方案的框架和对生活质量因素的重视。治疗的可靠性和有效性等因素，以及治疗费用和随后给予的健康天数，可以纳入我们所阐明的马尔可夫决策过程的奖励函数中。此外，通过商定的奖励功能选择，剩下的程序完全自动化。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:40

因此，该框架提供了一种客观的方法来治疗患者，同时牢记他们的整个生活质量标准。在我们的模拟部分中，我们使用患者的财务状况作为在没有保险或医疗保险计划的情况下药物可接受性的代表。更富有的人通常会更注重健康，因此有更多的康复机会。我们已经将其纳入了我们的模拟部分，以获得更现实的结果。基于奖励函数的选择，我们的最佳行动会在随后的结果中发生变化，这表明我们的框架确实成功地将这些影响纳入其中。由于专业原因导致的暴露易感性已在放射性暴露的指标协变量中记录。类似地，采矿和制陶经验、粉尘暴露、污染水平也可以纳入转移概率的训练模型，因此可以从图6中进行有效估计：不同收入组患者的治疗行动与观察时间的比例分别为Rs.20000和Rs.70000（N=8）癌症分期。30000卢比第1阶段第2阶段第3阶段第1阶段第2阶段第31 0.00 0.01 0.00 0.02 0.08 0.032 0.00 0.03 0.04 0.09 0.123 0.01 0.09 0.28 0.05 0.20 0.384 0.05 0.17 0.53 0.07 0.27 0.555 0.10 0.23 0.73 0.10 0.30 0.656 0.11 0.22 0.79 0.11 0.33 0.687 0.01 0.08 0.33 0.05 0.20 0.472作用表3：不同治疗阶段和不同治疗时间点的癌症的作用比例（ESOF治疗作用点和阶段）对于收入群体，数据分别为3万卢比和5万卢比，并直接用于预测用药。我们已经展示了在其他因素的影响下，选择最佳治疗方案的次数比例。这一比例受收入水平的影响敏感而强劲。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:47

这是敏感的，因为行动计划在不同的收入水平之间有所不同，但也很稳健，因为随着收入水平的接近，最佳行动计划也会变得相似。因此，轻微的扰动不会显著改变动作效果。在这方面，进一步的探索范围包括废除马尔可夫体系。如果我们将一个人的潜在状态划分为不同的阶层，马尔科夫假设是好的，但这增加了问题的维度，使其成为潜在的棘手问题。一个明显的解决方法是在更多的时间段中使用更长的时间依赖结构。一个有用的概括可能是使用马尔代夫，将一个人累积的病史建模为一系列过滤，并使用合适的优化技术来获得最佳结果。在行为方面，随着人们越来越重视生活质量因素，它对奖励功能的影响变得明显。另一个问题是时间的同质性。为了简单起见，我们假设随机过程是时间齐次的，但框架不需要这样做。事实上，纳入时间依赖性结构的一种简单方法图7：收入组患者的治疗行动与观察时间的比例在收入组中的癌症分期时间（N=8）分别为3万卢比和5万卢比。40000卢比45000卢比1期2期3期1期2期31 0.01 0.02 0.01 0.03 0.03 0.022 0.05 0.09 0.11 0.05 0.07 0.163 0.08 0.18 0.36 0.07 0.15 0.464 0.13 0.25 0.54 0.10 0.18 0.645 0.16 0.30 0.69 0.10 0.10 0.20 0.696 0.18 0.31 0.72 0.10 0.20 0.20 0.20 0.747 0.09 0.17 0.45 0.08 0.15 0.552（作用表4:ESOF）不同治疗阶段和不同治疗时间点的作用比例对于收入群体而言，分别为4万卢比和4万卢比。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:53

分别为45000的概率使得比例优势累积逻辑模型中的协变量的β系数也依赖于时间。由于时间同质性的假设，这可以轻松有效地消除任何潜在问题。事实上，该模型可以扩展到一个连续时间框架，其中患者到达医生处是一个随机过程，医生的决定是根据这种概率进行调整的。然而，这些方法将要求医生了解患者疾病过程的时代，因为这将影响医生的最佳行动方案。这种发展，结合行为技术，可以在未来导致合适的轻推技术和行为治疗，这可以明显改善奖励功能，从而提高患者的整体生活质量。根据我们的框架，目前的最佳治疗方案在很大程度上取决于正向函数的选择。必须最佳选择奖励函数，将影响个人整体福祉的所有因素纳入其中。在制定奖励函数时，医生的目标和患者的目标必须结合在一起，对这两个因素都有适当的权重，以避免中途退出、指令不可理解和，以及财务和社会经济图8：收入组患者的治疗行动与观察时间的比例分别为4万卢比和4.5万卢比，这是康复障碍。参考文献[1]阿杰·阿加瓦尔和理查德·沙利文。英国癌症治疗的有效性——是时候引入用户收费了吗？癌症政策杂志，2（2）：31-392014。[2] 伊丽莎白·M·艾伦、布鲁斯·H·亚历山大、理查德·F·麦理浩、希瑟·H·纳尔逊、古鲁穆蒂·拉马钱德兰和杰弗里·H·曼德尔。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-4-24 17:09:59

明尼苏达州塔孔尼采矿业工人的癌症发病率。《流行病学年鉴》，25（11）：811-815，2015年。[3] R安德鲁·艾利森和詹姆斯·E·福斯特。使用定性数据衡量健康不平等。《健康经济学杂志》，23（3）：505-5242004。[4] Cande V Ananth和David G Kleinbaum。顺序反应的回归模型：方法和应用综述。《国际流行病学杂志》，26（6）：1323-13331997年。[5] Allison J Applebaum、Wendy G Lichtenthal、Hayley A Pessin、Julia N Radomski、N Simay G–okbayrak、Aviva M Katz、Barry Rosenfeld和William Breitbart。晚期癌症患者以意义为中心的团体心理治疗的随机对照试验中与磨蚀相关的因素。《心理肿瘤学》，21（11）：1195-12042012。[6] 达米安·R·贝尔和劳伦斯·M·韦恩。多模式癌症治疗的分析和比较。《数学医学与生物学》，18（4）：343-3762001。[7] Casey C Bennett和Kris Hauser。模拟临床决策的人工智能框架：马尔可夫决策过程方法。《医学中的艺术情报》，57（1）：2013年9月至19日。[8] 凯西·J·布拉德利、查尔斯·W·吉文和凯莉·罗伯茨。种族、社会经济地位和乳腺癌的治疗和生存。国家癌症研究所杂志，94（7）：490-4962002。[9] 丹布罗克。医疗保健和医学伦理中的生活质量衡量标准。《生活质量》，第95-1321993页。[10] 陈景琼、约瑟夫·K·麦克劳林、张君悦、BJ Stone、罗嘉默、陈雷、穆斯塔法多塞梅西、苏珊娜·H·雷辛、吴志恩和弗兰克·J·赫尔。接触粉尘的中国制陶工人的死亡率。职业医学杂志：工业医学协会的官方出版物，34（3）：311–316，1992年。[11] 陈曦、RB Hayes、梁先生、李克强、爸爸Stewart和A Blair。中国血红素工人的死亡经验。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-4-24 17:10:05

职业与环境医学，47（3）：175–181，1990年。[12] 佩拉约·科雷亚、伊丽莎白·方瑟姆、琳达·威廉姆斯·皮克、林友平和威廉·海泽尔。被动吸烟与肺癌。《柳叶刀》，322（8350）：595-5971983。[13] 莎拉·柯蒂斯和伊恩·里斯·琼斯。在对健康不平等的分析中，地理因素是否有一席之地？《健康与疾病社会学》，20（5）：645–672，1998年。[14] 安格斯·迪顿。健康和财富梯度的政策影响。卫生部，21（2）：13-302002。[15] 芭芭拉·德斯勒和迈克尔·卢伯特。急性髓系白血病：流行病学和病因学。《癌症：美国癌症学会跨学科国际期刊》，107（9）：2099–2107，2006年。[16] 桑德拉·P·埃克尔、迈尔斯·考伯恩、余香舒、邓惠宇、弗雷德里克·W·勒曼、刘丽华和弗兰克·D·吉利兰。空气污染影响肺癌的生存。Thorax，71（10）：891-8981016。[17] ARI Erkan和Zeki Yildiz。有序逻辑回归中的平行线假设和分析方法。国际跨学科科学研究杂志，2014年1月。[18] 帕布罗·费尔南德斯·纳瓦罗、贾维尔·加西亚·佩雷斯、丽贝卡·拉米斯、埃琳娜·博尔多和冈萨洛·欧佩兹·阿本特。接近采矿业和癌症死亡率。《总体环境科学》，435:66–732012。[19] Daniel A Goldstein、Jonathon Clark、屠一凡、张洁、方芬奇、Robert Goldstein、所罗门·姆斯特默和Eli Rosenbaum。与全球财富差异相关的癌症专利药物成本的全球比较。Oncotarget，8（42）：715482017。[20] Leith Hathout、Benjamin Ellingson和Whitney Pope。模拟胶质母细胞瘤放射治疗中手术切除范围的有效性。癌症科学，107（8）：1110-11161016。[21]英格伯格·海曼·蒙尼克斯、鲁道夫·阿诺德、艾梅拉·弗洛林、克里斯托夫·赫达、西格·梅尔弗森和休伯特·蒙尼克斯。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝