挖掘股票非法内幕交易：一种积极的方法

2022-6-10 05:42:06

挖掘股票非法内幕交易：积极主动的方法美国田纳西理工大学库克维尔分校伊斯兰计算机科学。sislam42@students.tntech.eduSheikh美国田纳西理工大学库克维尔分校哈立德·加福计算机科学。sghafoor@tntech.eduWilliam美国田纳西理工大学库克维尔分校。weberle@tntech.eduAbstract-股票非法内幕交易的基础是在信息公开之前发布非公开信息（如新产品发布、季度财务报告、收购或合并计划）。由于股票市场的复杂性、非线性和非平稳性，很难发现非法内幕交易。在这项工作中，我们提出了一种方法，该方法使用基于深度学习的方法，结合时间序列数据的离散信号处理，从大型异构结构化和非结构化数据源中主动检测和预测非法内幕交易。此外，我们使用基于树的方法来可视化事件和操作，以帮助分析人员理解大量非结构化数据。利用现有数据，我们发现我们的方法在检测非法内幕交易模式方面有很好的成功率。股票市场；神经网络；自然语言处理；时间序列预测；非法内幕交易；一、股票市场是股票、债券和其他形式的证券发行和交易的市场和交易所的集合。它为公司提供了进入capitalin exchange的途径，以获得投资者的部分所有权。世界上最大的证券交易所是纽约证券交易所（NYSE）。纳斯达克是美国第二大证券交易所。S、，大多数科技公司都参与其中。证券交易委员会（SEC）是监管美国。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:09

股票市场证券欺诈是与证券发行和出售相关的欺诈行为。根据美国联邦调查局（FBI）的报告[2]，以下是当今证券市场上最常见的欺诈类型：1）市场操纵对一些通常交易量较低的股票造成了艺术性购买压力，这些股票主要由作案者控制。这导致肇事者非法获利，无辜和天真的投资者蒙受损失。市场操纵破坏了公平有序的市场；2）深夜交易在正常交易时间后非法买卖证券。这种类型的交易受到限制，因为重要的市场影响决定在常规交易结束后发布，3）高收益投资欺诈提供低风险或无风险投资，以保证异常高的回报率。股票市场的内幕交易是基于非公开信息的交易。美国的内幕交易是一种常见的活动[3]。它可以是合法的，也可以是非法的。合法的内幕交易需要遵循监管机构的适当指导方针。另一方面，如果在信息公开之前根据非公开（私人、泄露、举报）信息（例如新产品发布、季度财务状况、收购或合并计划）进行交易，则会发生非法信息交易。非法内幕交易的发现和股票价格的正确预测是一个具有挑战性的问题。传统技术不能充分解决这些问题。为了了解股票市场的复杂性，需要新的方法和技术。例如，人工神经网络（Arti-ficialneuralnetwork，ANN），一种根据哺乳动物大脑皮层的神经结构进行松散建模的方法，在这方面可能很有用。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:14

神经网络被组织成相互连接的节点层。模式通过输入层由神经网络表示，输入层连接到一个或多个隐藏层。这些层最终是输出层，在输出层中生成输入模式的结果。然而，常规的神经网络对于时间序列或序列数据并不能很好地工作，因为它们缺乏对过去事件的记忆（即存储）。因此，更流行的神经网络技术是递归神经网络（RNN），其中神经元的输出再次反馈给神经元的输入。然而，虽然这给神经元提供了一些记忆（有限的和连续的），但它仍然面临着消失/爆发梯度问题。此外，当远处的梯度贡献变为零时，网络的学习率迅速下降。另一方面，长-短期记忆网络（LSTM）克服了RNN的一些问题。与前馈网络不同，LSTM可以在内存中保留任何数量的前一步（根据需要），并在需要时忘记这些步骤。它还有助于以一种更可控的方式管理内存：哪些信息需要保留，哪些信息需要更新，哪些信息需要忘记，哪些信息需要在更长的时间内关注。这就是为什么LSTMis在时间序列预测中非常有用的原因，在时间序列预测中，数据可能具有季节性（随时间变化的行为周期）、噪声（无法用模型正确解释的数据变化）和趋势（随时间变化的行为增加或减少）。贡献：我们在这项工作中的主要贡献是使用LSTM RNN预测一些目标公司的股票量，然后使用我们提出的算法反常，我们将能够检测预测数据中的异常模式，这可能是非法内幕交易的影响。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:17

其他贡献还在数据预处理阶段：A）从大量诉讼相关新闻稿（SEC诉讼档案）中对非法内幕交易案件进行分类；B）实施基于atree的方法，将事件和操作可视化，以帮助分析员理解大量未结构化数据（例如，诉讼相关新闻稿）。我们的实验结果支持：（1）有可能在短时间内从受影响和未受影响公司的amix中检测出Tillegal内幕交易；（2）有可能对大量非结构化数据进行分类并直观地可视化。通常，当证券交易案件太晚，没有任何可采取行动的情报时，投资者就会意识到非法内幕交易。因此，我们提出的是一种基于计算智能的方法，该方法可以分析来自不同来源的数据，并在该信息的官方新闻发布之前很久就检测出潜在的非法内幕交易活动。据我们所知，这是首次利用计算智能从另一个数据源中挖掘非法内幕交易的全面尝试，因此限制了我们将我们提出的方法与其他相关工作进行全面比较的能力。在下面的章节中，我们将介绍之前关于预测股市操纵的研究。然后描述我们使用的数据集，包括数据预处理。然后，我们将介绍我们的实验、结果和分析，然后是一些结论性观察和未来的工作。二、背景在文献[4]的工作中，作者提出了一种针对股票市场复杂时间序列数据的上下文异常检测方法（CAD）。异常检测方法在这里被视为上下文或局部异常检测方法，基于类似公司在一年中的任何时间都会表现出类似行为的信息。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:20

在本研究中，研究了五组异常检测方法：基于窗口的、基于近似值的、基于预测的、基于隐马尔可夫模型的和基于分段的。它们都有各自的优缺点。根据作者的说法，它们都不是这种基于时间序列的异常检测的完美候选者。相反，他们提出了一种上下文异常检测方法，他们发现该方法优于其他最先进的方法，如KNN和随机游走。我们在这项工作中使用的STM RNN使用基于日期、基于窗口和基于整个历史的预测。Golmohammadi等人[1]提到，现有的欺诈检测方法严重依赖于基于专家知识的一组规则。然而，当前的股票市场本质上更具动态性，犯罪者不断发现新方案，因此需要可扩展的机器学习算法来识别市场操纵活动。他们应用了不同类型的机器学习算法，如朴素贝叶斯、支持向量机、CART、KNN和随机森林。实证结果表明，朴素贝叶斯在F2测度方面优于其他学习方法。[1]的工作实际上是迪亚兹等人工作的延伸。[5]. 根据作者的说法，有三种技术严重助长了市场操纵：1）在一天结束或最后一个季度买入或卖出股票，以影响收盘价；2）洗牌交易（预先安排的交易），这些交易将在稍后逆转或对买卖双方没有实际风险；3）通过获得大部分股票来垄断市场。这项工作中使用的数据集与Diaz等人的工作中使用的数据集相同。该数据集包含SEC在2003年1月至12月期间报告的市场操纵案例，其中包括31只不同股票、8只操纵股票和25只与操纵股票相似的股票。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2022-6-10 05:42:23

我们在工作中使用的数据集包含诉讼档案起始年（1996年）到2018年的数据，我们的重点缩小到预测非法内幕交易，这是一种更难发现和预测的股市欺诈类型。根据文献[6]，股市滥用主要有三种方式：1）基于信息的操纵，即发布财务谣言以影响价格；2）基于行动的操纵，即股票供求受到挤压，以进行操纵；以及3）基于交易的操纵，即通过买卖进行操纵，这使得很难将其归类为非法。此外，非法内幕交易主要通过买卖进行，因此很难发现或预测。此外，无法从单一行动的事件中检测到价格操纵。相反，大多数情况下，它是由一系列随着时间推移而演变的动作和操纵策略组成的，当操纵行为与大量正常记录混合时，操纵行为并不明显。根据[7]和[8]，价格操纵可以以多种不同的形式完成。例如，投资者在4月份输入远高于/低于实际出价或要价的买入/卖出指令（有时称为“欺骗指令”），这就产生了与前一指令相反的“善意”指令所带来的虚假利益。另一个例子是Pump&Dump，操纵者通过以操纵价格快速出售长期持有的股份来获利。Diaz等人[5]表明，使用知识发现技术可以从每小时的事务数据中发现操纵模式。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:26

他们采用开放式方法，使用新闻来源、财务比率、变量等异构来源来描述日内（即每小时）交易。本研究使用的数据集基于美国证券交易委员会（SEC）发布的股票市场操纵案例，也是我们将在工作中使用的数据集。在贾[9]的工作中，探索了LSTM在股票价格预测中的有效性。虽然这项研究与任何类型的欺诈或操纵检测无关，但它仍然可以被归类为操纵检测过程。在Song等人[10]的工作中，作者提出了一个通用耦合行为分析（CBA）框架，通过捕获更全面的耦合来检测基于群体的市场操纵。多组操纵者相互协作操纵股票价格，这对股票市场监管来说是一个巨大的挑战。他们的方法比以前的基准耦合隐马尔可夫模型（CHMM）表现更好，这种表现的主要原因是股票之间有适当的领域知识。在Zaki等人[11]的工作中，他们提出了一种基于语言学的文本挖掘方法，以展示从SEC诉讼释放（LR）中提取财务概念（例如，相关方、管辖权、欺诈者的财务收益）的过程。他们使用财务本体从美国证券交易委员会诉讼发布中捕获财务欺诈概念。这有助于金融分析师了解起诉案件中不同的操纵模式。然而，他们的工作对诉讼案例研究的数量有限制。通常，可以研究的诉讼案件越多，结果就越不偏斜。另一方面，我们正在使用基于树的方法，这将有助于分析人员筛选他们需要检查的案例数量。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:29

此外，我们提出的方法有助于提前挖掘潜在的非法内幕交易（即预测）。在Mantere等人[12]的工作中，他们提出了一个假设性的案例研究，即利用网络攻击和通过社交媒体传播的虚假信息操纵股市，从而使虚假新闻以有利的方式影响市场。到目前为止，我们已经找到了多种检测股市操纵欺诈的方法。一些方法基于对等群体分析，一些基于上下文本体检测，一些基于基于语言的文本挖掘，还有一些使用财务本体。在检测股票市场的非法内幕交易方面，很少有研究。[13]的工作是基于内幕交易，但研究只是分析内幕交易案例。据我们所知，我们提议的是一种更全面的方法来检测非法内幕交易。据我们所知，由于这项工作的新颖性，我们无法将我们的工作与其他方法进行比较。图1：。拟议技术的流程图。三、方法学。拟议技术图1是我们实施的技术的流程图。起初，我们的目标公司（图1，标记为A）是通过基于树的可视化（本文稍后讨论）识别出来的，同时也被SEC认定为突出的非法内幕交易案件。然后，我们从Yahoo Finance收集了目标公司的历史股票交易量数据。当内幕人士获悉非公开信息时，收集的股票交易量数据的起始日期比从分析的案例和新闻稿中获取的日期早三个月。收集的库存量数据的截止日期是我们进行这些测试的日期。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:32

我们收集了目标公司在这些开始和结束日期内的全天股票交易量（图1，标记为B）。在模式发现阶段（图1，标记为C），当内部人员了解非公开信息并根据该信息进行交易时，我们选择窗口（窗口是连续50天的交易量集合）。我们发现，在大多数情况下，内幕人士在获悉非公开信息的很短时间内（一到两天）完成交易。因此，我们为目标公司选择了50天的交易量，这样内幕人士得知非公开信息的日期就在在中间。一些公司多次面临非法内幕交易（如富国银行），因此我们从这些公司那里获得了多种模式（窗口）。通过这种方式，我们生成了所有非法内幕交易模式，这是我们异常检测算法的基本事实。我们的下一个任务是预测特定时期目标公司的库存量（图1，labeledas B和C），并将发现的模式作为滑动窗口传递给它以查看相似性。因此，对于选定的公司，我们使用三种不同的方法将LSTM RNN应用于历史股票交易量数据：1）基于前一个交易量窗口预测未来的交易量窗口（例如50天），2）基于前一个交易量窗口预测前一天的交易量，和3）根据所有以前的交易量数据预测未来的交易量窗口。需要指出的是，我们将一个窗口定义为连续N天的集合。在这项工作中，我们使用大小为50的窗口，这与Jia等人使用的窗口大小相同。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:35

[9] 虽然他们的工作目的是使用LSTM RNN预测股票价格，但我们使用交易量数据预测股票市场交易量，以通过我们提出的异常算法预测非法内幕交易。通过分析数据，我们认识到，在非法内幕交易的情况下，交易量是算法考虑的更好的候选者，因为S股的价格可能比S股低很多，但S股的交易量正是S股。此外，LSTM RNN的输出包括四种离散信号（时间序列）：基于整个历史数据的实际数据（交易量）、窗口预测信号（下一窗口的交易量）、日间预测信号（下一天的交易量）和信号（下一窗口的交易量）。对于异常检测，我们使用归一化互相关来衡量具有不同时滞的给定离散信号之间的相似性。我们将连续几天的交易量表示为离散信号。所生成的四种离散信号和先前生成的非法内幕交易模式通过所提出的异常检测和预测算法（异常）进行传递。我们将其命名为异常，因为它有助于发现异常信号（时间序列）。异常算法的参数为C、M、W、P和数据。定义选定的公司，Mde定义LSTM RNN的特定应用程序（即三种技术之一），W定义窗口数量，是非法内幕案件的提取模式（即地面真相），数据是一个多维数组，表示LSTMRNN预测的股票交易量数据。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-6-10 05:42:38

下面介绍了异常算法。对于c中的每个公司c，LSTM RNN中的每个特定方式m，以及windowsW中的每个窗口w，将信号与非法内幕交易模式或异常模式进行比较，通过将整个时间序列划分为窗口并进一步将窗口划分为天来发现其相似性。使用归一化互相关（NCC）将预测信号（LSTM RNN的输出）与实际信号（历史数据中的实际股票交易量）和欺诈/异常信号/模式（发现的非法内幕交易模式）进行比较，归一化互相关（NCC）将信号实际归一化为同一标度，然后比较信号以查看它们的相关性有多强。此外，NCC通过考虑不同的日滞后来测量两个离散信号的相关性。Herdeay滞后指的是，与其他信号相比，其中一个离散信号在信号的开始/结束处有一些缺失值。换言之，daylags意味着信号可能不完全垂直对齐，因为在几天内可能会有一些间隙。第四节介绍了使用LSTM RNN的三种预测技术和NCC的详细信息。这里是我们提出的异常检测算法，该算法将预测和实际时间序列与异常时间序列模式进行可视化和匹配。B、数据美国证券交易委员会在其网站上公布委员会在联邦法院提起的所有诉讼【15】。这包括所有类型的股市操纵指控。此外，特塞克和联邦调查局还在其网站上发布了一些著名的非法内幕交易案件和相关新闻稿【16】、【17】。这些是我们研究的主要数据来源。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:41

我们编写了一个基于Python的webcrawler，从1996年初到2018年，它在与诉讼相关的新闻稿Sarchive中爬行，并以纯文本的形式下载和存储。我们总共发现7988个案例，其中605个案例在发布标题中删除了关键字“insider”，1142个案例在发布正文中有关键字，1222个案例在发布标题或正文中有关键字，525个案例在发布标题和正文中都有关键字。因此，大约15%的案件是非法内幕交易相关指控，其余是其他类型的欺诈相关指控。根据关键词“内部人”，我们将所有案件标记为内部案件或非内部案件。然后利用这些数据，我们构建了一个分类程序，用于对可用的非法内幕交易相关文档进行分类，使我们能够对未来的数据（例如社交网络帖子）进行分类。我们还为分析师生成了基于树的可视化，以了解案件如何归入非法内幕交易类别以及事件和行为之间的相关性。从实际情况的可视化来看，我们能够深入到诉讼发布中并检索相关属性（例如，公司名称、非法身份证名称、内幕人士了解私人信息的日期、公开日期以及非法收益的数量等）（应该注意的是，当前此过程是手动的，将作为未来工作的一部分调查自动化解决方案）。这项工作的另一个数据来源是Yahoo Finance的历史股票交易量（即选定公司的选定日交易量数据）[14]。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:45

我们收集了过去几年十家不同公司的数千（14842）个时间序列数据（当时公开的所有数据），用于实验。在这十家公司中，有九家涉及历史上的非法交易案件：富国银行、英国石油公司、GTx、甲骨文公司、美国半导体公司、Spectrum Pharmaceuticals、Allscripts Healthcare Solutions Inc、康宝莱有限公司、Evercore股份有限公司。第十家公司是谷歌的母公司Alphabet Inc.，成立于2015年，目前尚未报告非法内幕交易案件。选择Alphabet的所有公开可用时间序列存量数据，并用于验证异常模式，以查看Alphabet股份有限公司的任何窗口是否与我们在实验中探索的任何异常模式相匹配。我们使用了交易量数据功能，因为我们发现交易量比任何其他可用功能都更具影响力。此外，我们将交易量数据转换为相对于窗口开始日期或序列的变化百分比，以更好地解释结果。例如，如果窗口的前三天（大小为50天）的交易量为100、120和115，则输入神经网络的实际数据为0。20，和。15（即相对于100的百分比变化，100是当前窗口第1天的交易量）。四、实验结果以下部分代表了响应图1所示的我们提出的体系结构的实验步骤和结果。A、诉讼分类和视觉分析第一个实验是使用自然语言处理（NLP）和基于决策树的方法对大量未结构化文本数据进行预处理。它的主要目的是帮助分析员理解数据。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-6-10 05:42:48

我们的第一次尝试是从文本中找出鉴别特征，以帮助区分案件档案中的内幕交易案件。有必要指出的是，最初我们将所有案件标记为在案件标题或正文中包含insider关键字的内幕案件。我们标记所有案例并生成特征向量（一个矩阵，其中列包含特征/标记，行包含按案例标记/特征频率）。之后，我们运行extra-Trees算法对特征进行排序。额外树（ET）算法，也称为极端随机树，是一种基于集成树的方法，与随机森林算法相比，随机性更进一步。这里，根据variableindex和spliting值，也以极其随机的方式选择spliting属性，以便随机化树，树的结构与学习样本无关【19】。此外，极端随机树算法在一些使用公共数据集的欺诈/异常检测研究中显示了积极的结果。我们将ET算法的biasedparameter设置为最大值，以便将内部案例正确分类为与非内部类相对应的类别，从而赋予其更高的优先级。我们从中发现的一些区别特征如下：内部人、内部人、朋友、同学、非公开、链接等。我们还运行TF IDF来查找案例中罕见的特征。此外，考虑到计算TF-IDF需要相当于数据集大小的内存量。我们使用Apache Spark工具，可以将工作分发到多台商品机器，并将结果收集回主节点，以返回累积的结果。该工具还允许我们创建一个数据帧（数据容器），如果数据大小超过RAM的容量，则使用磁盘来保存剩余的数据。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:51

因此，当处理时间不是主要问题时，我们可以使用一台商品机器（12GB RAM和一个核心i7处理器）进行此实验。但是，当TF-IDF的特征向量很大和/或处理速度更快时，借助Apache Spark，这很容易扩展到多个节点。TFIDF算法得出的几乎所有顶级结果都只返回人名作为最重要的特征，而不是重要的非法内幕交易关键字，这些关键字被额外树算法发现是最有用的特征。因此，我们只保留了ET算法识别的特征，丢弃了特征等级为零的所有其他特征（即，在分类过程中没有贡献，信息增益为零）。之后，我们制作了一个新的特征向量，其中包含比以前更小的过滤特征（即减少特征），并且可以在商品笔记本电脑上使用。我们使用决策树算法（decision treealgorithm）处理来自诉讼案例的数据（即简化的特征向量），并根据树的节点和边可视化重要的文本特征及其关系。这有助于分析员了解内幕案件、相关方等的重要性。开发的模型还可用于将新的未标记案件或其他来源的新闻文章分类为内幕与其他案件分类。我们希望在今后的工作中加入更多的数据源。图2和图3显示了部分图2。决策树顶部显示决策路径的部分。图3：。决策树中间显示决策路径的部分。对约简后的特征运行决策树算法生成的树。这些特征（1526个特征）是使用额外的树算法重新选择的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:54

通过检查树，我们可以看到，非公开、朋友、提议、试用等内部人及其变体（如内部人）等特征在决策中起着关键作用。这些特征可以在排名特征列表的上部找到。通过分析，我们还发现，在大多数情况下，信息是由朋友、同事和亲戚在社交或工作中泄露的。蓝色节点表示内部类，棕色节点表示非内部类，白色节点（可以是内部类或非内部类）表示特定示例的决策路径。简言之，决策树是一个过滤器（或漏斗），用于缩小欺诈分析师可能需要考虑的诉讼案件数量。此外，从这些已发现的案例中，可以生成非法内幕交易模式，以便对未来的案例进行分类。TF-IDF排名靠前的人物主要是人名：多诺万、阿贝、帕特尔、斯特菲斯和基思。然而，遗憾的是，我们没有关于这些人的更多信息。未来，我们希望调查其他数据源（如社交媒体）的合并情况，这将提供更多关于所发生情况的见解。B、预测公司层面的股票交易量为了预测股票交易量，我们使用了深度学习技术LSTM RNN，并借助后端的张量流和Keras作为包装。输入层由50个神经元组成，对应于窗口大小。换言之，每一个神经元每天都要摄入一定量的储备。然后将该输入层馈入一个50个神经元的LSTM层，该LSTM层与另一个100个神经元的LSTM层相连。最后一层LSTM连接到1个神经元的完全连接的正常层，具有线性化功能。此激活函数用于预测下一时间步。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:42:57

本实验的其他配置为：辍学=。2，损耗=mse，优化=rmsprop，历元=1，批量大小=512。rmspropoptimizer通过使用权重最近梯度的阿朗宁平均值（即，平均变化/更新作为收集的新数据点）来划分权重的学习率。回想一下，我们在三个不同的图4中应用了LSTM RNN。基于窗口的预测。方式。图4是基于窗口的预测方法的可视化，其中对于窗口w的预测，仅使用窗口w-1。x轴表示时间序列。这里我们有两个时间序列，每个由50天组成。Y轴表示从窗口开始日起股票交易量变化的百分比，这意味着任何窗口开始日的Y值为零。此外，图5是基于日期的预测的可视化，其中窗口中的所有前一天都被考虑用于对第二天进行预测，并且知识库在每一天之后都会根据真实的观察结果进行更新。图6是基于序列的预测的可视化，其中在进行预测时考虑了整个历史（所有窗口）。图5之后。基于日期的预测。图6：。基于整个历史的预测。股票交易量预测完成后，我们将预测数据（即LSTMRN的输出）转发给异常算法，以多维数组的形式进行异常检测。LSTM RNN的输出是我们应用LSTM RNN的三种不同方式的三个离散信号。C、异常检测和预测我们的最后一个实验是将我们提出的异常算法用于比较不同的离散信号。在此阶段，我们编写了一个Matlab脚本来实现该算法。对于离散信号的比较，我们使用归一化互相关（NCC）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:43:00

相关性表示信号的相似性，广泛用于信号比较的各种应用（如语音识别）。在此设置中，我们使用Matlabs互相关的规范化版本，而不是互相关的标准版本，因为我们需要知道同一尺度下不同时间序列（即不同的最小值和最大值）的信号之间的相似性（-1到1）。互相关公式为：Corrx，y=N-1Xn=0x[n]y[n]（1）在我们的实验中，x和y是时间序列数据的向量，由确定的连续天数（即窗口）的股票交易量组成，其中nre表示序列中的天数。因此，互相关（Corr）仅仅是两个信号或时间序列的相关元素的标量倍数之和，其中值越高，它们的相关性或相似性就越高。但相比之下，这些公司的交易量范围不同（例如，富国银行的最大交易量为254575800，而Evercore股份有限公司的最大交易量仅为4345100）。由于被比较的信号具有不同的能量水平或能力值，我们采用了非标准化版本的互相关（NCC），首先将其转换为相同的尺度，然后计算相关性。归一化互相关（NCC）公式如下：Corr normx，y=PN-1n=0x[n]y[n]p（PN-1n=0x[n]x[n]PN-1n=0y【n】y【n】）（2）这里的命名部分与之前完全相同（公式1），为了规范化的目的，使用两个参与信号的能量水平因子进行缩放。在Matlab中，它是一个内置功能，名为xcorr。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:43:03

要应用normalize选项，我们需要将参数coeff与信号的参数一起传递。图8告诉我们，图7中的两个时间序列在day lag-7（峰值位置）最相似，相关值为。由于相关性的最大值为1（当它们完全相同时），所以这个值为。667告诉我们，它们不是那么相似。如果我们想得到NCR值在图表中最高的实际日期（如图7），我们可以通过观察数据使用公式（3）：day=WindowsSize+（w* 窗口大小）+d（3）对于我们的实验，窗口大小=50。图的顶部提到了wand d的值（图7-12），p表示比较中的图案数。例如，使用方程式3计算图7中NCR最高的日期如下：日期=50+（2*50）+10图7。异常时间序列（基于窗口）。图8：。NCR（基于窗口）。=这是整个时间序列开始的第160天。从图9可以清楚地看到，predictedresult与实际结果几乎相似。图10是图9中上述信号之间的相关性，它告诉我们时间序列或信号在Day lag 1时几乎相似，相关值为。这里的day lag 1表示如果我们将实际信号右移1天，那么它将给我们一个相关值。我们得到了989。图11和图12是整个基于时间序列的预测的可视化和相关性。然而，虽然结果似乎很有希望，但我们只使用了一小部分窗口。未来，我们计划尝试更长时间的运行，其中窗口的数量随着数据点的增加而增加，这也将帮助我们更好地了解实际数据和预测数据的某些峰值之间的差距。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-10 05:43:06

因为用传统的优秀机器学习方法很难预测时间序列数据，如图9所示。异常时间序列（以天为基础）。图10：。NCR（按日计算）。（例如，SVM），这些初步实验表明，使用基于深度学习的技术（如LSTM RNN）可以实现潜在的良好结果，特别是在我们提出的框架内，我们可以控制我们想要使用多少信息来进行更好的预测（例如，对于基于窗口的预测，只使用前一个窗口来预测下一个窗口）。最后，图13和表1显示了我们在实验中应用的三种LSTM RNN变体的比较。首先，基于日的预测方法优于其他方法，因为它能够检测命中率最高的所有正常模式。基于日期的预测性能更好，因为它使用该窗口所有前几天的真实历史记录。但这种方法的局限性在于，它可以预测的提前天数只有一天。另一方面，基于窗口的预测方法在前一个窗口的基础上提前预测整个窗口（50天），因此其性能如图11所示。异常时间序列（基于整个历史）。图12：。NCR（基于整个历史）。比白天的预测要差一点。最后，整个基于历史的预测方法在使用整个历史数据集进行预测时执行worstas，这对于时间序列预测是不切实际的。此外，表一显示了发现异常模式的模式结果（按方法分组）。前两种模式（模式1和模式2）在整个时间序列中多次在所有公司中检测到。但实际的非法内幕交易案件只针对两个不同时间段的两家不同公司。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:43:10

因此，我们的方法确定了几个可疑的时间序列，其实际性质可能不仅是非法内幕交易，还可能包括其他潜在的金融欺诈情况。然而，也可能存在误报。减少误报的一种可能性是增加NCR相关阈值（目前设置为0.80），但这也会导致丢失一些异常模式。为了验证这些异常模式的指标有多好，我们还对谷歌的父母表IPATTERN-WISE-HITPattern%公司总点击量窗口日历史1 100%74 8 66 02 100%128 116 8 43 28.57%5 0 5 04 57.14%4 0 4 05 71.42%76 11 65 06 28.57%10 1 9 07 14.29%1 0 8 14.29%4 0 9 14.29%1 0 10 10 10 10 14.29%1 0 11 11 14.29%1 0 10图13。不同方法的性能。Alphabet股份有限公司成立于2015年，目前尚未报告任何非法内幕交易案件。我们发现相关系数为。94及以上没有可用的异常模式。当我们将以下值减至时。94，一些时间跨度被标记为与异常模式（非法内幕交易时间序列）相似，我们已从历史数据中确定为真实交易案例。正确预测非法内幕交易几乎就像正确预测股市价格一样困难。我们所能做的就是使用不同的科学方法进行有根据的猜测。如果时间序列被确定为可疑，那么它可能是合法或非法的结果。如果它是非法的，那么它可以是任何类型的欺诈活动。由于Wettraining模型使用了一些真正的非法内幕交易模式，因此我们模型的预测很有可能是实际的非法内幕交易。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:43:13

积极采用我们的方法采取措施，可以在非法内幕交易的官方新闻发布之前减轻市场的损害。毕竟，内幕人士可能知道常见的内幕交易模式，可能想要逃避检测。这是我们数据集的一个已知限制，未来我们将尝试集成更多的数据源（如社交媒体）来解决这个问题。五、结论在这项工作中，我们介绍了如何通过分析结构化和非结构化数据的异构来源，主动预测和检测法律内幕交易（在官方新闻发布之前）。我们还展示了一种有效的方法（即基于树的可视化），可以直观地向分析师表示非结构化数据，以便更好地理解和减少搜索空间。我们的目标是通过基于树的可视化识别的公司，也被美国证券交易委员会认定为突出的非法内幕交易案件。对于目标公司，从分析的上市和历史股票数据中，我们发现了非法的内幕交易模式（异常模式）。之后，我们使用DLSTM RNN使用三种方法预测股票交易量。之后，我们使用我们提出的算法来查看任何时间跨度（实际或预测）是否与发现的异常模式匹配。我们发现，我们的算法在检测受影响公司和非受影响公司的正常模式方面都有很好的成功率。这项研究的一个局限性是，我们无法将我们的结果与任何类似的先进工作进行比较，因为我们的工作是（据我们所知）从真实诉讼案件中发现特定非法内幕交易的第一项工作。这项研究的未来方向是与更多的公司一起尝试预测和检测部分，以查看其有效性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:43:16

此外，测试并比较这项工作的预测部分与其他一些算法（如GAM、ARIMA），这些算法可以很好地进行时间序列预测。感谢Jakob Aungiers使用LSTM RNN实现了基于Python的股价预测。在我们实验的第一部分，他的代码对我们帮助很大。我们将他的代码用作模板，调整了一些参数，并对其进行了修改以适应我们的实验。参考文献[1]K.Golmohmadi、O.R.Zaiane和D.D'iaz，《使用监督学习算法检测股市操纵》，数据科学与高级分析（DSAA），2014年。IEEE，2014，第435–441页。[2] 《2007年金融犯罪报告》，2010年5月。[在线]。可用：https://www.fbi.gov/stats-services/publications/fcs2007年报告【3】L.A.Jeng、A.Metrick和R.Zeckhauser，“估计内幕交易回报：绩效评估视角”，《经济学与统计评论》，第85卷，第2期，第453-4712003页。[4] K.Golmohammadi和O.R.Zaiane，“用于检测股市操纵的时间序列上下文自动检测”，摘自数据科学和高级分析（DSAA），2015年。36678 2015. IEEE，2015，第1-10页。[5] D.Diaz、B.Theodoulisis和P.Sampaio，“利用知识发现技术分析股票市场操纵，并将其应用于日内交易价格”，专家系统与应用，第38卷，第10期，第12 757–12 7711911页。[6] F.Allen和D.Gale，“股价操纵”，《金融研究评论》，第5卷，第3期，第503-5291992页。[7] 曹永明，李永明，S.A.科尔曼，A.贝拉特雷什，T.M.麦金尼蒂等，“价格操纵检测中具有异常状态的自适应隐马尔可夫模型。”IEEE Trans。神经网络。学习系统。，2015年第26卷第2期，第318-330页。[8] D.Cumming、S.Johan和D.Li，“交易所交易规则和股票市场流动性”，《金融经济学杂志》，第99卷，第。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-10 05:43:19

2011年第651–671页，第3页。[9] H.Jia，“长短期记忆网络对股价预测有效性的调查”，arXiv预印本XIV:1603.078932016。[10] Y.Song、L.Cao、X.Wu、G.Wei、W.Ye和W.Ding，“基于群体的市场操纵中捕获耦合关系的耦合行为分析”，第18届ACM SIGKDD国际知识发现和数据挖掘会议论文集。ACM，2012年，第976-984页。[11] M.M.Z.Ali和B.Theodoulis，“使用基于语言学的文本挖掘方法分析股市欺诈案例。”在WaSABi FEOSW@ESWC，2014年。[12] M.Mantere，“利用网络攻击操纵股市，通过社交媒体传播错误信息”，2013年社会计算国际会议。IEEE，2013，第950–954页。[13] K.R.埃亨，“信息网络：来自非法内幕交易提示的证据”，《金融经济学杂志》，第125卷，第1期，第26-47页，2017年。[14] “雅虎金融-商业金融、股票市场、报价、新闻”，https://finance。雅虎。com/，（2018年7月27日访问）。[15] “Sec.gov-诉讼解除”https://www.sec.gov/litigation/litreleases.shtml，（2018年7月27日访问）。[16] “Sec执法行动：内幕交易案件”https://www.sec.gov/spotlight/insidertrading/cases.shtml，（2018年7月27日访问）。[17] 《联邦调查局2010-2011年金融犯罪报告》https://www.fbi.gov/stats-services/publications/《金融犯罪报告》（Financial-crimes-report-2010-2011）（2018年7月27日查阅）。[18] P.Geurts、D.Ernst和L.Wehenkel，“极端随机树”，机器学习，第63卷，第1期，第3-42页，2006年。[19] S.R.Islam、W.Eberle和S.K.Ghafoor，“使用组合机器学习和启发式方法的信用违约挖掘”，2018年国际数据科学会议记录（ICDATA）。ACSE，2018年，第16-22页。[20] S.R。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝