管理大规模处理财务数据的复杂性

2022-6-25 07:18:51

管理大规模处理财务数据的复杂性-经验报告？Sebastian Frischbier、Mario Paic、Alexander Echler和Christian Rothvwd：Vereinigte Wirtschaftsdienste GmbH，法兰克福a.M.，德国文摘。金融市场是高度数据驱动和监管的。参与者依赖于有关重大事件的通知和背景信息，以满足他们在及时性、准确性和完整性方面的要求。作为欧洲领先的金融数据和监管解决方案提供商之一，大众汽车每天平均处理来自500多个数据源的180亿条通知，处理3000万个符号。我们的大型分布式系统每天处理100多万条通知/秒的峰值速率。在本文中，我们就我们处理的数据、操作的系统以及我们必须遵守的监管约束所面临的不同类型的复杂性提供了实际见解。我们描述了我们处理的数据的数量、种类、速度和准确性，我们操作的基础设施，以及我们应用的体系结构。Weill举例说明了交易产生的负荷模式，以及市场对脱欧投票和类似事件的关注如何给我们的系统带来压力。1简介决定金融市场投资的方法有很多：直觉、心理学、利用社交媒体、遵循分析人士和影响者的建议，或对趋势和相关性进行定量分析。虽然前一种方法听起来更有趣，因为它们带有一定的谜团，但金融数据的定量分析是市场参与者常用的工具。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

mingdashike22

2022-6-25 07:18:54

因此，获得可靠、准确、新鲜和完整的金融市场信息对参与者至关重要。一般公众通常更熟悉通过公共网站、teletext、电视或日报财务页面上的日终汇总提供的延迟市场数据。然而，对于专业用户来说，可以使用更加多样化的数据驱动解决方案来支持他们的决策。这些解决方案提供了具有高信息密度的有针对性的见解。例如，投资组合管理系统可以根据实时数据不断检查具有单个投资策略的投资组合，以提供重新部署资本的建议（并在批准后直接管理后续订单）或市场数据终端，使专家能够将实时市场数据洞察与历史和参考数据结合起来进行深入分析。？预印提交的版本。修订版将由Springer在第10届复杂系统设计与管理会议（CSD&M\'19）上发布。2 Frischbier等人。推动这些解决方案的原始数据是由各种来源（如交易所、金融机构、资本管理和投资公司以及评级机构）提供的连续结构化和非结构化数据流。财务数据供应商和解决方案提供商（如vwd）在以不同的信息质量（QoI）级别向订阅者提供最终的精简信息之前，会收集、清除和丰富这些数据。大众汽车是欧洲领先的数据驱动金融解决方案提供商之一。我们直接连接到大多数源，以便自己处理数据。我们成立于1949年，是一家通讯社，我们的产品及其供应链如今完全数字化。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:18:57

我们提供各种解决方案，从市场数据密集型产品到以云计算软件即服务（SaaS）形式提供的咨询和监管解决方案，帮助我们的客户在遵守法规的同时专注于其核心业务。我们的客户包括私人和公共金融机构、投资和投资组合经理、印刷和电视新闻媒体以及公众。作为一个集团，大众汽车在六个国家的14个地点为其客户提供服务。虽然我们的一些子公司直接向最终用户提供解决方案，但我们的大多数客户都是金融市场的中间人。3000万用户每天直接或间接依赖我们的信息来形成对金融市场的看法。在本文中，我们对金融数据大规模处理的复杂性给出了切实可行的见解，以适应高度监管和竞争的行业。我们举例说明了我们处理的数据的数量、种类、速度和准确性、我们运营的历史上不断增长的异构IT应用程序环境以及我们作为金融解决方案提供商必须遵守的主要监管约束所带来的十大挑战。特别是，我们以英国脱欧投票和特朗普对克林顿（2016）的最终投票为例，展示了规则模式和市场对单一关键事件的关注如何反映金融数据流的需求和供给。以秒为单位。2我们通过描述财务数据的多样性（第2.1节）和大众汽车公司处理的数据流（第2.2节）、IT合规水平上的重大挑战（第2.3节）和我们运营的IT系统的异构性（第2.4节），确定了挑战C1-C10。以秒为单位。3我们概述了vwd如何解决由此产生的复杂性：我们描述了我们运营的基础设施和我们应用的架构模式（第。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:00

3.1），以及我们为软件开发、创新管理和合规性所采取的组织措施（第3.2节）。我们总结了我们在Sec的贡献。4.2大规模处理金融数据的复杂性作为金融业的国际解决方案提供商，我们确实必须面对几个挑战——主要来自我们处理的金融数据源、我们必须遵守的监管约束以及我们运营的历史上不断增长的异构IT系统。因此，我们首先简要介绍与本文范围相关的财务数据方面。预印本：处理规模为32.1的财务数据的复杂性背景：财务数据反馈总括术语财务数据表示各种非结构化和结构化数据，关于金融工具及其发行人的信息密度差异很大。金融工具（简称：工具）的例子有证券/股票、基金、期货、货币或指数。请注意，大多数但并非所有工具都通过交易所或其他平台进行交易——以柜台（OTC）证券为例。非结构化和半结构化的财务数据范围从一般新闻和公司信息到上市公司（如合并、收购）的特定绩效相关决策通知，这些信息必须立即以特别消息的形式发布。结构化财务数据作为不同级别的市场数据提供，并量化某一工具的价值和前景。Inits最纯粹、最细粒度的表格市场（tick）数据承载特定交易所或交易平台上特定工具实例（也称为符号）在给定时间点的当前交易价值信息。用于表示此值的最常见属性是bid、ask、bid size、ask size、timestamp。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:03

市场数据还可以包含具有高信息密度的聚合（如加权平均数）或关键绩效指标（KPI），这些信息基于使用历史数据和参考数据（元数据）的复杂推理，量化给定环境下（如利差、beta）工具的风险/绩效。处理财务数据时，最重要的复杂性驱动因素是其信息的价值、信息的供应方式以及信息的表示方式。信息的质量和价值。市场数据的QoI可以通过粒度、正确性、完整性、及时性、订单和可用性等客观指标进行量化。对于数据提供商，QoI属性是成本驱动因素，其成本与所需的QoI水平成比例关联。在consumerside上，具有特定QoI属性的市场数据的信息价值（VoI）取决于每个消费者打算使用这些信息的目的【6】。因此，当数据提供者为大量消费者提供数据时，它具有高度的主观性，并且会造成复杂性。资源调配。市场数据以基于订阅的方式作为流或批量加载提供。典型的数据来源是各种交易所，也包括国家银行等金融机构。数据作为feed提供，其中feed是特定数据源和/或细分市场的事件类型的连续流。Afeed可以由一个交易所/发行人提供，也可以由一个中间财务数据供应商提供，该供应商将来自多个提供商的提要捆绑在一起。如果提供的数据在时间线或粒度上没有任何人为退化，则提要表示为完整。相比之下，如果某个因素延迟了通知的交付，而只有某些通知是根据隐藏式提要中的优先级转发的，则提要会延迟。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

何人来此

2022-6-25 07:19:06

因此，聚合提要以较低的粒度提供数据，其中最突出的例子是日内或日终聚合。此处的完整性指每个通知中可用的房地产数量，但也指流中通知的完整性。4 Frischbier等人。订阅是基于数据源（如feed、exchange）和质量维度（如粒度（如刻度、平均）、及时性（如实时、延迟、日内、日终）和完整性（如完全、限制）进行的。大型饲料通常被分成不同的渠道，提供不同的市场细分；始终假定顺序。提供财务数据馈送的主要方式仍然是通过使用多播的直接专线，我们注意到，data Source7现在增加了多播的使用。一些提要也可以通过公共互联网获得。在大多数情况下，它们必须沿着交易所、细分市场或仪器组分成不同的单一馈送，以补偿公共互联网连接的较低带宽和较高延迟。代表性。交易所、市场、交易平台和交易报告实体使用inISO10383标准化的全球市场识别码（MIC）进行识别。金融工具与字母数字标识符相关联。对于股票/证券，这可以是一个与交易所相关的缩写，称为（股票代码）符号，也可以是一个国际标识符，如ISO6166中标准化的国际证券识别号（ISIN）。然而，不同的数据源可能会使用这些标识符的变化或由于合并导致的标识符转换时间，以便根据上下文使用不同的符号表示相同的仪器实例。例如，AppleInc的库存。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:09

在纳斯达克被称为AAPL，在法兰克福被称为APC，与ISIN US0378331005关联，是唯一的标识符；有关该股票的更多场外数据可通过AAPL获得。OQ（路透社）或AAPL：美国（彭博社）。因此，必须在运行时映射和规范化数据。2.2挑战在大众汽车金融处理财务数据为了简单起见，我们按照大数据的四个维度（体积、多样性、速度和准确性）组织了对源自大众汽车金融处理的财务数据的具体挑战（C1-C4）的描述。（C1）体积：总体积增加，但全天变化。多年来，我们的ticker工厂处理的原饲料数据总量显著增加。特别是在2003年至2008年期间，我们观察到指数从递增到递减的增长：平均每日通知数（不包括新闻和特别消息等非结构化数据）从1.67亿（2003年）增加到9.37亿（2006年），2008年增加到8.33亿（83亿）。一种解释是，自2004年以来，交易所的期货交易减少，电子交易占了上风。如今，我们平均每天处理约180亿条通知，每秒处理70万条（峰值超过100万条事件/秒）。所有通知和参考数据都存储为历史价格，因此我们可以提供过去几十年的数据。https://www.nasdaq.com/symbol/aaplhttp://en.boerse-法兰克福。de/库存/苹果-sharehttps://www.reuters.com/finance/stocks/overview/AAPL.OQhttps://www.bloomberg.com/quote/AAPL:USPreprint:在全球和地方层面上，以5Tra ffic规模处理财务数据的复杂性在一整天中都存在巨大差异。就全球层面而言，交易量因时区而异，但在整个本地交易日和每家交易所也有所不同。在图中。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:12

1我们显示了伦敦交易所（英国，蓝色）、Syndey交易所（澳大利亚，橙色）、东京交易所（JPN，紫色）、纳斯达克交易所（美国，绿色）和B¨orseFrankfurt交易所（德国，黑色）在两天内收到的选定订阅的通知率。数据点在10分钟的窗口内平均，以平滑绘图并突出显示循环模式：某个交易所交易生成的数据类似于书包，在交易所开放时间前后活动最多；当地午餐时间附近活动较少。请注意东京明确的1小时午休时间（紫色）。我们选择这些交易所是因为它们在地理区域上具有相当的代表性，在feed中具有可比的数量级。请注意，这些数字仅代表实际交易所的有限细分市场，MeasuredFeed可能提供不同的产品和工具类型。德国法兰克福时间（GMT+1）每秒收到的通知（平均10分钟）0 1000 2000 3000 400000:00 09:00 15:30 22:00 09:00 15:30 22:00 NASDAQFRANKFURTSYDneytokyolondonfig。1、从不同交易所收到的选定负荷。处理能力必须考虑到在24小时内发生巨大变化的综合峰值速率。除了预期的峰值之外，已宣布和未宣布的单一事件是一个单独的挑战。在脱欧投票（2016年6月23日）前后，美国消费和发布的金融数据总量增长了50%。虽然我们的系统确实可以扩展以应对这种开销，但我们订阅的一些系统却不能。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

大多数88

2022-6-25 07:19:15

在2016年美国总统选举特朗普vs.克林顿（2016年11月8日）的最终投票中，我们连续几天处理了更高的数量。6 Frischbier等人（C2）多样性：来源、格式、协议、类型、属性、通知大小。我们收到各种形式的通知，包括约120家证券交易所、35家期货和大宗商品交易所、180家OTC出资人和500多家资本管理和投资公司。数据以自定义二进制或XML格式接收和提供，通过REST（JSON）或各种文件格式的批量上传。vwd的核心处理系统处理有关3000万个符号和300万个ISIN的市场数据，以及参考数据和非结构化数据以及新闻和特别消息。在一个典型的日子里，收到的所有通知中有98%是滴答声，其次是参考数据（0.16%）和新闻（0.001%）。这些通知的大小（w/onews）在20字节到250字节之间变化，平均约为100字节。平均通知量也随时间而变化：随着开放通知的到来，它们在上午会变大，通常会重置每日统计字段，如日高/日低或总数量/营业额。晚上报价较少，更常见的通知类型较多，如统计或静态数据。（C3）速度：数据馈送和批量数据的及时性问题。金融数据的速度主要是关于feed的低延迟处理和批量数据的timeboxedbatch处理。我们为传入提要的低延迟处理定义的内部基准是，在我们的股票报价机工厂内，每个通知的端到端延迟为40毫秒。除了处理提要和导出复杂指标外，我们还丰富了客户提供的大量数据，如内部评级、投资组合或场景数据，这些数据在我们运行复杂模拟后反馈到他们的系统中。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

可人4

2022-6-25 07:19:18

由于这些计算必须在给定的时间框架内完成，因此会产生具有非常弹性的资源需求的批处理过程。（C4）准确性：所提供信息的质量和不确定性。因此，对于财务数据的准确性，用户的QoI及其价值（VoI）直接转化为成本。对于我们的客户来说，VoI是他们订阅的数据的客观数据质量属性和他们自己的主观偏好的函数；这些基于订阅者打算使用其订阅数据的目的。例如，使用终端解决方案的客户通常看重及时性而非完整性，也就是说，如果终端上显示的信息反映了大多数最新事件，他们更喜欢将单个通知完全删除。相反，将相同类型的通知输入其分析系统进行深入分析的客户看重完整性而非及时性，即他们更喜欢延迟的完整事件流，而不是及时但不完整的事件流。总结挑战C1–C4。财务数据的特点对我们的处理系统构成了挑战：我们必须以尽可能少的延迟和中断（C3）高效地丰富和推动大量数据（C2）给我们的客户，因为其价值是基于个人对时间和完整性（C4）的期望。每天大量的数据及其巨大的变化（C1）是一个放大因素，因为我们的系统必须弹性缩放以处理达到平均负载数个数量级的峰值速率。预印本：处理规模为72.3的金融数据的复杂性合规性金融市场的挑战是一个高度监管的领域。随后，我们必须应对基于欧洲和国家立法、特定领域法规和数据处理商业许可协议的广泛限制。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:21

为了进行说明，我们使用了对软件开发生命周期、应用程序环境及其操作有重大影响的示例。（C5）立法：最重要的是，《一般数据保护条例》（GDPR）强调了数据位置、最低使用和个人数据保护的重要性，同时扩大了后者的定义范围。这影响了所有活跃在欧洲的公司的业务流程、数据处理程序和所使用的软件系统。除了此类一般立法外，我们还必须了解仅适用于金融部门的严格国家法律。例如，我们所在国家的瑞士银行（Bankengesetz）或德国银行（KWG）。他们都强调，外包组织仍然对他们外包给我们这样的服务提供商的服务负全部责任。（C6）法规：我们提供的一些服务是与受监管机构进一步要求的组织签订的外包协议。OnEU层面，欧洲银行管理局（EBA）为金融机构和金融产品制定了指导方针。在这种情况下，值得我们注意的是外包安排的重新定义指南[3]。在国家层面上，德国联邦金融监管局（BaFin）、卢森堡部门金融监管委员会（CSSF）或瑞士金融市场监管局（FINMA）制定了额外的要求目录，例如，BaFin的《银行风险管理最低要求》【1】或CSSF关于依赖云计算基础设施的IT外包的指导方针【2】。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

何人来此

2022-6-25 07:19:24

所有这些法规都侧重于外包服务及其运营的透明度、问责制和可靠性。这导致了有关报告、变更与事故管理、业务连续性管理（BCM）和IT安全的额外要求：特定事件和合规性报告需要进一步的文档和流程；身份和访问管理（IAM）基于运营和开发之间的最小特权和职责分离（SoD）原则，必须在物理和数字层面加强，并定期报告。（C7）许可证：数据是我们行业的原材料。我们需要与各种数据源以及客户就我们处理的内容维护详细的个人许可协议。这些合同管理服务级别和惩罚，根据这些服务级别和惩罚，我们可以向我们提供具有一定质量的数据，并可以重新分发这些数据，我们的客户也可以使用这些数据。这要求我们实施详细的运行时监控、计量，并向最终用户详细报告数据供应和消耗情况，因为这对于我们数字供应链的成本管理至关重要。8 Frischbier等人总结了挑战C5–C7。从法规遵从性的角度来看，法规（C6）和许可证管理（C7）对透明度和可用性的严格要求与强制执行大量数据使用和机密性的一般立法（C5）产生了紧张关系。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:27

这为我们的软件开发生命周期（SDL）和基础设施与运营组织增加了复杂性，因为我们需要遵守非功能性需求，如数据位置。2.4 IT治理方面的挑战IT治理方面的主要挑战来自我们系统环境的异构性、需要结合基于拉和推的架构模式以及处理非常灵活的工作负载所需的可扩展性。（C8）异质性：大众汽车一直在有机增长（新数字产品和吸引新客户）和无组织增长（并购、并购）。在技术层面上，这种演变增加了IT系统的异构性，随着时间的推移，这些系统将进行大规模管理和运营，尤其是在我们的整个供应链和产品组合都是数字化的情况下。总的来说，并购导致的内在异质性和复杂性的增加更为明显，但同时，有机增长的新数字产品往往会引入新的技术堆栈，而现有产品则依赖于需要维护的传统技术。如果没有积极的治理，多样性的增加会导致技术债务沿着完整的技术堆栈和惯性。例如，在某个时间点，我们的运营团队必须维护14个不同的Linux发行版和版本，因为收购的遗留应用程序依赖于特定的配置，以支持80多个遗留产品系列，并以各种编程语言实现自定义版本。（C9）推拉：我们需要向客户提供数据流，提醒他们某些事件，并从处理后的数据中获得更多的见解。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:30

虽然这需要基于推的体系结构方法[7]，但我们的许多解决方案都需要基于拉的体系结构方法，因为它们依赖于需要根据请求从数据源中提取的静态数据或由客户操作触发的软件解决方案。（C10）可伸缩性、弹性和弹性：我们处理的工作负载在容量、多样性、速度和准确性方面都有很大差异。因此，我们必须在我们的基础设施中提供必要的容量，并使我们的应用程序景观能够根据任何工作负载进行弹性扩展。监管限制也要求我们的系统在多个位置运行以实现灾难恢复能力，这需要分布式状态管理和额外的数据同步。总结挑战C8–C10。除了源于历史上不断增长的系统异构环境（C8）的一般IT治理挑战外，我们处理的数据和必须遵守的监管约束要求我们在架构（C9）中融合基于拉和推的方法，同时操作可大规模扩展的分布式IT系统环境（C10）。预印本：处理规模财务数据的复杂性93大众如何处理规模财务数据大众在技术和组织层面解决规模财务数据处理的复杂性。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:33

在本节中，我们概述了我们应用于生产系统的架构模式、我们在欧洲大陆运营的物理基础设施，以及我们为在遵守法规的同时实现快速开发而采取的主要组织措施。3.1技术：模块化平台和混合基础设施在技术层面上，我们直接应对数据管理方面的挑战C1-C4，合规方面的挑战C5和C6，和C8–C10关于IT治理：我们运营广泛的地理分布基础设施，并将模块化平台方法应用于我们的生产系统，将基于事件的系统（EBS）和面向服务的体系结构（SOA）这两种互补的范例结合到事件驱动的体系结构（EDA）中。技术大局。此方法的三个主要组成部分如图2所示：面向客户的大众云的目标架构（左，上）侧重于通过使用基于Docker Swarmand Kubernetes的开放和商业平台、容器化和微服务来解耦系统和基础设施。在数据源附近，我们的Ticker工厂内部开发的用于饲料加工的分布式基于事件的系统（左，下）与我们的物理基础设施垂直集成（右）：当我们控制完整的技术堆栈时，我们可以定制网络协议，并将软件与硬件对齐，以获得最大的处理性能。暗光纤连接公共云客户数据中心和系统vwd数据中心发布/子网络代理vwd股票报价器工厂FHFHFHFH信息流丰富存储原始数据源LEGENDVWD云许可监控DC1 DC2…DBsMessage总线许可源…位置BackendContainers微服务用户界面vwd云（SOA）vwd股票报价器工厂（distrib.EBS）地理分布式基础设施事件驱动架构P/SBrokersFHPublic CloudFHFeed Handlervwd数据中心图。2.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:36

大画面vwd事件驱动架构（左），容器化面向服务的vwd云（顶部）和垂直集成的分布式报价器工厂（底部）；地理分布式物理基础设施摘录（右）。10 Frischbier等人，《反应式架构》。在体系结构层面上，我们将基于推的DB和基于拉的SOA结合在一起，原因有三：第一，直接解决金融数据流基于推的特性带来的挑战1–C4以及与许可相关的挑战（C7）。第二，通过使用模块化的面向服务的体系结构来解决C8和C9的IT治理挑战，该体系结构可以减少异构性，并允许集成基于拉的遗留应用程序。第三，利用由此产生的EDA的可扩展性和分布式特性来解决C10问题，并根据法规（C6）实施灾难恢复策略，这些法规要求地理分布设置，而不会降低我们的服务质量。SOA：vwd云（C8、C9、C10）。如图2左上角所示，面向客户的生产系统是通过编排集装箱化微服务来实现的。从开发的角度来看，这种方法通过将业务功能封装到仅通过同质接口公开且可通过加密协议访问的服务中，极大地减少了系统环境的异构性。通过REST服务asfacade（例如，Oracle的REST数据服务），将遗留应用程序的功能公开给我们的微服务领域，从而实现集成；可以优化或替换此外观背后的遗留系统，以减少操作异构性，而不会影响依赖的服务[5]。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:39

通过这种平台方法，我们可以透明地结合基于拉和推的系统，无缝地重用和重组产品的现有功能，以利用协同效应，并通过整合和标准化系统来降低基础架构级别的复杂性。EBS：大众股票报价器工厂（C1–C4、C6、C10）。如红色分解图（图2，中间）所示，信息从我们的股票报价器工厂（底部）流向我们的大众汽车云上托管的数据驱动解决方案（顶部）；每个逻辑组件都使用多层体系结构实现，并分布在各个位置（底部，左侧）。我们的centralprocessing系统的ticker工厂中的提要处理程序（FH）实例订阅了500多个数据源，以接收、检查、清除和规范传入的提要。每个FH都经过定制，以匹配其提要的特定协议、语法和语义，并随其工作负载水平扩展。如果标准属性在原始通知中不可用，那么频繁的丰富和规范化就是添加标准属性，例如总容量、开放/关闭或日高/日低。规范化数据与客户或贡献者提供的其他参考数据一起输入到我们的事件存储（EStore）层。事件存储实现结合了内存和关系数据库。在浓缩组件中检测到复杂事件，并通过将实时数据与数据库中的历史和上下文数据进行融合，得出KPI。分布式PubSub代理网络（C1、C3、C4、C6、C10）。我们通过分布的基于内容的发布/订阅代理网络（图2中的blueoverlay网络）推送规范化数据，该网络部署在各个位置和公司间订单，即一些代理在客户的位置上运行。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:42

通过这种分散的网络，我们可以解决灾难恢复问题，同时还可以通过应用程序级多播和基于对我们在数据世界中处理的3000万个符号中的任何一个的细粒度订阅进行过滤，将流量降至最低。WePreprint：大规模处理财务数据的复杂性11通过限制或延迟只有权获得不太精细或不太及时数据的订阅者的通知流，部分降低了QoI。许可（C7）。我们的中央许可系统负责管理客户从某些feed接收数据的权限、计量消耗量并随后向数据源和权限报告。混合式多站点基础架构。我们的系统运行在一个混合基础设施上，大部分地区由我们拥有和运营千兆连接[4]。地理分布式物理基础设施（C6、C10）。出于监管和性能方面的原因，我们在不同的位置运行地理分布的物理基础设施，如图2右侧所示：专用数据中心、配置站点、托管环境和公共云平台。整体设置旨在实现灾难恢复能力，即一个不可用的站点可以由另一个站点进行补偿。虽然我们的主要生产基地位于欧洲大陆，但根据当地法规，我们也在香港或伦敦等当地交易所现场配备了自己的硬件，以实现连接。千兆连接（C1、C3、C4、C10）。我们使用冗余的专用暗光纤千兆线路连接我们的位置。这也将我们与大多数贡献者和客户联系在一起，因为这是交换金融数据流的主要模式，因为它们的容量和延迟要求很高；同样，将我们的位置连接到全球公共云提供商。这样，我们可以在网络中透明地使用这些资源。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:45

目前，一个专用的公共云连接具有10 Gbit带宽，但可以对连接进行集群。资源池（C1、C3、C4、C6、C8、C10）。在我们的站点中，我们操作每个站点数百个物理和虚拟服务器的级联层。虽然我们在很大程度上依赖虚拟化来优化资源利用率、安全性、弹性和可扩展性，但我们根据要处理的工作负载运行不同的资源池：用于处理数据馈送和Legacy单片应用程序的专用物理服务器，用于向客户提供托管终端的虚拟桌面环境，集装箱系统专用云平台（vwdCloud）和公共云环境，利用资源弹性进行批处理和突发。在内部，我们使用千兆线路和软件定义网络（SDN）：10 Gbit用于交通密集型平台，1 Gbit用于利用率较低的环境。关于存储，我们混合使用了集中式和分散式超聚合存储解决方案（如CEPH）。从产品和法规遵从性的角度来看，长期存储对我们来说是一个至关重要的话题，因为出于监管原因，我们必须将某些数据保存长达十年。因此，我们结合了连续同步的站点和非站点存储池。3.2组织：平衡敏捷性与监管责任。组织结构和措施为技术设计决策和工具设定了框架，以充分发挥其潜力，反之亦然。因此，我们将双速方法应用于生产系统，以解决C6、C8和C10问题，方法是平衡可靠改进遗留系统（慢轨）的需要与fast12 Frischbier等人的创新，以使用敏捷方法开发新产品，如SCRUM（快轨）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2022-6-25 07:19:48

作为这种方法的关键推动者，我们彻底重组了整个组织：我们减少了层次结构，打破了基于技术和位置的筒仓，而是创建了跨位置的DevOps团队。公司范围的IT政策框架描述了我们如何使我们的流程和程序与信息安全、服务设计、开源许可证管理和运营（C5、C6）方面的法律法规要求保持一致。自动将这些指导原则直接嵌入到流程的实现和执行中，而不需要额外的过程描述。特别是作为代码的基础架构（IaC）和CI/CD管道保证了所需的发布责任和部署的可重复性。4结论在本文中，我们概述了大规模处理财务数据所带来的挑战。我们确定了源于数据管理、IT治理和（IT）合规性的十大关键挑战C1–C10。特别是，我们在大数据环境下使用的数据量、种类、速度和准确性方面对金融数据流的处理进行了详细的介绍。我们概述了vwd如何在技术和组织层面解决这些挑战：使用地理分布的物理基础设施来运行一个事件驱动的平台，该平台结合SOA和EBS范例来无缝集成遗留系统，同时允许使用敏捷方法快速开发新产品。参考文献1。BaFin：银行风险管理的最低要求。https://www.bafin.de/dok/11681598（2018），【在线；访问2019-05-09】2。CSSF：循环CSSF 17/654。https://www.cssf.lu/fileadmin/files/Lois_reglements/Circulaires/Hors_blanchiment_terrorisme/cssf17_654eng_upd_19_714.pdf（2017），[在线；访问2019-05-09]3。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝