数据建模有新招

在过去的三十年，ERP，CRM和Analytical等分析系统已经发展。但是这些系统储存数据的方式并没有变化。事实上，在这三十年，ERP，CRM和分析系统存储数据的方式没有任何改变。

一般来说，现代的ERP和CRM系统是基于一个已经用了30多年的数据模型，这个模型叫作OLTP，代表的是On Line转换程序。

一般来说，现代Analytical系统是基于一个已经用了30多年的数据模型，叫OLAP，代表的是On Line分析程序。

ERP和CRM系统所依赖的业务流程，几乎不考虑数据分析是如何进行的。正因为如此，这些系统不与现代分析系统兼容。

分析系统采取从ERP和CRM系统提取数据，并将数据转换成不同的格式（OLAP）进行处理。然而，已被转换成OLAP格式的数据与OLTP不兼容。

因此，眼下真正的问题是：

•ERP和CRM系统不支持分析处理或报告。

•分析处理需要数据被转换成一种不同的格式（或数据模型），这种格式的数据与ERP和CRM（OLTP）为基础的系统不兼容。

除了ERP，CRM和Analytical系统;有必要分析非结构化数据。非结构化数据是指缺乏组织的数据，它们通常有几个不同的来源。这些数据需要被转换成与OLTP和OLAP不同的格式，被称为大数据。

你也许会问，为什么数据需要被转换成不同的格式？我们已被告知，是基于系统的需要。如果是事务处理的系统，则需要数据被转换成OTLP格式。如果你需要Analytical的支持，那么它需要转换成OLAP数据。如果你需要分析的数据是非结构化的，那么就需要被转换成大数据格式。

    我个人形容这为“数据文化”。我用 “文化”一词，因为那些设计这些系统的人仅仅在自己的专业范围内开展工作。你没看到OLTP数据建模师操作OLAP数据建模系统，反之亦然。从事大数据领域的人也是如此。

    这样做的原因和影响就是我们现在生活的数据文化。比如数据需要有自己的来源。创建这些源系统模型数据的人就创造了OLTP格式。而做数据分析的人，可能就只专注于OLTP格式了。

   而下一个希望能利用这些数据的人必需接受上面已经形成的数据格式，然后将它们转换成另外一种格式满足自己的需求。随着时间的推移，人们慢慢习惯和接受了这个过程，数据文化由此形成。

    但是对于一个数据建模师而言，他需要的是一种方法来满足上面三种格式的数据的需求。因此数据建模师必须了解所有三种数据模型的需求：OLTP，OLAP和大数据。

    在8年前，蜘蛛架构数据模型的建立提供一个更简单的方法，利用OLTP数据格式的优势，将OLTP数据格式转化为OLAP格式数据。在过去的八年中，这个模型已经经过了实践的检验：数据处理速度更快捷，占用储存空间较小，处理起来方便灵活。它不仅仅支持OLAP格式的文件，还支持OLTP和大数据。