FineBI数据建模及数据应用流程
数据库生成Cube文件,该cube文件会根据原始数据建立一定的数据模型。
访问设计报表时,预先加载需要使用的字段的位图索引到内存(使用半成品的位图,索引(在几十毫秒内)动态生成需要字段的位图索引)。
处理分组时,使用该位图索引,对数据进行处理,经过转换生成需要的结果,再使用多线程分组,多线程与内存映射文件生成汇总结果,轻松应对千万级以上的数据汇总。
并将结果建立一定的数据立方体模型,在下次取数,和部分取数(比如之前用了3个字段,后面又用了3个中的2个字段,则不需要重复计算)时避免重复计算。
处理列表则是根据计算好位图索引的值的取制定行数据,列表性能无上限,取多大的数据量都会很快。