现在我外部网站和数据提供商那里获得美国资本市场（现在只有三大交易市场的股票和基金）原始数据建立自己的金融数据库，可是因为第一次做金融数据我不知道如何做数据校验，整个系统的异常数据检测和清洗补充实现自动化智能化的要求。现在我用商业智能工具Pentaho来做原始数据处理和计算的控制，请问大家是如何做数据验证的？大家交流下，可以谈谈业务的验证规则和技术实现这些，都不限定方向，因为现在IBM的解决方案太贵了，我在把一个开源的智能工具做二次修改弄个咱中国自己的智能解决方案，加上智能数据验证和补充这块