转载：bi-chen.spaces.live.com
数据挖掘扫盲
1数据挖掘的产生：需求是技术产生之母 工业上 收集存储了海量数据：web数据，电子商务数据，商店购买交易数据，银行卡、信用卡交易数据等等 计算机成本越来越低，性能越来越好 市场竞争压力大，需要提供更加优质、定制化的服务 科学上 数据的收集和存储海量增长：卫星上的遥感数据，天文望远镜观测数据，基因表达数据，科学模拟实验产生的大量数据 传统的技术不适应这些海量数据 数据挖掘帮助科学家：分类和划分数据，假设检验 这些海量数据中隐藏着重要的信息，需要花费数周的时间来发现潜在的信息。很多时候，大多数数据都没有得到很好的分析处理。 [url=https://pfztpq.bay.livefilestore.com/y1mF2uZ2nTwjyonuh3ECXgZZzMMxk4-VaJyDv8Qd4HHCYeupcsjSoOvgonIHaCVZvzO-9FteYASXhlTALClQ3eJkp6cqgI3rL0Htw2eqbZjIk7ASZo_eC8bSvICU1kUYxGfWKjoFOuWpDV1JxVYnSNNwA/image[2]%203548E0F0.png?download&psid=1][/url] 2什么是数据挖掘？ 数据挖掘有很多定义，这里介绍两种常见的. 从海量数据中抽取非平凡的、隐藏的、事先未知的和有用的信息 从海量数据中自动或者半自动的探索和发现有用的模式 [url=https://pfztpq.bay.livefilestore.com/y1mZcfYB5XvbvrwuRN6QSnIqfDUkciIMwupcCoaid8Y5pAWraH-LGKlpHjvYBFyqd6iBTam4TIKzxfjnyA4gD3DyhGPeD_tJFpqjapziFCzpVDCv3ngwQujZjDjRHqYO5GDbWnqJbh0vf1dK7rqNv0Suw/image[5]%201FAA9454.png?download&psid=1][img=244,156]https://pfztpq.bay.livefilestore.com/y1mZz9UzN41Qw_twmJYvL50eK-hsfJeEPA05CRCD1yYJ_TLvEMkNQRfJYRGRST8CMb_eJ9dmeP0-8LbAkEiFM_92BJbAAf4LZJK3Q_KM_k7dkcmkyA7eAJAXBjOfUdrKZYzpDWHfH7oJz-kJXA9xUqRFw/image_thumb[1]%204F08DD53.png?download&psid=1[/img][/url] 3数据挖掘应用 银行业：贷款，信用卡：根据客户资料预测好顾客 客户关系管理：识别客户流失 目标营销：识别最有可能的响应者 欺诈检测：电信，金融欺诈检测 制造业：自动调整流程参数设置 医药：分析病人的历史疾病数据，寻找它们之间的关系 微生物学：发明新的药物 科学数据分析：识别新的星系 …… 4数据挖掘是一门交叉学科 数据挖掘是基于机器学习、统计学、人工智能、数据库、信息可视化和计算机技术的一门交叉学科。 [url=https://pfztpq.bay.livefilestore.com/y1mWSiYbLBAaJdONWUUdhxu3ifbBs2gKxNqhJ-pMeBl8ok8yTd_G8cgDSgOG_13Sf6_m4UTioEbOAHfKhJGvS1bLjLbuDFAlLGvjGYuSB0iplLZ1Dd9LmS6qk1Az4B2x_5xdGYMaHUObbhSzfQLxBOXOw/image[8]%2058054307.png?download&psid=1][img=244,244]https://pfztpq.bay.livefilestore.com/y1mDsLgpQ-7Jf4BATC_YUkSpC0g_M0YlXlTckzVM-MKQTcXWQ6ZKk9YAIfJ-lMCZ6Yxf2qWAmN8I9NYyRQnzzUHGkePz8mGBAjtWsNaYfZt3YXEcwbOogpkcYvIcXhZd5CQildczF_DNorbnQ7w1LIeKQ/image_thumb[2]%204F2514EE.png?download&psid=1[/img][/url] 5数据挖掘任务 预测 使用已知的某些变量预测其他未知的变量 描述 寻找容易解释的模式来描述数据的规律 分类 聚类 关联规则发现 序列模式发现 回归 异常检测 6数据挖掘面临的挑战 可伸缩性 高维性 复杂和异构数据 数据质量 隐私保护 流数据 ……