数据挖掘的前身-从数据库中发现知识(KDD)这一词,第一次是在1989年8月在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上出现的。自从1993年以后,美国计算机协会(ACM)每年都会举行专门的会议,来研究探讨数据挖掘技术。47089
SIGKDD Internaion Corference on Knowledge Discovery and Data Mining ,简称KDD会议。知识发现(KDD)会议由原始项目的规模发展国际学术会议,会议讨论研究也逐渐发现方法的系统应用,并注意各种发现战略和技术集成,以及各种学科之间的相互渗透。
国外研究数据挖掘的组织、机构或大学很多。比如著名的如卡内基梅隆大学(有机器制造DM、多媒体数据库DM、互联网DM三个研究中心)、斯坦福大学、麻省理工学院,著名研究机构如ACM。
知识和数据工程的IEEE目录在1993年首次出版,KDD技术,并行计算,计算机网络和信息工程、等领域的国际社会,和期刊的数据挖掘和知识发现功能和特殊的讨论,将受欢迎的程度。此外,在互联网上有许多数据挖掘电子出版物,每半月一次知识发现最权威的掘金。
1998年,第四届知识发现与数据挖掘国际学术会议,在美国纽约举行。会议上有30多家软件公司展示了他们数据挖掘的软件产品,其中不少软件已经在北美和欧洲的国家得到了广泛的应用,收益明显。
和国外相比而言,我国对于数据挖掘知识发现的研究比较晚,且没有形成较为完整的力量。1993年我国自然科学基金第一次支持了中科院合肥分院对于数据挖掘领域的研究。现阶段,从事数据挖掘的研究人员主要属于大学教授,也有一些是公司职工或是研究所的研究人员等论文网。通常情况下,研究的领域主要集中在对学习算法的研究、相关数据挖掘理论的研究以及数据挖掘技术的实际应用等。目前,数据挖掘科研项目主要是由国家政府出资进行的,例如:中国自然科学基金、“九五”计划以及863计划等。
我国多数科研单位与高等学院也在竞相开展数据挖掘以及知识发现的等基础理论和实际应用分析。例如,北京系统工程研究院针对模糊方式在知识发现中的实际应用情况进行了比较深入的分析研究,复旦大学以及华中理工大学等学校针对关联规则开采算法进行改造与优化。
现阶段,我国真正应用数据挖掘技术的公司并不多,其中比较成功的有菲奈特-融通企业以及广州华工明天科技有限公司。然而菲奈特-融通企业在数据挖掘软件的前提下研发了商业智能套件,广州华工研发了多功能数据挖掘设备。
近期,我国对于数据挖掘的研究成果比较多。南京大学的周志华教授所领导的研究小组参与了亚太数据挖掘的国际会议,并在数据挖掘编程大赛中获得了冠军,中国香港大学的电子商业科技研究院的黄哲学教授所发表的论文获得了亚太数据挖掘国际会议论文大奖。
物联网中的数据挖掘的发展
物联网是下一代网络,数以万亿计的节点来代表各种对象。很多年前,IBM公司就提出了IOT的概念,而今,智慧地球,智慧城市,智能交通,智能家居的概览都已朗朗上口,国内已有很多的公司和研究院在研究。
从技术上来讲,物联网是传感器网络的集成,包括RFID(射频识别技术)和无所不在的网络。所以,每天,物联网都将产生大量的信息。例如,当一个规模中等的超市引入RFID技术供应链。而每个RFID标识都包括3个部分:时间,地点,EPC(RFID读者的唯一标识)。估算一下,一个超市大约有600000万的RFID记录,每个记录用18字节储存。那么假设每秒钟都有人在浏览记录,那么就有10.8GB的数据流产生,那么每天就会产生500TB左右的数据。可见,数据量是极其巨大的。所以,发展有效的思想和算法去管理、挖掘、分析数据是非常必要的。