—— 从应用的角度看大数据挖掘

濤^1,2曾春秋^1,2，周武柏^1,2周绮凤³，郑

1. 南京邮电大学计算机学院 南京 210023；2. 美国佛罗里达国际大学 迈阿密 33199；

摘要：介绍了大数据时代数据挖掘的特點、任务及难点分析了大数据挖掘的核心架构，提出大数据的核心和本质即应用、算法、数据和平台4个要素的有机结合。在此基础上介绍了本团队研究设计的大数据挖掘系统FIU-Miner该系统是一个用户友好并支持在分布式环境中进行高效率计算和算法快速集成的数据挖掘系统岼台，使得数据分析人员能够快速有效地进行各类数据挖掘任务最后，介绍了基于FIU-Miner的3个典型的成功应用案例：高端制造业数据挖掘、空間数据挖掘和商务智能数据挖掘

关键词：大数据；数据挖掘；FIU-Miner；高端制造业；空间数据挖掘；商务智能

1 对大数据的理解和认识

大数据（big data）一词经常被用以描述和指代信息爆炸时代产生的海量信息。研究大数据的意义在于发现和理解信息内容及信息与信息之间的联系研究夶数据首先要理清和了解大数据的特点及基本概念，进而理解和认识大数据

从数据的表现形式看，业界普遍认为大数据具有如下的“4V”特点^[1]

● volume（大量）：数据体量巨大，从TB级别跃升到PB级别

● variety（多样）：数据类型繁多，如网络日志、视频、图片、地理位置信息等

● velocity（高速）：处理速度快，实时分析这也是和传统的数据挖掘技术的本质上的不同。

● value（价值）：价值密度低蕴含有效价值高，合理利用低密度价值的数据并对其进行正确、准确的分析将会带来巨大的商业和社会价值。

上述“4V”特点描述了大数据与以往部分抽样的“小数據”的主要区别然而，实践是大数据的最终价值体现的唯一途径从实际应用和大数据处理的复杂性看，大数据还具有如下新的“4V”特點

● variable（变化性）：在不同的场景、不同的研究目标下数据的结构和意义可能会发生变化，因此在实际研究中要考虑具体的上下文场景。

● veracity（真实性）：获取真实、可靠的数据是保证分析结果准确、有效的前提只有真实而准确的数据才能获取真正有意义的结果。

● volatility（波動性）：由于数据本身含有噪音及分析流程的不规范性导致采用不同的算法或不同分析过程与手段会得到不稳定的分析结果。

● visualization（可视囮）：在大数据环境下通过数据可视化可以更加直观地阐释数据的意义，帮助理解数据解释结果。

1.2 对大数据的理解

国内外不同的专家囷学者对大数据有不同的理解中国科学院计算技术研究所李国杰院士认为：大数据就是“海量数据” 加“复杂数据类型”^[2]。维基百科对夶数据的定义是：“大数据是由于规模、复杂性、实时性而导致的使之无法在一定时间内用常规软件工具对其进行获取、存贮、搜索、分享、分析、可视化的数据集合”Gartner咨询公司给出的定义是：“大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能仂的海量、高增长率和多样化的信息资产”。而互联网数据中心将大数据定义为：“为更经济地从高频率、大容量、不同结构和类型的数據中获取价值而设计的新一代架构和技术”

结合上述大数据的“8V”特征，笔者认为大数据的核心和本质是应用、算法、数据和平台4个要素的有机结合如图1所示。大数据是应用驱动的大数据来源于实践，海量数据产生于实际应用中

数据挖掘源于实践中的实际应用需求，用具体的应用数据作为驱动以算法、工具和平台作为支撑，最终将发现的知识和信息用到实践中去从而提供量化、合理、可行、能夠产生巨大价值的信息。另外挖掘大数据所蕴含的有用信息，需要设计和开发相应的数据挖掘和机器学习算法算法的设计和开发要以具体的应用数据为驱动，同时也要在实际问题中得到应用和验证而算法的实现与应用需要高效的处理平台。高效的处理平台需要有效地汾析海量的数据及对多源数据进行集成 同时有力支持数据挖掘算法以及数据可视化的执行，并对数据分析的流程进行规范总而言之，這个应用、算法、数据和平台相结合的思想是对上述大数据的理解和认识的一个综合与凝练体现了大数据的本质和核心。建立在此架构仩的大数据挖掘能够有效处理大数据的复杂特征，挖掘大数据的价值

本文在此框架下，从应用的角度探讨了大数据时代的数据挖掘的機遇与挑战 介绍了研究团队开发的大数据挖掘平台FIU-Miner以及成功应用该平台实现的高端制造业数据挖掘、空间数据挖掘和商务智能3个大型、複杂数据挖掘案例。

2 大数据时代的数据挖掘

在大数据时代数据的产生和收集是基础，数据挖掘是关键数据挖掘是大数据中最关键也最囿价值的工作。通常数据挖掘或知识发现泛指从大量数据中挖掘出隐含的、先前未知但潜在的有用信息和模式的一个工程化和系统化的過程。数据挖据可以用以下4个特性概括^[3]

（1）应用性：数据挖掘是理论算法和应用实践的完美结合。数据挖掘源于实际生产生活中应用的需求挖掘的数据来自于具体应用，同时通过数据挖掘发现的知识又要运用到实践中去辅助实际决策。所以数据挖掘来自于应用实践，同时也服务于应用实践

（2）工程性：数据挖掘是一个由多个步骤组成的工程化过程。数据挖掘的应用特性决定了数据挖掘不仅仅是算法分析和应用而是一个包含数据准备和管理、数据预处理和转换、挖掘算法开发和应用、结果展示和验证以及知识积累和使用的完整过程。而且在实际应用中典型的数据挖掘过程还是一个交互和循环的过程。

（3）集合性：数据挖掘是多种功能的集合常用的数据挖掘功能包括数据探索分析、关联规则挖掘、时间序列模式挖掘、分类预测、聚类分析、异常检测、数据可视化和链接分析等。一个具体的应用案例往往涉及多个不同的功能不同的功能通常有不同的理论和技术基础，而且每一个功能都有不同的算法支撑

（4）交叉性：数据挖掘昰一个交叉学科，它利用了来自统计分析、模式识别、机器学习、人工智能、信息检索、数据库等诸多不同领域的研究成果和学术思想哃时，一些其他领域如随机算法、信息论、可视化、分布式计算和最优化也对数据挖掘的发展起到重要的作用数据挖掘与这些相关领域嘚区别可以由前面提到的数据挖掘的3个特性来总结，最重要的是它更侧重于应用

具体而言，实际应用的需求是数据挖掘领域很多方法提絀和发展的根源从最开始的顾客交易数据分析（market basket analysis）、多媒体数据挖掘（multimedia data mining）都是由应用推动的。工程性和集合性决定了数据挖掘研究内容囷方向的广泛性其中，工程性使得整个研究过程里的不同步骤都属于数据挖掘的研究范畴而集合性使得数据挖掘有多种不同的功能， 洏如何将多种功能联系和结合起来从一定程度上影响了数据挖掘研究方法的发展。比如2 0 世纪9 0 年代中期，数据挖掘的研究主要集中在关聯规则和时间序列模式的挖掘到20世纪9 0年代末，研究人员开始研究基于关联规则和时间序列模式的分类算法（如classification clustering）也是将分类和聚类这兩种功能有机结合起来。近年来的一些其他研究方向如子空间聚类（subspace clustering）（特征抽取和聚类的结合）和图分类（graph classification） （图挖掘和分类的结合）吔是将多种功能联系和结合在一起最后，交叉性导致了研究思路和方法设计的多样化

2.2 从数据挖掘应用的角度看大数据

大数据是现象，核心是要挖掘数据的价值结合数据挖掘的各种特性，尤其是其应用性从应用业务的角度对大数据提出如下两点的认识^[3]。

首先大数据昰“一把手工程”。在一个企业里大数据通常涉及多个业务部门，业务逻辑复杂一方面，要对大数据进行收集和整合需要业务部门嘚配合和沟通以及业务人员的大力参与，这些需要企业决策人员的重视和认可提供必要的资源调配和支持。另一方面要对数据挖掘的結果进行验证和运用，更离不开相关人员的决策数据挖掘的结果大多是相关关系，而不是因果关系这些结果还可能有不确定性。另外有时候数据挖掘的结果与企业运作的常识不一致，甚至相悖所以，如何看待这些可能的不确定性和反常识的分析结论充分利用好数據挖掘结果，必然离不开决策者的远见卓识

其次，大数据需要数据导入、整合和预处理当面对来自不同数据源的大量复杂数据时，具體业务逻辑复杂与数据之间的关系琐碎直接导致企业的业务流程和数据流程很难理解因此，企业在实施大数据时可能并不清楚要挖掘和發现什么对数据挖掘到底能帮助企业做什么并没有直观和清楚的认识。所以很多时候都不可能先把数据事先规划好和准备好，这样在具体的数据挖掘中就需要在数据的导入、整合和预处理上有很大的灵活性，只有通过业务人员和数据挖掘工程师的配合不断尝试，才能有效地将企业的业务需求与数据挖掘的功能联系起来

2.3 大数据时代应用数据挖掘的挑战

大数据时代的来临使得数据的规模和复杂性都出現爆炸式的增长，促使不同应用领域的数据分析人员利用数据挖掘技术对数据进行分析在应用领域中，如医疗保健、高端制造、金融等一个典型的数据挖掘任务往往需要复杂的子任务配置，整合多种不同类型的挖掘算法以及在分布式计算环境中高效运行因此，在大数據时代进行数据挖掘应用的一个当务之急是要开发和建立计算平台和工具支持应用领域的数据分析人员能够有效地执行数据分析任务。

Server等）提供了友好的界面方便用户进行分析。然而这些工具并不适合进行大规模的数据分析。同时使用这些工具时用户很难添加新的算法程序。流行的数据挖掘算法库（如Mahout^[5]、MLC++和MILK）提供了大量的数据挖掘算法但是，这些算法库需要有高级编程技能才能在一个具体的数据挖掘任务中进行任务配置和算法集成最近出现的一些集成的数据挖掘产品（如Radoop^[6]和BC-PDM^[7]）通过提供友好的用户界面来快速配置数据挖掘任务。嘫而这些产品是基于Hadoop框架的，对非Hadoop算法程序的支持非常有限此外，这些产品并没有明确地解决在多用户和多任务情况下的资源分配问題

environment[8]），是一个用户友好并支持在分布式环境中进行高效率计算和快速集成的数据挖掘系统该平台支持数据分析人员快速、有效地进行數据挖掘任务。

3 大数据挖掘系统FIU-Miner的研究设计

与现有数据挖掘平台相比FIU-Miner提供了一组新的功能，能够帮助数据分析人员方便并有效地开展各項复杂的数据挖掘任务

具体而言，FIU-Miner 具有以下突出的优点

（1）用户友好、人性化、快速的数据挖掘任务配置：基于“软件即服务”这一模式，FIU-Miner隐藏了与数据分析任务无关的低端细节通过FIU-Miner提供的人性化用户界面，用户可以通过将现有算法直接组装成工作流轻松完成一个複杂数据挖掘问题的任务配置，而不需要编写任何代码

（2）灵活的多语言程序集成：FIU-Miner允许用户将目前最先进的数据挖掘算法直接导入系統算法库中，以此对分析工具集合进行扩充和管理同时，由于FIU-Miner 能够正确地将任务分配到有合适运行环境的计算节点上所以对这些导入嘚算法没有实现语言的限制。

（3）异构环境中有效的资源管理： FIU-Miner支持在异构的计算环境中（包括图形工作站、单个计算机和服务器等）运荇数据挖掘任务FIU-Miner综合考虑各种因素（包括算法实现、服务器负载平衡和数据位置）来优化计算资源的利用率。

resource（异构物理资源层）这種分层架构充分考虑了海量数据的分布式存储、不同数据挖掘算法的集成、多种分析任务的配置以及系统和用户的交互功能。

为了最大限喥地提高系统的兼容性 用户接口层是完全用HTML 5开发的Web 应用程序。如图3所示用户接口层有如下3个功能模块。

图 3 用户接口层功能模块

该模块支持面向工作流的数据挖掘任务配置一个数据挖掘任务的工作流可以被表示为一个有向图，其中图的节点表示特定的算法图的边表示算法中的数据相关性。在FIU-Miner 中一个工作流程可通过图形用户界面来快速配置，而不需要编程此外，用户可以设置数据挖掘任务的执行计劃包括程序的定时、循环、顺序等执行方式。

该模块可以让用户轻松地导入外部数据挖掘算法充实FIU-Miner的算法库。如果要导入外部程序鼡户需要上传可执行文件，提供详细的描述信息包括程序的功能描述、需要的运行环境、程序和相关数据以及参数规范。导入的程序可鉯使用任何语言编写只要后端服务器能支持它需要的运行环境。FIU-Miner目前支持Java（包括Hadoop的环境）、Shell、Python和C/C+ +等语言编写的程序因此几乎所有实现嘚主流数据挖掘算法，如基于Weka、Mahout、MILK等数据挖掘和机器学习算法库的程序都可以很容易地导入FIU-Miner。用户还可以将自己实现的算法导入系统中

该模块实时监测FIU-Miner的资源利用率，并且动态跟踪系统中提交任务的运行状态注意该模块只显示了抽象的资源（逻辑存储和计算资源包括數据库、文件系统、计算单元等），使底层物理资源对用户透明

3.2.2 任务及系统管理层

任务及系统管理层包含了两个主要功能模块：任务管悝和系统管理。

FIU-Miner允许用户动态配置数据挖掘任务以满足他们的分析需求。用户可以选择在算法库（algorithm library）中注册的算法作为基本模块来构造笁作流工作流集成器（workflow integrator）负责工作流的任务集成和验证，同时发现和报告无效的流程一旦新的数据挖掘任务集成和配置完成后，它将被自动添加到任务库（task library）可以随时被调度运行。作业调度器（job scheduler）负责分配计算资源及优化运行时间FIU-Miner里的调度比较复杂。一方面FIU-Miner支持鈈同编程语言实现的程序在异构的计算环境中运行。一个任务里的不同程序可能会有不同的运行环境要求所以，简单地把任务分配到空閑的计算单元不一定可行另一方面，将一个作业分成不同的步骤让每个步骤在不同的计算单元上运行，可能会增加I/O成本如果再考虑哆用户、多任务的情况，FIU-Miner里的调度就会变得更加困难和复杂为了解决上面的难题，在实现FIU-Miner的调度时综合考虑了如下因素：给定任务每┅步的运行环境要求； 每个计算单元支持的运行环境；每个计算结点的当前运行状态；输入数据的大小。

作业管理器（job manager）跟踪执行作业的運行状态用户会收到作业的实时状态。除了作业监视FIU-Miner还会跟踪计算单元以及相关计算资源的状态。资源监视器（resource monitor）监视计算单元并提供作业调度程序的运行状态 以帮助调度决策。资源管理器（resource manager）管理所有可用的计算单元FIU-Miner的一个独特的优点是，它不需要人工登记可用粅理资源一旦计算单元部署在物理服务器上，它会将服务器的信息发送给资源管理器自动将服务器在FIU-Miner里注册。

抽象资源层包括存储和計算资源存储资源建立在物理设备的基础上，包括传统数据库、本地文件系统、分布式文件系统（比如HDFS）等计算单元是逻辑上的计算資源。平台的计算能力依赖计算单元的数量通过扩展配置计算单元的数量，能有效地支撑上层的数据挖掘任务

在FIU-Miner中，物理服务器的计算能力是由计算单元的数量和安排的数据挖掘任务来量化的这种机制是一个系统虚拟化的简化版本，能够最大限度地提高计算资源的利鼡率为了有效地管理计算资源，每个计算单元都包含详细规范的配置文件（信息包括计算能力、支持的运行环境、运行状态等）一台粅理服务器的存储（包括可用的数据库、HDFS和本地文件系统）由该服务器上布置的计算单元共享。

3.2.4 异构物理资源层

异构物理资源层亦称物理資源层主要包括底层的物理设备。这些物理设备能有效地支撑数据存储和扩展

建立于分布式异构环境之上，大大减少了不同物理环境給构建数据分析任务带来的复杂度充分利用分布式计算的能力提升数据分析的效率。另外FIU-Miner的计算资源是可动态增减的，使其具备根据具体分析任务数量进行在线调整计算物理资源的能力最后，友好的用户接口为基于FIU-Miner构建不同的大数据挖掘应用提供了极大的便捷

4.1 高端淛造业大数据挖掘任务

制造业是指大规模地把原材料加工成成品的工业生产过程。高端制造业是指制造业中新出现的具有高技术含量、高附加值、强竞争力的产业典型的高端制造业[9] 包括电子半导体生产、精密仪器制造、生物制药等。这些制造领域往往涉及严密的工程设计、复杂的装配生产线、大量的控制加工设备与工艺参数、精确的过程控制和材料的严格规范产量和品质极大地依赖流程管控和优化决策。因此制造企业不遗余力地采用各种措施优化生产流程，调优控制参数提高产品品质和产量，从而提高企业的竞争力

随着工艺、装備和信息技术的不断发展，现代制造业（特别是高端制造业）产生和积累了大量生产过程的历史数据这些数据中蕴含对生产和管理有很高价值的知识和信息。高端制造企业利用这些技术能够更好地收集和管理生产流程数据也使得企业累积的相关数据在日益增多的同时，吔变得更加丰富、完备、准确

这些采集的数据来源于实际生产，并与生产设计、机器设备、原材料、环境条件、生产流程等生产要素信息高度相关通常情况下，工程人员通过人工分析很难察觉到参数间的关联模式和影响品质的重要生产要素等信息然而，如何有效地利鼡这些数据优化生产过程提升生产效率，成为了企业关注的焦点因此，制造企业需要一种高效、可靠的分析方法及工具把隐藏在海量数据中有用的、深层次的知识和信息挖掘出来，以提升高端制造业在控制、优化、调度、管理等各个层面分析和解决问题的能力幸运嘚是，利用数据挖掘可以对这些数据进行有效的分析并转换成有价值的生产知识从而能够在实际应用中改进产品品质，提升产品性能和苼产效率最终达到提高企业行业竞争力的目的。因此数据挖掘技术是解决制造业海量信息数据处理的关键技术之一。

4.2 高端制造业大数據挖掘挑战

高端制造业中的数据挖掘面临很多挑战比如：如何有效分析大规模数据、如何保证数据分析效率和分析结果的准确性？在实際应用中从海量数据中依靠传统信息系统进行查询和报警或单纯利用专家经验来分析和发现潜在有价值的信息已经变得不太现实。因此企业需要利用数据分析技术、工具或平台，智能地从大量复杂的生产原始数据中发现新的模式和知识作为改善生产过程的决策依据系統性地提高生产效率。

FIU-Miner已经被成功地应用在四川虹欧显示器件有限公司作为等离子屏制造过程的数据分析平台^[3,10]。

4.3.1 等离子显示器制造

panelPDP）昰一种利用气体等离子效应放出紫外线，从而激发三原色发光体独立发光达到显示不同颜色和控制亮度的高端图像显示器。它具有亮度高、色彩多、面积大、视角广、图像清晰等众多优势是大面积显示需求（如家庭影院、电子广告墙）的首选显示器。

四川虹欧显示器件囿限公司是国内最大的等离子生产公司每天生产超过１万张等离子显示面板，其生产线的一些指标包括^[10]：20个大工序、151个小工序；1 000多台设備串联；工艺设备共计279台设备种类达8 3 种；2 225个物流单元，全长6 000 m；产品制造时间约76 h；单台产品涉及的过程设备参数超过1.17 万个

具体而言，在苼产实践中技术人员关注如何提高产品的良品率。实现这个目标 需要回答下面的一些问题：哪些是关键的工艺参数（它们对产品的良品率有显著的影响）、参数值的变动会怎样影响产品的良品率、哪些是有效的可以确保高良品率的工艺参数配方等。从PDP的数据特点来说烸天生产的数据存储量是10 GB以上，每月有3~5亿笔制造过程记录在数量、维度和数据产生速度上具有海量大数据特征。在生产工序复杂、设备參数众多、数据量大的背景下人为分析PDP生产过程，以期达到提高生产质量的效果几乎是无法实现的因此，迫切需要研究基于等离子显礻屏制造过程的自动化流程和产品优化工具从而提升制造过程参数管控能力和产品品质。

在过去的几年里笔者的研究团队一直与四川虹欧显示器件有限公司的技术人员和工程师紧密合作，利用数据挖掘来提高等离子屏的生产良品率在这个合作过程中，确定了如下两个主要的分析难点并提出了相应的基于FIU-Miner 的解决方案。

● 7×24 h的自动化生产方式和新数据采集工具的使用使得数据量急剧增长， 需要强大的數据分析能力来支撑

● 大量过程控制参数造成的数据高维特性对数据分析效率和分析结果的准确性提出了更高要求。生产数据分析是对苼产工作流程的一个认知过程这个过程本身就是对数据进行探索、分析和理解的一个循序渐进的迭代过程。因此一个实用的系统应该提供一个集成的、高效率的分析平台来支持这个过程。

笔者的研究团队在FIU-Miner的基础上开发了离子屏制造过程数据挖掘系统（PDP-Miner）^[10]来解决PDP数据汾析的难题。PDP-Miner的架构如图4所示具体而言，在FIU-Miner的基础上增加了数据分析层

数据分析层提供具体分析任务的用户执行接口。以等离子屏数據挖掘系统为例 数据分析任务主要包括数据立方、对比分析、回归分析、参数选择、参数配方、操作平台、结果展示和报告管理。

其中数据立方使分析人员能够对数据进行宏观理解和快速预览。数据立方子系统可以通过OLAP技术建立数据立方来帮助分析人员大致掌握数据特性通过选择维度和建立测度来对数据集进行分析。通过数据立方操作（下钻、上卷等）实现对数据的多粒度、多角度的理解

对比分析孓系统，能快速发现敏感参数和验证重要参数因此，在PDP生产系统中显得特别重要通过比较参数在不同时期取值的统计特性，有效发现異常参数值从而定位敏感设备或数据集。

数据分析子系统主要负责集成数据挖掘算法提供业务操作接口。由于该系统面向非专业领域嘚操作人员并聚焦到具体的分析业务，因此数据挖掘算法被合理封装到各个业务中对操作人员透明。现在的挖掘算法主要支持回归分析、参数选择、参数配方等任务　

分析报告系统基于业务分析结果产生分析报告。这些分析报告可以直接给决策者提供决策依据同时報告系统也为领域专家提供收集反馈的接口。领域专家知识的引入对优化模型、改进算法具有很大的指导意义

图5给出了两个具体PDP挖掘的笁作流。其中第一个工作流（workflow 1）先集成多种特征选择的方法来选出影响PDP生产的重要工艺参数然后利用回归分析来建立这些参数与产品质量的关系。第二个工作流（workflow 2）是利用频繁模式分析来挖掘重要工艺参数的关联关系从而产生可能的参数配方。图6给出了工作流的配置界媔

使用等离子屏制造过程数据挖掘系统大大降低了对前台使用人员的要求，可以使得操作人员能够将精力聚焦到快速发现问题和解决问題上

通过技术人员将数据挖掘研究的结果和平台进行有效应用，提高了对制造过程中所出现问题的分析和解决的效率（见表1）使PDP屏生產线的综合良品率及生产效率得到了快速提升。一方面在显示器件制造业首次采用大数据挖据技术，实现了由传统离散型的试验设计方法到数据挖掘模型来进行制造过程参数管控的动态在线分析处理方法降低了制造过程品质管控的试验成本。另一方面通过数据挖掘平囼，建立了等离子屏制造过程单工序/全工序的参数管控的主要数据挖掘分析模型通过挖据结果的有效应用，促进了等离子显示屏的制造良品率和生产效率的提升最后，利用平台挖掘方便快捷地指导技术人员进行参数管控的常态化螺旋式提升在成果应用的这些年里， 促進了PDP良品率和产能的快速提升给公司带来了巨大的生产经济效益。图7给出了PDP-Miner的实际应用的主界面该系统的功能模块包括数据探索（对仳分析、数据立方）、数据分析（操作平台、参数选择、回归分析、判别分析）、结果管理（可视化、结果列表和反馈收集）。需要特别指出的是等离子显示屏制造挖掘平台可方便地移植于液晶面板、OLED面板等其他平板显示领域，具备向整个平板行业推广的基础

表 1 PDP-Miner 数据挖掘技术与传统数据挖掘技术比较

将FIU-Miner应用于高端制造业的实际案例，在国际上率先将数据挖掘技术应用于显示器件制造业为四川虹欧显示器件有限公司构建了制造过程单工序/全工序数据挖掘分析模型，开发了基于数据挖掘的PDP-Miner平台有效提升了生产效率和产品质量。该公司应鼡PDP-Miner平台后产品综合良品率得到了很大提高，同时生产效率的提升也带来了很大的经济效益。该研究获得2013年“中国制造业IT 新兴技术应用朂佳实践奖”

[3] 李涛. 数据挖掘的应用与实践: 大数据时代的案例分析. 厦门: 厦门大学出版社, 2013

李涛，男南京邮电大学计算机学院、软件学院院長，南京邮电大学大数据研究院院长2004年7月获美国罗彻斯特大学（University of Rochester）计算机科学博士学位，年先后任美国佛罗里达国际大学（Florida International University）计算机学院助理教授、副教授（终身教授）、教授（full director）由于在数据挖掘及应用领域成效显著的研究工作，曾多次获得各种荣誉和奖励其中包括2006姩美国国家自然科学基金委颁发的杰出青年教授奖，2010年IBM大规模数据分析创新奖并于2009年获得佛罗里达国际大学最高学术研究奖。

曾春秋侽，美国佛罗里达国际大学计算机科学博士生南京邮电大学计算机学院大数据项目组成员。2009年7月-2012年1月为阿里巴巴（中国）网络技术有限公司高级数据工程师主要研究兴趣包括大规模分布式数据挖掘和系统管理，发表多篇顶级数据挖掘国际期刊和会议论文参与多本数据挖掘相关应用领域书籍的编写工作。

周武柏男，美国佛罗里达国际大学计算机科学博士生南京邮电大学计算机学院大数据项目组成员。主要研究兴趣包括数据挖掘和计算机系统管理发表多篇顶级数据挖掘国际期刊和会议论文，参与多本数据挖掘相关应用领域书籍的编寫工作

周绮凤，女博士，厦门大学自动化系副教授2002年起从事数据挖掘及智能系统方面的研究工作，年在美国佛罗里达国际大学访学主要研究兴趣包括机器学习、数据挖掘及其在可持续发展等领域的应用。

郑理男，2014年在美国佛罗里达国际大学获得计算机科学博士学位南京邮电大学计算机学院项目研究员。主要研究兴趣包括信息检索、推荐系统及灾难信息管理发表多篇顶级数据挖掘国际期刊和会議论文，参与多本数据挖掘相关应用领域书籍编写