数据挖掘商业案例.pdf

1 / 85 金融行业应用 1.前言 随着中国加入 WTO，国内金融市场正在逐步对外开放，外资金融企业的进入在带来先进经营理念的同时，无疑也加剧了中国金融市场的竞争。金融业正在快 速发生变化。合并、收购和相关法规的变化带来了空前的机会，也为金融用户提供了更多的选择。节约资金、更完善的服务诱使客户转投到竞争对手那里。即 便是网上银行也面临着吸引客户的问题，最有价值的客户可能正离您而去，而您甚至还没有觉察。在这样一种复杂、激烈的竞争环境下，如何才能吸引、增加 并保持最好的客户呢？ 数据挖掘 、模式 (Patterns 等形式。用统计分析和数据挖掘解决商务问题。 金融业分析方案可以帮助银行和保险业客户进行交叉销售来增加销售收入、对客户进行细分和细致的行为描述来有效挽留有价值客户、提高市场活动的响应效 果、降低市场推广成本、达到有效增加客户数量的目的等。b5E2RGbCAP 客户细分 使客户收益最大化的同时最大程度降低风险 市场全球化和购并浪潮使市场竞争日趋激烈，新的管理需求迫切要求金融机构实现业务革新。为在激烈的竞争中脱颖而出，业界领先的金融服务机构正纷纷采 用成熟的统计分析和数据挖掘技术，来获取有价值的客户，提高利润率。他们在分析客户特征和产品特征的同时，实现客户细分和市场细分。 数据挖掘实现客户价值的最大化和风险最小化。SPSS 预测分析技术能够适应用于各种金融服务，采用实时的预测分析技术，分析来自各种不同数据源来自 ATM 、交易网站、呼叫中心以及相关分支机构的客户数据。采用各种分析技术，发现数据中的潜在价值，使营销活动更具有针对性，提高营销活动的市场回应 率，使营销费用优化配置。p1EanqFDPw 客户流失 挽留有价值的客户 在银行业和保险业，客户流失也是一个很大的问题。例如，抵押放款公司希望知道，自己的哪些客户会因为竞争对手采用低息和较宽松条款的手段而流失；保 险公司则希望知道如何才能减少取消保单的情况，降低承包成本。 为了留住最有价值的客户，您需要开展有效的保留活动。然而，首先您需要找出最有价值的客户，理解他们的行为。可以在整个客户群的很小一部分中尽可能 多地找出潜在的流失者，从而进行有效的保留活动并降低成本。接着按照客户的价值和流失倾向给客户排序，找出最有价值的客户。DXDiTa9E3d 交叉销售 在客户关系管理中，交叉销售是一种有助于形成客户对企业忠诚关系的重要工具，有助于企业避开“ 挤奶式 ” 的饱和竞争市场。由于客户从企业那里获得更多的 产品和服务，客户与企业的接触点也就越多，企业就越有机会更深入地了解客户的偏好和购买行为，因此，企业提高满足客户需求的能力就比竞争对手更有 效。 研究表明，银行客户关系的年限与其使用的服务数目、银行每个账户的利润率之间，存在着较强的正相关性。企业通过对现有客户进行交叉销售，客户使用企 业的服务数目就会增多，客户使用银行服务的年限就会增大，每个客户的利润率也随着增大。 从客户的交易数据和客户的自然属性中寻找、选择最有可能捆绑在一起销售的产品和服务，发现有价值的产品和服务组合，从而有效地向客户提供额外的服 务，提高活期收入并提升客户的收益率。RTCrpUDGiT 2 / 85 欺诈监测 通过侦测欺诈、减少欺诈来降低成本。为了与欺诈活动作斗争，首先您需要预测欺诈在何时、何地发生。数据挖掘技术侦测在欺诈中常见的模式，预测欺诈活 动将在哪里发生。 对于银行业的公司来说，欺诈活动频繁发生的一个领域是自动取款机 数据说明 选取一定数量的客户 数据描述及图表分析 在数据理解中，可以利用描述及可视化来帮助探索模式、趋势和关系。图2.1 显示了 Clementine 中数据理解的数据流图，包括：使用数据审核，统计分析， 网络图，直方图，两步聚类，关联分析，查看数据属性之间的关系。SixE2yXPq5 图 2.1：数据理解的数据流图 图 2.2 显示了数据审核结果。可以很清楚地了解14 个数据字段的基本情况。如数据类型、最大最小值、平均值、标准差、偏度、是否唯一、有效记录个数 等。从图 2.2 可见，房贷客户的平均年龄是57.4 岁，最小的 18 岁，最大的 97 岁。6ewMyirQFL 6 / 85 图 2.2：数据审核图 这些描述能帮助理解数据。使用绘图和直方图节点将数据可视化就产生了客户收入和年龄图及日均交易数的直方图 关联分析及聚类的结果为了进一步了解房贷客户可以使用聚类。 图 2.4 总结了使用双步聚类节点获得的结果。如图所示，客户似乎分为七种自然的聚类。所产生的聚类特征可用来定义和理解每个聚类以及聚类间的区别。例 如，我们比较聚类1 和聚类 4，聚类 1 中包含的是较年轻并绝大多数已婚 于 20 世纪 50 年代中期提出来的。 客户细分 (Customer Segmentation 是指按照一定的标准将企业的现有客户划分为不同的客户群。客户细分是客户关系管理的核心概念之一，是实施客户关系 管理重要的工具和环节。Suzanne Donner 认为：正确的客户细分能够有效地降低成本，同时获得更强、更有利可图的市场渗透。通过客户细分，企业可以更 好地识别不同客户群体对企业的价值及其需求，以此指导企业的客户关系管理，达到吸引合适客户，保持客户，建立客户忠诚的目的。 所谓客户细分主要指企业在明确的战略、业务模式下和专注的市场条件下，根据客户的价值、需求和偏好等综合因素对客户进行分类，分属于同一客户群的消 费者具备一定程度的相似性，而不同的细分客户群间存在明显的差异性。客户细分的理论依据主要有： (1 客户需求的异质性。影响消费者购买决策因素的差异决定了消费者的需求、消费者的消费行为必然存在区别。因此可以根据这种差异来区分不同的客户， 客户需求的异质性是进行客户细分的内在依据。 (2 消费档次假说。随着经济的发展和消费者收入水平的提高，消费量会随之增加。但消费量的增加并非线性增长，而是呈现出区间性台阶式的变化形式，一 旦消费者达到某种消费层次之后，消费变化的趋势将变得非常平缓。根据消费档次假说，消费者的消费档次或消费习惯在一段时期内是相对稳定的，这就为通 过消费行为来划分消费群体提供了理论前提和基础。 (3 企业资源的有限性和有效市场竞争的目的性。资源总是希缺的，由于缺乏足够的资源去应对整个客户群体，因此必须有选择地分配资源。为了充分发挥资 源的最大效用，企业必须区分不同的客户群，对不同的客户制定不同的服务策略，集中资源服务好重点客户。 (4 稳定性。有效的客户细分还必须具有相对的稳定性，足以实现在此基础上进行的实际应用，如果变化太快，应用方案还未来得及实施，群体就已面目全 非，这样的细分方法就显得毫无意义。zvpgeqJ1hk 客户细分模型 客户群细分的目的是为了选择适合企业发展目标和资源条件的目标市场。客户细分模型是指选择一定的细分变量，按照一定的划分标准对客户进行分类的方 法。一个好的细分模型，首先是要满足细分深度的要求，不同的使用者对客户细分的深度也有不同的要求，这就要求模型划分的结果能满足不同使用者的需 要。其次是对数据的处理能力和容错能力，现代数据库的存储容量越来越大，数据结构也趋于多样性，误差数据也会随之增多，这就要求模型能适应数据在量 和样上的膨胀，对误差数据能做出判别和处理。最后是模型要有很强的适用能力，变化是绝对的，而稳定只是相对的，无论是个人消费者还是消费群体，他们 的消费行为都是在变化的，这就要求模型对客户的细分标准要随新的情况而不断更新。在对客户进行细分的方法中，除了传统的按照客户基本属性进行分类的 方法以外，还有其他多种客户细分模型，如基于客户价值贡献度的细分模型、基于不同需求偏好的细分模型和基于消费行为的细分模型。基于消费者消费行为 的客户细分模型研究，主要是以消费者的购买频率、消费金额等为细分变量，如RFM 模型和客户价值矩阵模型。 可根据客户办理业务时，提供给金融机构的信息获得。这在识别或描述客户组的特征时很有用。 第四步：选择细分技术。 目前，通常采用聚了技术来进行客户细分。常用的聚类算法有K-means、两步聚类、 Kohonen 网络等，可以根据不同的数据情况和需要选择不同聚类算法来进 行客户细分。 13 / 85 第五步：评估结果。 在对用户群进行细分之后，会得到多个细分的客户群体，但是，并不是得到的每个细分都是有效的。细分的结果应该通过下面几条规则来测试：与业务目标相 关的程度；可理解性和是否容易特征化；基数是否足够大，以便保证一个特别的宣传活动；是否容易开发独特的宣传活动等。 第六步：应用细分模型。 根据客户细分的结果，市场部门制定合适的营销活动，进行有针对性的营销。总之，客户细分是金融机构与用户二者实现双赢的重要举措。目前用户需求呈现 多样化、个性化的趋势，只有通过深入分析用户消费行为，精确识别、细分用户市场，开发出针对不同层次用户的服务品牌进行服务营销，方能使得各方价值 发挥到最大，实现共赢。不同级别的客户对服务的需求以及“ 赢” 的概念是不同的，正是因为为不同的客户提供不同的产品和服务才能使客户都达到满意，从而 在市场上占据有利地位。fjnFLDa5Zo 细分方法介绍 在数据挖掘中，往往通过聚类分析的方法来实现细分。聚类分析方法至少有以下几类： 选择合适的客户 金融机构对以往的营销数据进行分析，采用决策树等数据挖掘方法，识别出具有高响应率的客户的特征。通过选择合适的客户，可以排除对促销活动响应不积 极的客户，将目标客户的数量大大减小，从而在实现更有针对性地营销的同时减小营销成本。据统计，通过减小目标客户的数量，通常可以节省25%-40% 的营 销费用，同时增加营销响应率。 2选择合适的渠道 第二步是要针对用户选择合适的营销渠道，也就是和客户接触的方式。通过使用每个用户偏爱的方式与之接触，也有利于提升客户响应率。在确定促销渠道 时，要考虑客户对渠道的偏爱，渠道成本，期望的响应率，其他营销限制条件等。 3选择合适的时间 在当今竞争激烈的社会里，客户有很多满足自己需求的机会和选择。因此，一旦发现了客户尚未被满足的需求或者出现遗失客户风险时，一定要及时和客户接 触。这种事件驱动的促销方式，通常也可以取得较高的响应率。 4选择合适的活动频率 此外，并不是促销活动越多，效果越好。活动计划者需要根据实际情况，针对具体的客户，选择一个最优的活动次数，既使得客户的各种需求得到较好的满 足，又避免因为过于频繁的接触而导致客户的反感。同时，过多的营销活动，也会增加营销成本。需要在增加的成本和提高的响应率带来的收益之间寻找一个 18 / 85 最优点。客户自身的偏好对于营销活动的频率确定也至关重要，比如，对于不喜欢过于频繁的接到促销电话的客户，就要适量降低电话促销的频率。通过选择 更有针对性地选择客户和根据客户的需求和偏好来推广促销活动，可以将促销活动的投资收益率提高25%-50% 。IAg9qLsgBX 表 4.1：营销活动四阶段总结 阶段1合适的客户2合适的渠道3合适的时间4合适的营销频率 目标为营销活动选择最佳客户为目标客户选择最优营销方式在合适的时间对目标客户开展营销确定最适合客户的营销频率 方法预测分析渠道优化事件营销促销优化 策略预测谁是最有可能响应营销并且 能给营销活动带来收益的客户 在客户偏爱的方式和公司的成本与能 力之间选取最优结合点 变小的，经常性的营销活动为事件触 发的营销活动 在客户响应率和公司收益之间选 择最佳结合点 好处降低 25%-40% 的营销成本降低接触客户的成本响应率的提高至少达到两倍提高 25%-50% 的收益 营销响应应用案例 一家虚拟银行新推出了一种新的抵押贷款业务，为了推广新产品，该银行决定执行直接营销活动。为此，分析人员收集了以往进行类似产品的营销时公司执行 营销活动的相关数据，经过数据挖掘应用，计算客户影响概率，得到客户响应率模型，进而对客户对新产品的响应概率进行预测。从中选取响应率高的客户开 展新产品营销活动。 。它的特点是：要求特征变量服从多元正态分布，且两类子总体的协方差矩阵相等。在实际消费信用数据中，这些条件往往不 易满足。这是判别分析引起质疑和批评的主要原因。 2）回归分析法 线性回归方法，普通的线性回归曾被用于解决信用评分中的分类问题，它产生的也是一个线性评分卡。但是线性回归方法用于信用评分时存在明显缺陷，即回 归方程两边变量的取值范围可能不一致：右边取值可以从负无穷到正无穷，但方程的左边是概率变量p，其取值范围只能在 根据我们的经验，这种方式难以区分不同要素对消费者的真实重要程度。 b 用驱动要素对受访者的重要性替代这一概念，这种“ 概念替换 ” 经常会误导企业的资源配置。 c 这种方式需要受访者对每个驱动要素的表现和重要性分别进行评估，需要占用受访者较多的时间和精力，从而增加了调查成功的难度。 本方法目前在企业自身实施的满意度调查中应用得比较广泛，因为其应用基本不需要太多的统计分析技术，实施简单。 3）双重评价改进型 这种调查方式是在上一种方式的基础上改进而得到的。具体方法是：假定全部要素的重要性合计为100，受访者在对每个调查要素给予重要性权重的时候，需 要使得权重和为 100。这种方法可以部分弥补上面提到的a类缺陷，但也无法解决上一方法中的缺陷b和 c。 4）采用线性回归统计分析技术 随着市场调查分析技术的发展，统计工具在市场研究中应用得越来越多。利用多元回归分析技术，可以计算出满意度驱动要素对满意度的影响大小。这种影响 大小可以解释为，当满意度驱动要素提升1 分，满意度在现有的基础上可以提升多少分。当满意度的驱动要素非常少，而且这些要素相互之间的影响不强时， 这种方法不失为一种简单有效的方法。 实际上，多元回归分析在研究满意度问题的时候会存在以下几个问题： a 无法同时检验客户满意度各构成要素对客户整体满意度与客户忠诚度两个因变量的影响，模型中同时只能包含一个因变量。 b 实际生活中，影响消费者对某种产品/ 服务满意度的要素通常非常多，对企业而言，这些要素越细化，在确定满意度提升的措施时才更有可操作性。而随着 影响要素的增加和细化，如果采用回归的方式，计算出来的影响要素一般会由于这些要素的相互作用和影响，使其数值变得无法解释现实情况。从科学的角度 看，随着新的分析研究技术的涌现，回归统计分析技术已经不太适用客户满意度分析研究领域。 33 / 85 5 采用结构方程模型 在社会科学及经济、市场、管理等研究领域，有时需要处理多个原因、多个结果的关系，或者会碰到不可直接观测的变量 BES每天都致力于同那些可能流失的银行客户“ 奋勇战斗 ” 。通过利用 SPSS 的数据挖掘工具 Clementine ，BES识别出了那些可能离开银行服务的客户的关键行 为特征。 Jorge Portugal 和他的战略营销队伍一起分析这些动态的关系，并分别建立起模型来验证相应的调整策略是否可以使得客户保持满意而不流失。 应用结果 ? ViLRaIt6sk 利用从未使用过的客户行为数据资源并从中获益 ? 客户流失率降低了15%-20% ? 底线利润增长了 10%-20% Bank Financial Bank Financial 主要服务于芝加哥的大都市区域，在其八个支部机构中提供完整的金融服务，包括贷款、储蓄、保险以及投资。其资产超过10 亿美元，其给 零售客户以及商业客户同时提供服务。自从1962 年开始进入到芝加哥郊区开展服务，Bank Financial 就开始不断的成长，增加新的分支机构以及服务产品。 为了满足客户不断变化的需求，Bank Financial 的目标包括： ? 9eK0GsX7H1 增加市场营销的有效性 ? 增强针对现有客户的定位 ? 提升客户的获得以及保持 ? 最优化产品打包策略 使用 SPSS 公司的 Clementine ，Bank Financial 能够在很短的时间里得到更为准确的结果，提升了市场营销的有效性，降低了营销的成本。通过使用预测性的 方法来进行市场营销， Bank Financial 提升了其产品满足客户需求的能力，增加了客户赢得、保持以及满意度。naK8ccr8VI 美国汇丰银行 “ 预测分析帮助我们在合适的时间、用合适的产品和服务来接触合适的人。而SPSS 为我们提供了进行这些分析的有力武器。” 40 / 85 - 美国汇丰银行客户获取和研究部经理Joe Somma 客户背景 美国汇丰银行是 HSBC集团成员之一，通过位于纽约的 380 个分支机构为 140 多万银行客户提供核算、投资、借贷和其它金融服务。美国汇丰银行资产为350 亿美元。 面临问题 同一地区可能有多家银行设有分支机构，从而引起持续的竞争来吸引和保持附近的潜在客户。为保持高水平的客户获取和保持率，并维持可赢利性，银行经常 要实现这些目标：扩展和现有客户的关系、控制营销费用以维持利润以及快速转移市场。 解决方案 美国汇丰银行用 SPSS 对不断增长的客户数据进行挖掘，建立预测模型来发现交叉销售和“ 翻滚” 销售机会。定位于每一产品最有价值的客户可以使销售最大 化、营销费用最小化。而且，SPSS 的易用性使研究人员可以快速地把研究结果提交给决策者。 应用结果 小额银行是一个高竞争性的业务。过去，美国汇丰银行经常使用从市场研究公司购买的生命周期细分信息，向新旧客户推广产品。“ 外部的细分方案在发展新 客户时可能是有价值的。但是，我们认为现有的140 万用户的购买习惯和需求数据，会隐藏着更有价值的信息。” 美国汇丰银行客户获取和研究部经理Joe Somma 说。“ 我们只需对这些模式进行挖掘，来了解什么人在什么时候需要什么。这种预测分析帮助我们在合适时间、用合适的产品和服务接触合适的人。而 SPSS 为我们提供了进行这些分析的有力武器。” 揭示特定客户的需求，销售增加50% “ 账户的存款中哪种特征预示着客户可能会对某种投资感兴趣呢？这种购 买行为过去曾发生过很多次，可以帮助我们预测未来的购买行为。”Somma 说，“ 用 SPSS 对数据进行挖掘帮助我们揭开了统计关系，更重要的是，为我们说明 了这些关系的力度。这帮助我们在建立有效的营销策略的同时对资源进行优化。”Somma 和银行各个产品部门的同事在用SPSS 预测模型的基础上建立了成功 的营销策略。短短三年时间，银行数个产品线销售提高了50% 。 营销费用减少 30% 通过更精确地定位目标客户，美国汇丰银行不仅发现了对特定产品最有前景的客户，同时也节约了费用。“ 比如，在进行直邮活动，我们可以更加有针对性， 只寄出少量信件，而得到更高的回应率。在最近一次活动中，直接邮递的数量减少了三分之一，但销售收入仍相当于前次的95% 。这样就极大地增加了投资回 收率。 ”“没人希望淹没在不想要的产品信息中。通过用SPSS 进行数据挖掘，我们减少了对那些不符合特征的客户的打扰。” 提高了建立和开展实时营销战略的能力 根据 Somma 的讲述， SPSS 不仅帮助他们发现新的商业机会，而且比竞争者做得更快。“ 准备买存款证的客户可以买我们的，也可以买另一家银行的。这种情 况下速度是非常重要的。越快进行营销活动，效果就越好。SPSS 的易用性和强大的分析功能，使我们可以快速地建立模型。SPSS 具备我们所需的分析深度和 广度。而且，模型建立后，向产品线决策者发布也非常容易。您可以把逻辑展示给他们，而他们无需了解任何统计分析的知识就可以快速看到与过去购买某一 产品的客户类似的客户。” B6JgIVV9ao 美国 First Union公司 “ 作为这项研究的成果，现在我们确切明白了需要做什么来满足客户的需求和期望.” -First Union 的市场研究主管 Jim Robertson 面临问题 First Union 公司，美国第六大银行企业，需要检查其产品交付系统的性能需求和费用。希望把客户转移到低成本的渠道，但只是在发现这些新的渠道是可接受 的之后。 Market Advantage 公司的咨询顾问们致力于发现能更好地满足客户需求的产品和交付渠道的变革，把客户转移到低成本渠道，并保护 First Union 在 竞争激烈的金融服务市场中处于领先地位。 41 / 85 解决方案 “SPSS是我们战略服务中理想的分析工具。它的方便性和深度分析功能都是一流的。”Market Advantage 总裁 Jim Libby 说。作为金融业最大、最高级的数据 分析工程之一， Market Advantage 使用 SPSS 和咨询顾问公司合作，为First Union 发现和实施关键的交付渠道战略。该工程中，Market Advantage 首先进行 了计算机辅助调查，他们在80 个访问站从 3600多个金融服务客户中收集数据。这些客户明确回答了有关储蓄账户、抵押、信用卡、贷款和信托、以及产品交 付等方面的问题。由于First Union 主要通过其费用昂贵的交付渠道 金融中心来分发这些产品，它还希望了解其他可选的交付方式。 应用结果 通过多种方式的聚类分析，用不同的“ 命题” 确定商业目标。包括电信行业背景，需要实现的商业目标和成功标准等； b 形势评估。包括电信运营商拥有的资源、需求、假定和限制、风险偶然性、专业术语和成本收益等； c 在上述基础上确定数据挖掘的目标和成功标准； d 制定的工程计划和阶段性里程碑的设定说明。 明确挖掘的目的。在进行数据挖掘前，一定要明确挖掘的目标。因为电信业务变化快，不同的时期，挖掘的对象并不一样，挖掘目标也千差万别，而挖掘目的 不一样，决定了挖掘使用的模型和算法完全不一样。例如：电信开通新视通业务后，根据不同的类型用户对新视通业务的使用情况，预测2-3 个月内可能使用 该业务的用户类型，使用机率和话务量。 明确影响挖掘目的的可能因素和结果。影响用户消费行为的因素是多种多样的，要比较的指标也是多种多样的，所有这些因素均应在模型中考虑。比如，要考 虑 IP业务对用户的影响，不仅要分析用户性质，还要分析用户消费额度；不仅要分析已经使用IP业务的用户性质和消费额度分布，而且要分析已使用IP业务 的用户在未使用该业务前在原来的未开通IP业务用户中的分布和比例，还要分析使用IP业务的用户使用前和使用后消费行为的变化。ijCSTNGm0E 数据理解与数据准备 数据理解和数据准备在真实的数据挖掘工程中会占很大的比重，搜集所有需要的数据和数据质量的保证是数据挖掘结果正确与否的关键。 需要确定数据来源、确定数据整理方法。如对IP业务开通对用户行为的影响，原始数据来自用户资料、用户详单。根据上述确定的因素，定义原始指标和衍 生指标。vfB1pxanfk 建立模型 针对不同的数据挖掘目标和数据特性，应采用不同的挖掘算法建立模型，并对筛选出的每种候选模型进行数据处理并产生结果。目前在电信行业常用的算法 有： C5.0 决策树、 CART决策树、神经元网络和Logistic 回归等算法。JbA9VhEou1 模型检验 对产生的模型结果需要进行比对验证、准确度验证、支持度验证等检验以确定模型的价值。在这个阶段需要引入更多层面和背景的用户进行测试与验证，通过 对几种模型的综合比较，产生最后的优化模型。X7Ahr18pJI 模型发布与应用 建立和检验模型并不是数据挖掘的目的，只有把模型发布到相关决策者手中，才能使我们通过数据挖掘提高企业利润或降低企业成本。例如在研究客户流失这 个案例中，模型建立好后除了提交一份完整的报告和测试结果外，还需要通过发布工具将模型嵌入到用户的应用系统中，使决策者和相关管理者可以及时作出 决策，实施相应的市场措施。 模型发布后并不意味一个数据挖掘工程的结束，数据挖掘系统与业务系统间存在着作用与反作用的交互关系，随着时间的推移和数据的变化，这个闭环作用的 系统中的很多关键参数需要及时调整，才能保证挖掘结果的质量并延长其有效的生命周期。所以有时我们说“ 数据挖掘是一门科学，同时也是一门艺术” 。 b3zqXLCqXo 国内数据挖掘应用中存在的问题数据质量和完备性 46 / 85 国内电信运营商现有的、面向事务的数据在质量、完整性和一致性上存在许多问题，必须投入大量的精力去进行数据的抽取、净化和处理。此外，业务问题的 相关数据有时难以全面收集。例如客户信用是客户价值评估中的关键因素，但由于国内未建立完善的信用体系，无法根据现有客户数据建立优质的信用评价模 型，从而导致客户价值模型有效性的降低。pZyytu5rc5 相应的人员素质 在数据挖掘应用过程的多个环节中，人的主观辨识和控制是应用成败的关键，这就对系统使用人员提出了很高的要求。如果没有具备相应素质的使用和维护人 员，必将导致分析系统与现实脱钩，无法达到预期效果。DVyGZezsrM 应用周期 a 数据挖掘系统将会直接告诉你有关商业问题的答案； b 数据挖掘系统将在工作流程中替代专业业务管理人员的角色； c 数据挖掘系统的建设过程中无视内部的知识和专家经验； d 数据挖掘系统是理论性的、以研究学习为导向的方法。RQxPvY3tFs 数据挖掘工程的建议： 结合工程的投资确定数据挖掘工程的目标和回报周期，保证工程的可实施性。 a 数据挖掘工程整个实施流程的管理和控制是非常重要的； b 数据挖掘工程需要和用户的专业业务人员紧密配合，共同寻找答案； c 培训业务人员，传递产品技能，提供挖掘分析的技术支持，让业务专家而不是技术人员成为工程的主导者； d 需要提供外部观点和一般经验，同时与内部特色相结合； e 确保实际的，以结果为导向的工程原则。 本手册将从客户流失、客户细分、客户满意度和营销响应四个大方面，使用Clementine 具体讲述数据挖掘在电信行业的具体应用。5MxX1IxuU9 2.客户流失 随着电信体制的改革和不断深化，国内电信行业内部各大运营商之间的竞争日趋激烈。电信运营商为了获取更多的客户资源和占有更大的市场份额，往往采取 名目繁多的促销活动和层出不穷的广告宣传来吸引新客户。然而，统计发现，发展一个新客户比保持一个老客户的费用要高7 倍，而如果 “ 用户保持率 ” 增加 5% ，将有望为运营商带来 85% 的利润增长。因此，对老客户的保留直接关系到运营商的利益，无论是客户流失还是话务量流失都将对运营商的经营产生深远 的影响。针对这一问题，目前国外电信界应用最为广泛的解决方案之一，是应用数据挖掘技术，研究流失客户的特征，从而对流失进行预测、并对流失的后果 进行评估，采取客户保留措施，防止因客户流失而引发的经营危机，提升公司的竞争力。 具体说来，客户流失是指客户终止与企业的服务合同或转向其它公司提供的服务。客户流失分析是以客户的历史通话行为数据、客户的基础信息、客户拥有的 产品信息为基础，通过适当的数据挖掘手段，综合考虑流失的特点和与之相关的多种因素，从中发现与流失密切相关的特征，在此基础上建立可以在一定时间 范围内预测用户流失倾向的预测模型，为相关业务部门提供有流失倾向的用户名单和这些用户的行为特征，以便相关部门制定恰当的营销策略，采取针对性措 施，开展客户挽留工作。jIw5xs0v9P 客户流失需要解决的问题 1）哪些现有客户可能流失？ 客户流失的可能性预测。主要对每一个客户流失倾向性的大小进行预测。 2）现有客户可能在何时流失？ 如果某一客户可能流失，他会在多长时间内流失。 47 / 85 3）客户为什么流失？ 哪些因素造成了客户的流失，客户流失的重要原因是什么。主要对引起客户流失的诸因素进行预测和分析。 4）客户流失的影响？ 客户流失对客户自身会造成什么影响? 客户流失对电信公司的影响如何？对可能流失客户进行价值评估，该客户的价值影响了运营商将要付出多大的成本去保留该客户。 5）客户保留措施？ 针对电信公司需要保留的客户，制定客户和执行保留措施。xEve2buwnw 电信客户流失的类型 为了避免由客户流失造成的损失，必须找出那些有流失危险和最有价值的客户，并开展客户保留活动。电信行业的客户流失现象可以分为以下三种情况： 1）公司内客户转移：客户转移至本电信公司的不同网络或不同业务。主要是电信公司增加新业务，或者资费调整引发的业务转移，例如从普通的固定电话转 至 IP 电话。这种情况下，虽然就某个业务单独统计来看存在客户流失，并且会影响到公司的收入，但对公司整体而言客户没有流失。 2）客户被动流失：表现为电信运营商由于客户欺诈或恶意欠费等行为而主动终止客户使用网络和业务。这是由于电信运营商在客户开发的过程中忽视了客户 质量造成的。 3）客户主动流失：客户主动流失可分为两种情况。一种是客户不再使用任何一家电信运营商的电信业务；另一种是客户选择了另一家运营商，即所谓的“ 客户 跳网 ” 。“ 客户跳网 ” 的原因主要是客户认为公司不能提供他所期待的价值，即公司为客户提供的服务价值低于另一家电信运营商。这可能是客户对电信公司的 业务和服务不满意，也可能是客户仅仅想尝试一下别家公司提供而本公司未提供的新业务。这种客户流失形式是研究的主要内容。KAvmyVYxCd 如何进行客户流失分析？ 对于客户流失行为预测来说，需要针对客户流失的不同种类分别定义预测目标，即明确定义何为流失，进而区别处理。预测目标的准确定义对于预测模型的建 立是非常重要的，它是建立在对运营商的商业规则和业务流程的准确把握的基础之上。在客户流失分析中有两个核心变量：财务原因非财务原因，主动流失 被动流失。对不同的流失客户按该原则加以区分，进而制定不同的流失标准。例如，非财务原因主动流失的客户往往是高价值的客户，他们会正常支付服务 费用并容易对市场活动有所响应，这种客户是电信企业真正需要保留的客户。而对于非财务原因被动流失的客户，对于预测其行为的意义不大。 研究哪些客户即将流失时，是一个分类问题。将现有客户分为流失和不流失两类，选择适量的历史上流失客户和未流失客户的属性数据组成训练数据集，包 括：客户的历史通话行为数据、客户的基础信息、客户拥有的产品信息等。Clementine 提供人工神经网络，决策树，logistic 回归等模型用于建立客户流失的 分类模型。关于流失用户特征的分析，是一个属性约减和规则发现问题。Clementine 提供关联分析方法，可以发现怎样的规则导致客户流失。也可以利用 Clementine 的决策树方法，发现与目标变量 是否流失 关系最为紧密的用户属性。由于不同类型的客户可能具有不同的流失特征，因此，在进行深入的 客户流失分析时，需要先进行客户细分，再对细分之后的客户群分别进行挖掘。 在预测客户流失时一个很重要的问题是流失的时间问题，即一个客户即将要流失，那么它可能什么时候会流失。生存分析可可以解决这类问题。生存分析不仅 可以告诉分析人员在某种情况下，客户可能流失，而且还可以告诉分析人员，在这种情况下，客户在何时会流失。生存分析以客户流失的时间为响应变量进行 建模，以客户的人口统计学特征和行为特征为自变量，对每个客户计算出初始生存率，随着时间和客户行为的变化，客户的生存率也发生变化，当生存率达到 一定的阈值后，客户就可能流失。 分析客户流失对客户自身的影响时，主要可以考虑客户的流失成本和客户流失的受益分析。客户流失成本可以考虑流失带来的人际关系损失等因素，通过归纳 客户的通话特征来表征。减少客户流失的一个手段就是增加客户的流失成本。客户流失的受益分析就是判断客户流失的动机，是价格因素还是为了追求更好的 服务等。这方面内容丰富，需作具体分析。 48 / 85 分析客户流失对电信公司的影响时，不仅要着眼与对收入的影响，而且要考虑其他方面的影响。单个的客户流失对电信公司的影响可能是微不足道的，此时需 要研究流失客户群对电信公司收入或业务的影响。这时候可能需要对流失客户进行聚类分析和关联分析，归纳客户流失的原因，有针对性的制定防止客户流失 的措施。 在预测出有较大流失可能性的客户后，分析该客户流失对电信公司的影响。评估保留客户后的收益和保留客户的成本。如果收益大于成本，客户是高价值客 户，则采取措施对其进行保留。至于低价值客户，不妨任其流失甚至劝其流失。 总之在利用数据挖掘研究客户流失问题时，需要明确并深入理解业务目标，在明确的业务目标的基础上准备数据、建模，模型评估，最后将模型部署到企业 中。Ywuu4FszRT 案例分析 为了举例说明，我们设想为一个虚构的电信公司ABCTelcom 的客户流失建模。 ABCTelcom 原本是市场的领先者，但目前正受到来自其它电信公司日益激烈的 竞争。由于竞争对手接连推出了一系列新产品，并进行了大量的促销活动。最近半年来，ABCTelcom 的客户流失较为严重。为了保持其战略性市场主导地 位， ABCTelcom 公司计划开展客户保留活动。在活动进行之前，为了尽可能提高活动收益，ABCTelcom 需要对现有的客户的数据进行分析，从众多客户中找 出流失可能性高的优质客户并针对其开展活动。而对于流失可能性低或者保留成本大于收益的客户，则可以不展开活动。此外，客户流失预测也能帮助 ABCTelcom 发现那些申请服务后不久就欠费停机的客户，从而减少这类客户带来的损失。 1. 商业理解 预测现有客户在未来六个月内流失的概率并分析保留客户活动的成本和收益，针对收益大于成本的客户开展客户保留活动，以减少公司优质客户的流失。 2. 数据理解 a 数据说明 选取一定数量的客户信息 数据描述和图形 Clementine 提供了一系列数据描述和可视化的工具，可以帮助分析人员对数据分布以及数据之间的关系进行基本探索。这些工具包括：数据审核，统计分 析，网络图，直方图，散点图，两步聚类等等。 图 2.1 描述了客户的性别分布。可见，主动流失的客户以女性为主。而被动流失的客户男女比例基本持平。在三种客户状态中，被动流失的比例是最小的。 cstDApWA6A 图 2.1：用户流失与性别的关系 3.数据准备 在数据准备阶段，分析人员根据数据理解的结果准备建模用的数据，包括数据选择、新属性的派生，数据合并等。在本例中，由于长途通话时间，国际通话时 间和本地通话时间都是反映用户的对电话的使用情况，因此，将三者合并，得到新的通话总时间变量： 通话总时间 = 长途通话时间 + 国际通话时间 + 本地通话时间 由于用户编号是一个系统自动生成的属性，不具有实际意义，因此，在分析中将用户编号排除到模型之外。 4.建立模型 将准备的数据划分为训练集和检验集，首先利用C5.0 决策树模型进行属性约减，然后以约减后的属性为自变量，以是否流失为因变量，训练神经网络模型， 得到相应的客户流失预测模型。对检验集应用该模型，并根据预测结果的准确性评价模型。下图是模型建立和评估的数据流图。qotL69pBkh 图 2.2：Clementine 中对客户流失建模的数据流图 50 / 85 执行数据流， C5.0 算法得到的规则集如下图所示。可见其中年龄，收入，国际通话时间，本地通话时间和性别是最重要的五个变量。C5.0 得到的规则集里， 有三类客户很容易主动流失。但是这只是一个初始的分析结果，还需要使用神经网络对这五个变量进行进一步建模。EksTCSTCzX 图 2.3：Clementine 中对客户流失进行属性约减得到的结果 由于我们的关心是客户主动流失，因此派生一个新变量流失概率，如果是否流失属性为主动流失，则取值为1，否则取值为 0。采用年龄，收入，国际通话时 间，本地通话时间和性别为输入变量，流失概率为目标变量，根据数据集训练得到一个5-1-1 结构的神经网络模型信息如下。Sgs28CnDOE 图 2.4：Clementine 中采用神经网络对客户流失建模得到的结果 5. 模型评估和部署 对训练集应用神经网络模型，可以对每个客户流失的可能性打分。将客户按照流失概率由大到小排序，然后根据公式：价值=长途通话时间 *2 +国际通话时间 *5 51 / 85 + 本地通话时间 *1派生出每个客户的价值大小。分析客户价值和流失概率之间的关系，对高价值高流失概率的客户进行采取措施，如给与一定的优惠，进行挽 留，对低价值的客户可以任其流失。6craEmRE2k 图 2.5：模型评估