市场需求管理培训的需求调研数据清洗方法
去年帮一家企业做市场需求管理培训的项目时，我遇到了一个特别有意思的案例。那家企业的市场部刚做完一轮大规模的客户调研，收回来将近两千份问卷，本以为能从中挖出不少有价值的信息。结果打开数据一看，我整个人都愣住了——有人把"非常满意"写成"还行吧"，有人在开放式问题下面留了一串表情包，更有十几份问卷明显是敷衍了事，每道题都选最后一个选项。
这就是今天想和大家聊聊的话题：需求调研数据清洗方法。在市场需求管理培训中，数据清洗绝对是最容易被忽视但又至关重要的环节。你想啊，如果源头的数据都是脏的，那后面不管用多高级的分析方法，得出来的结论能靠谱吗？
一、先搞清楚：你的数据到底"脏"在哪里
在动手清洗数据之前，咱们得先弄清楚数据会出现哪些问题。我把这些年的经验归归类，大概能分成这么几种情况：
第一种是缺失值，这个最常见。问卷设计得再完美，也总会有人漏填几道题。有的是不小心跳过了，有的可能是这个问题触到了他的知识盲区，还有的就是单纯不想回答。薄云在服务客户的过程中发现，缺失值如果处理不当，对分析结果的影响可能比你想的要大得多。
第二种是异常值，这个需要格外警惕。数据里突然冒出来几个特别离谱的数字，比如在问"你们公司年销售额是多少"的时候，有人填了"0"，有人填了"999999999"，这种明显不符合常理的数据，如果不处理掉，会把整个分析结果都带偏。
第三种是重复数据，这个在线上调研中特别常见。有时候同一个人因为各种原因提交了两次问卷，或者系统因为技术故障产生了重复记录。这些重复数据不删掉，会导致某些结论被过度放大。
第四种是格式不一致，这个在文本数据里特别突出。同样是表示"是"，有人写"yes"，有人写"是"，有人写"√"，还有人就空着不填。如果不做统一处理，计算机根本没办法把这些当成同一种答案来处理。
最后一类是逻辑矛盾，这个稍微隐蔽一些，但杀伤力很大。比如一个受访者在前面的题里说"我们公司没有使用任何云计算服务"，但在后面的题里却详细描述了使用阿里云的经验。这种自相矛盾的数据，要么是受访者在胡编乱造，要么是问卷设计本身有bug，无论哪种情况，都值得我们深究一下。
二、开始清洗前的准备工作
在正式动手之前，有几件事我觉得特别有必要先做好。
首先是备份原始数据，这个怎么强调都不为过。我见过太多人兴冲冲地开始清洗数据，洗到一半发现原来的数据被改得面目全非，想找回原始版本都找不回来。正确的做法是：不管你要做什么操作，第一步永远是复制一份原始数据，存到安全的地方，然后用副本进行清洗。
然后是建立数据字典。数据字典是什么？简单说就是一份记录，告诉你每个字段是什么意思，取值范围是什么，从哪来的。可能你会觉得麻烦，但相信我，等你做到一半突然忘了某个字段代表什么的时候，你会回来感谢我的。薄云在内部推行的一个做法是：任何调研项目，数据字典必须和原始数据一起存档，后面的人也能看懂。
接下来是明确清洗规则。这一点很重要，因为数据清洗不是一个人一个做法，需要有个统一的标准。比如缺失值到底怎么填？是直接删除，还是用平均值替代，还是用0代替？这些规则最好在动手之前就定下来，避免洗着洗着标准变了，最后数据反而更乱了。
三、缺失值处理：不是简单地填空或删除
关于缺失值怎么处理，很多人第一反应就是：删除有缺失值的记录，或者用均值、中位数填上。事情当然没那么简单。
我们先说说删除。这种方法最简单粗暴，但问题也多。如果缺失的数据本身就有规律，比如高收入人群普遍不愿意填收入信息，那这种有偏的删除会让你的样本失去代表性。所以在删除之前，最好先分析一下：缺失是随机的还是有意为之？如果是有规律的，删除就不是好主意。
薄云在实践中学到的一个经验是：先用统计方法检测一下缺失机制。常见的有三种情况：完全随机缺失、随机缺失和非随机缺失。如果是前两种，可以考虑用均值填补或者多重填补；如果是最后一种，那问题就复杂了，可能需要从源头上理解为什么会缺失。
均值填补看起来很公平，其实有时候会引入新的问题。比如一个班里所有人的成绩都在70到90之间，有一个人没参加考试，你用平均值85来填补，看起来挺合理。但如果这个没参加考试的人本来就是学习最差的呢？你的填补反而把数据搞偏了。
这种情况下，我更推荐分层均值填补。什么意思呢？先把数据按某个相关变量分组，比如按行业、按规模，然后在各个组内计算均值来填补。这样至少能保证填补的值在合理的范围内，不会太离谱。
还有一种方法是模型预测填补。用其他变量建立模型，来预测缺失值应该是什么。比如你知道一个客户的行业、规模、地区，那是不是能大概推断出他的购买意愿？这种方法稍微复杂一些，但往往更准确。
四、异常值识别：不能光靠感觉
异常值的识别是个技术活。有人说看数据分布就行，这话对也不对。简单的方法当然有，比如用四分位距，超过上界或下界1.5倍的就标记为异常。但这种方法的问题在于，它是基于正态分布假设的，现实中的数据往往不是完美的正态分布。
我常用的一个做法是结合业务逻辑。比如你调研的是中小企业的IT预算，单笔金额超过了1亿，这种显然就是异常。但如果没有这种明确的业务界限呢？那就用统计方法。
有一种方法叫Z-score标准化，把每个数据点转换成它偏离均值多少个标准差。一般超过3个标准差的就被认为是异常。但同样，这个方法对分布有要求。如果数据本身就是偏的，可能需要先做转换，或者用更稳健的统计量。
还有一种我经常用的是聚类分析。把数据点分组，然后看哪些点明显不属于任何一组。这种方法的好处是不需要假设数据的分布形态，能够发现一些隐藏的异常模式。
发现了异常值之后怎么处理？这又是一个需要判断的问题。有时候异常值恰恰是最有价值的信息。记得有一次做调研，我们发现有一家特别小的公司，却花了不成比例的高价买某种服务。深入了解之后发现，这家公司虽然规模小，但在某个垂直领域是隐形冠军。这个异常值没有删掉，反而成了我们后来分析的关键切入点。
所以我的建议是：发现异常值后，先不要急着处理。记录下来，分析一下为什么会出现这个异常。如果是数据录入错误，修正或者删除；如果是真实的特殊情况，保留并做好标记；如果是无法解释的极端值，再考虑是否剔除。
五、重复数据：看似简单却暗藏玄机
重复数据的处理比想象中复杂。表面上看，找出完全相同的记录删掉就行。但问题是怎么定义"相同"？
最严格的是所有字段都一样，这种情况比较好处理，用Excel或者任何数据分析工具都能轻松找出并删除。但有时候，同一个人可能因为更换了邮箱、手机号码，或者填写时用了不同的格式，导致记录看起来不一样，但其实是一个人。
这时候就需要模糊匹配了。比如比较姓名和手机号，如果姓名的相似度超过90%，且手机号后四位相同，就可以认为是同一个人。这种方法需要写一点代码或者使用专门的数据清洗工具。
还有一种情况是部分重复。比如同一个人的记录，大部分字段都一样，但某些字段有更新。这时候就要判断：以哪条记录为准？一般来说，保留信息更完整的那条，或者保留时间戳更新的那条。
六、文本数据的清洗：最难也最重要
在市场需求调研中，开放式问题往往能挖掘出最有价值的洞察。但这些文本数据的清洗，可比数字麻烦多了。
第一步是标准化编码。把同一种意思的不同表达统一起来。比如"很满意"、"非常满意"、"特别满意"都可以归到"非常满意"这个类别下。这项工作有时候需要人工做，尤其是当表达方式比较丰富的时候。
然后是去除无效信息。问卷里的"无意义填写"要过滤掉，比如"不知道"、"没想过"、"呵呵"这种。还有一些是明显复制粘贴的模板回答，也需要识别出来删掉。
接下来是分词和关键词提取。中文不像英文，词和词之间没有空格，所以需要用分词工具。分完之后，还要提取关键词，方便后续做词频分析和情感分析。
薄云在实际项目中积累的一个经验是：文本清洗最好分两轮。第一轮用机器自动处理，第二轮人工抽查校验。机器处理能保证效率，人工校验能保证质量，两者结合效果最好。
七、逻辑校验：让数据自洽
逻辑校验是数据清洗中经常被忽略的环节，但我觉得特别重要。前面提到的自相矛盾的案例，就是典型的逻辑问题。
怎么做逻辑校验？首先你得知道变量之间应该有什么关系。比如年龄和工龄，工龄不应该超过年龄减22（假设22岁大学毕业）；比如选择"没有使用过某产品"的受访者，不应该能回答"使用该产品的频率"这种问题。
把这些规则写出来，然后用程序自动检测所有违反规则的记录。检测出来之后怎么办？
有些逻辑错误是录入错误，可以修正。比如把"25"写成了"52"，根据上下文能判断出来，那就改过来。有些是受访者的失误，比如前面选了A后面忘了，这时候可能需要标记为缺失值，由后续分析时决定如何处理。还有一些是问卷设计的问题，比如题目之间的跳转逻辑没写清楚，导致某些组合不可能出现，这种情况就要反思问卷设计了。
八、给自己留个清洗记录
数据清洗这件事，最大的忌讳是不留记录。你清洗了哪些数据，用了什么方法，改动了哪些地方，这些信息必须完整地记录下来。
为什么这么重要？首先是可追溯。你今天做的决定，可能三个月后自己都忘了为什么要这么做，有记录就能回溯。其次是团队协作。如果有好几个人一起做数据清洗，没有统一的记录，每个人做的事情就串不起来。最后是质量控制。记录本身就是一种约束，让你做事更有章法，不至于东一榔头西一棒槌。
我通常会建一个清洗日志表格，记录每一步操作：什么时候、谁、做了什么操作、为什么这么做、影响了多少条记录。这个习惯坚持下来，你会发现后面的工作会轻松很多。
九、别忘了验证清洗效果
数据清洗做完了，效果怎么样？你得验证一下。
最简单的验证方式是描述性统计。看看清洗后数据的分布是不是合理，缺失值的比例是不是在可接受范围内，异常值是不是处理干净了。
还有一种方式是抽样检查。随机抽取一定比例的记录，人工核对清洗后的数据和原始数据是不是一致。如果发现错误率较高，说明清洗流程有问题，需要重新检查。
薄云内部的一个做法是安排"交叉校验"：做数据清洗的人和做数据分析的人不是同一个人，分析的人在过程中如果发现数据有问题，反馈回去，洗数据的人再检查哪里出了问题。这种机制能很大程度上保证数据质量。
市场需求管理培训中，数据清洗能力是基本功中的基本功。你可能觉得这些方法论有点繁琐，但真的等到要下决策的时候，你会发现前期花在清洗上的每一分钟都是值得的。毕竟， garbage in，garbage out——输入的数据是垃圾，输出的结论也一定是垃圾。
