多语言展示
当前在线:1185今日阅读:61今日分享:18

如何做好数据收集与分析

做好数据收集和分析需要从以下几个方面入手:采集的样本要能够代表总体并且分布均匀,明确记录样本采集的条件和环境,使用高效的采样工具,预处理样本,利用统计指标或数据挖掘技术合理分析样本,分析统计结果的具体含义,备份样本和各个阶段的预处理样本。
方法/步骤
1

采集的样本要能够代表总体,并且分布均匀根据任务目标的不同,明确待采集样本的总体。不能把调研女性购物习惯的问卷广泛的撒给包括男生在内的所有人群,要精准投放调查。不能只调研商场购物的女性的特点,而忽略网络购物,小市场购物,海淘购物等女性客户的特点,要分布均匀。

2

明确记录样本采集的条件和环境不同条件下的采样样本,会有不同的表现。要详细的记录采样时的上下文,这样才能在以后分析的时候明确哪些可能是干扰因素,也能够帮助理解数据分析看到的一些现象。

3

使用高效的采样工具只有数据量大到一定程度,才具有统计学的意义,我们才可以根据数据分析结果得到统计学上的结论。因此,在短时间内,以较少的人力物力获得样本是很重要和必要的。如果研究领域有现成的采样工具就再好不过了,务必在采样之前详细调研和分析现有的采样工具,或者自行研究高效的采样工具和设计采样方法。

4

预处理样本采集到的数据质量参差不齐,会有数据错误,数据丢失的现象存在。因此,在真正利用数据进行分析之前,要对数据进行清洗。主要需要解决的问题是:如何使用残缺样本?某些样本有部分数据残缺,是因为没有采样到呢?还是因为某些样本就不应该有这些数据?需要人工分析下原因,再决定以何种方式补全样本的残缺属性或者丢弃样本。

5

利用统计指标或数据挖掘技术合理分析样本当采集好了大量的数据,肉眼是无法了解数据说明什么问题的。因此需要使用统计学上的常见指标或者数据挖掘技术来分析样本。统计学上的指标一般有概率分布,中位数,期望,方差,相关系数等。数据挖掘技术一般有聚类,分类,关联分析,时序分析等。

6

分析统计结果的具体含义统计学的结果得到了之后,我们还需要理解各个参数能够说明什么问题。这些参数的表现是否符合人们的常识和规律,如果不符合是因为什么原因造成的。然后根据统计结果来得出结论或者继续修正样本采集和分析的任务。

7

备份样本和各个阶段的预处理样本最重要的,好不容易采集好的样本,丢了或者弄出错实在可惜。所以要认真备份原始的样本以及各个阶段的预处理样本和相应的处理方法。这样即使当前数据出了错误,还可以回滚到原始的版本,而不会没有样本可用。

推荐信息