Q&A

Q1：数据互联行业主要是指哪些业务？

A1：数据互联是明略将第三方数据引入到企业中和企业自有数据结合起来去做数据挖掘的业务，这个业务需要对第三方数据如何与企业数据融合，去进行数据挖掘有比较深的理解。

简单的说，就是帮助用户分析需要什么样的数据，以及从何处去获得这些数据，外部数据和内部数据如何打通，如何去数据挖掘。

Q2：请问领域知识和数据专业知识哪个在实际工作中起的作用更大？

A2：领域知识和数据专业知识应用的场景不一样。在进行数据挖掘之前，我们首先需要有领域知识。必须明白要解决的问题是什么。只有有了领域知识，并且有数据知识，才能把业务转化为数据挖掘的问题，在进行数据挖掘过程中，数据挖掘知识可能是更关键的，因为你要知道如何去解决这个问题。但是，进行数据挖掘时，还必须根据业务对模型进行调整。

刚才我也说了，模型调优必须建立合理的评价指标。这个评价指标根据不同的业务可能是不一样的。所以必须有业务知识才能知道如何去调优，才能知道什么样的模型是符合业务需要的，所以，在实际的数据挖掘过程中，领域知识和数据挖掘专业知识都是非常重要的，如果缺乏了任何一种，可能都很难取得比较好的效果。另外大数据挖掘中大数据处理能力也很重要，如果不会处理大数据，或者没有良好的编程能力，也是很难做好的。

Q3：请问一下明略大数据在特征工程上有哪些比较好的经验呢？

A3：其实特征工程是一个非常dirty的活，需要大量的尝试性工作，明略的经验就是，在做特征工程时，了解业务是第一位，然后需要深入的去调查客户的每一张表，搞明白每一张表的每一个字段，以及字段间的关联关系，我们在实际工作中，经常要调研几百张表去找到我们需要的数据，此外，作为一个合格的数据挖掘人员，或者数据科学家，敏锐力非常重要，能够结合业务知道可以从数据中提取哪些特征。特征提取出来之后，是否是一个好的特征其实是不知道的。我们可以大胆的尝试，多选取一些特征过来。然后在通过特征选择去进行筛选。特征工程是实际建模中最耗人力的过程。我们建模大概70-80%的时间都耗费在这个上面。

Q4：请问在进行数据挖掘之前的怎么解决数据质量问题？

A4：坦白的说，数据质量也是困扰我们的问题，目前我们遇到的客户，坦白的说数据很多都是碎片化的。可能是因为之前他们忽略了某些数据的收集，或者他们的数据只是总体样本的一小部分，对于第一种客户，我们会帮助他们制定如何去收集更多的数据，只有数据有了积累，数据质量问题才会解决。对于第二种客户，我们会帮助引入第三方数据，用第三方数据来补充客户现有的数据，大数据的数据质量差是有目共睹的，但是，正是由于数据量大，数据类型多，我们才能从大数据的沙子中挖到金子。如果传统数据是富矿石，大数据就是贫矿石，大数据数据只能以量去取代质。

Q5：目前未回答问题中排名最高的是这个：二分类分类算法中，负面情况占比很小，训练集数据负面数据如何按比例分？训练集需要调高负面数据的比例吗？对算法有什么影响？

A5：分类问题中对正负样本的平衡是必须的，这个也是影响最后分类结果的一个很重要的因素，如果样本不平衡，能做的事情是样本增益和样本抽样。比如正样本远远小于负样本，可以对正样本进行复制，或者加上随机扰动来扩充正样本，或者直接对负样本进行抽样。达到一定的正负样本比，这样最终的效果会比较好。我们的经验是正负样本比1:5左右比较适合，达到一定的正负样本比，这样最终的效果会比较好。我们的经验是正负样本比1:5左右比较适合。