
2.1 Pandas科学计算库
在数据分析工作中,Pandas的使用频率是很高的。一方面是因为Pandas提供的基础数据结构DataFrame与JSON的契合度很高,转换起来很方便。另一方面,如果我们日常的数据清理工作不是很复杂的话,则使用Pandas代码就可以很方便地对数据进行规整。
2.1.1 初识Pandas
Pandas由AQR Capital Management于2008年开发,并于2009年年底开源发布,目前由专注于Python数据包开发的PyData开发团队继续开发和维护。
Pandas是基于NumPy构建的含有更高级数据结构和分析能力的工具包。Pandas的核心数据结构是Series和DataFrame,它们分别代表着一维的序列和二维的表结构。基于这两种数据结构,Pandas可以对数据进行导入、清洗、处理、统计和输出。它是支撑Python成为强大而高效的科学计算语言的重要因素之一。
由于Pandas是Python的第三方库,需要另外安装:

安装完成后,我们来查看Pandas版本,代码如下:

下面我们通过一个例子来体验Pandas的操作,感受它的科学计算能力。
【例2-1】 Pandas基本操作。


运行程序,输出如下:


在例2-1中,利用NumPy构建了一个Pandas库下的DataFrame对象,并对其进行了一些基本操作,以方便读者对Pandas进行理解。由结果可看出,Pandas在数据预处理与数据挖掘过程中起着非常重要的作用。
2.1.2 Pandas的相关操作
1. 数据结构
目前,Pandas中的数据结构有3种,分别为Series、DataFrame和Panel,如表2-1所示。
表2-1 Pandas中的3种数据结构

2. Series结构
Series是Pandas中最基本的对象,它定义了NumPy的ndarry对象的接口array(),因此可以利用NumPy的数组处理函数直接处理Series对象。一个Series是一个一维的数据对象,其中每一个元素都有一个标签,标签可以是数字或字符串。Series对象具有列表和字典的属性(字典的属性由索引赋予)。
Series的基本创建方式为:

其中:
• data:传入数据,可以传入多种类型。
• index:索引,在不指定index的情况下,默认数值索引range(0,len(data))。
【例2-2】 创建Series。

运行程序,输出如下:


3. DataFrame结构
DataFrame(数据框)是表格型的二维数据结构,特点如下。
• 列内的元素同类型,不同的列之间可以不相同。
• 索引有两个轴向:axis=0或'index'行,axis=1或'columns'列。分别用df.index(行名)与df.columns(列名)调用。
在数据处理中,使用数据框是非常便捷的;而系列(Series)我们却很少使用。DataFrame的基本创建方式为:

• data:传入数据,可以传入多种类型数据。
• index:列索引,不指定自动数值索引填充。
• columns:行索引,不指定自动数值索引填充。
【例2-3】 创建DataFrame。


运行程序,输出如下:

还可以使用字典创建DataFrame。例如:

运行程序,输出如下:

4. Panel结构
Panel创建的是三维的表,其创建方式为:

其中:
• items:坐标轴0,索引对应的元素是一个DataFrame。
• major_axis:坐标轴1,DataFrame里的行标签。
• minor_axis:坐标轴2,DataFrame里的列标签。
【例2-4】 创建三维数组,分别对应相应的item、major_axis和minor_axis。

运行程序,输出如下:

通过前面的介绍,可以初步了解Pandas在内存中的基本操作。需要注意,数据的行列信息(index、columns)。同时Pandas也支持本地读取文件,如pd.to_csv读取csv文件等,具体如表2-2所示。
表2-2 Pandas读取文件

5. 数据的选取与清洗
对DataFrame进行选择,要从3个层次考虑:行列、区域和单元格。
(1)使用方括号[]选取行列。
使用方括号[]选取,返回的是一维数组——行维度。输入要求是整数切片、标签切片、布尔数组,具体规则如表2-3所示。
表2-3 使用方括号[]选取行列规则

(2)df.loc[]用于标签定位,[]内为行和列的名称,下面直接通过一个例子来演示其用法。
【例2-5】 df.loc[]的用法。

运行程序,输出如下:


当然,获取某列数据最直接的方式是df.[列标签],但是当列标签未知时可以通过这种方式获取列数据。
需要注意的是,dataframe的索引[1:3]是包含1、2、3的,与平时的不同。
(3)df.iloc[]可通过行号获取行数据。下面通过一个例子来演示其用法。
【例2-6】 df.iloc[]的用法。

运行程序,输出如下:


(4)df.ix[]是iloc和loc的合体。下面通过一个例子来演示其用法。
【例2-7】 df.ix[]的用法。

运行程序,输出如下:

6. 数据清洗
无论是数据挖掘工程师、机器学习工程师,还是深度学习工程师,都非常了解数据真实性的重要性,数据真实性决定特征维度的选择规则。数据准备阶段(包含数据的抽取、清洗、转换和集成)的工作量常常占据全部工作的50%左右。而在数据准备的过程中,数据质量差又是最常见而且最令人头痛的问题之一。本节针对缺失值和特殊值这种数据质量问题提出了推荐的处理方法。
【例2-8】 构建DataFrame。


运行程序,输出如下:

利用dropna()可以实现对缺失值的处理,下面的代码实现了对df2缺失值的处理:



可用的填充方法如表2-4所示。
表2-4 可用的填充方法

注意:处理时间序列数据,使用pad/ffill十分常见,因此“最后已知值”在每个时间点都可用。ffill()等效于fillna(method= 'ffill'),bfill()等效于fillna(method= 'bfill')。

通常我们想用其他值替换任意值。在Series/DataFrame中可以使用replace(),它提供了一种高效而灵活的方法来执行此类替换。
【例2-9】 利用replace()对例2-8中的数据进行替换。


通常,在数据预处理时,如果数据特征维度比较大,则我们会丢弃一些弱特征。如果在DataFrame中需要标识和删除重复行,那么有两种有效的方法:duplicated和drop_duplicates。每种方法都将以标识重复行的列作为参数。
• duplicated:返回布尔向量,其长度为行数,并指示行是否重复。
• drop_duplicates:删除重复的行。
在默认情况下,重复集的第一个观察到的行被认为是唯一的,但每个方法都有一个keep参数来指定要保留的目标。
• kepp='first'(默认):除第一次出现外,标记/删除重复项。
• kepp='last':标记/删除除了最后一次出现的副本。
• kepp='False':标记/删除重复项。
【例2-10】 对例2-8中的数据进行标识和删除重复行。

