2018-06-02

From Excel to Python——Data Analysis

Summary

This note introduces how to use Python to complete data processing and analysis in Excel through functional programming by comparing the functions of Python and Excel. Through these functions, we will introduce how to use Python to complete data generation and import, data cleaning, preprocessing, and the most common operations such as data classification, data filtering, classification and summary, and perspective.

生成数据表

常见的生成数据表的方法有两种，第一种是导入外部数据，第二种是直接写入数据。

Python支持从多种类型的数据导入。在开始使用Python进行数据导入前需要先导入pandas库，为了方便起见，我们也同
时导入numpy库。

1 2	import numpy as np import pandas as pd

在这篇文章中，我们使用如下缩写：

df：任意的Pandas DataFrame对象
s：任意的Pandas Series对象
Tips：对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。
如果你想学习Pandas，建议先看两个网站。

（1）官网：Python Data Analysis

（2）十分钟入门Pandas ：10 Minutes to pandas

导入数据表

下面分别是从excel和csv格式文件导入数据并创建数据表的方法。代码是最简模式，里面有很多可选参数设置，例如列名称，索引列，数据格式等等。

1
2
3

常用：
df=pd.DataFrame(pd.read_csv('name.csv',header=1))
df=pd.DataFrame(pd.read_excel('name.xlsx'))

扩展：
pd.read_table(filename)：从限定分隔符的文本文件导入数据
pd.read_sql(query, connection_object)：从SQL表/库导入数据
pd.read_json(json_string)：从JSON格式的字符串导入数据
pd.read_html(url)：解析URL、字符串或者HTML文件，抽取其中的tables表格
pd.read_clipboard()：从你的粘贴板获取内容，并传给read_table()
pd.DataFrame(dict)：从字典对象导入数据，Key是列名，Value是数据

创建数据表

另一种方法是通过直接写入数据来生成数据表，excel中直接在单元格中输入数据就可以，python中通过下面的代码来实现。生成数据表的函数是pandas库中的DateFrame函数，数据表一共有6行数据，每行有6个字段。在数据中特意设置了一些NA值和有问题的字段，例如包含空格等。将在数据清洗步骤进行处理。统一以DataFrame的简称df来命名数据表。

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],
                   "date":pd.date_range('20130102', periods=6),
                   "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
                   "age":[23,44,54,32,34,32],
                   "category":['100-A','100-B','110-A','110-C','210-A','130-F'],
                   "price":[1200,np.nan,2133,5433,np.nan,4432]},
                   columns =['id','date','city','category','age','price'])

这是刚刚创建的数据表，我们没有设置索引列，price字段中包含有NA值，city字段中还包含了一些脏数据。

df

     id       date         city category  age   price
0  1001 2013-01-02     Beijing     100-A   23  1200.0
1  1002 2013-01-03           SH    100-B   44     NaN
2  1003 2013-01-04   guangzhou     110-A   54  2133.0
3  1004 2013-01-05     Shenzhen    110-C   32  5433.0
4  1005 2013-01-06     shanghai    210-A   34     NaN
5  1006 2013-01-07     BEIJING     130-F   32  4432.0

数据表检查

对数据表进行检查，python中处理的数据量通常会比较大，数据量都在千万级，我们无法一目了然的了解数据表的整体情况，必须要通过一些方法来获得数据表的关键信息。
数据表检查的另一个目的是了解数据的概况，例如整个数据表的大小，所占空间，数据格式，是否有空值和重复项和具体的数据内容。为清洗和预处理做好准备。

数据维度（行列）

Excel中可以通过CTRL+向下的光标键，和CTRL+向右的光标键来查看行号和列号。
Python中使用shape函数来查看数据表的维度，也就是行数和列数，函数返回的结果(6,6)表示数据表有6行，6列。下面是具体的代码。

1
2
3

df.shape

(6, 6)

数据表信息

使用info函数查看数据表的整体信息，这里返回的信息比较多，包括数据维度，列名称，数据格式和所占空间等信息。

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 6 entries, 0 to 5
Data columns (total 6 columns):
id          6 non-null int64
date        6 non-null datetime64[ns]
city        6 non-null object
category    6 non-null object
age         6 non-null int64
price       4 non-null float64
dtypes: datetime64[ns](1), float64(1), int64(2), object(2)
memory usage: 368.0+ bytes

查看数据格式

Excel中通过选中单元格并查看开始菜单中的数值类型来判断数据的格式。Python中使用dtypes函数来返回数据格式。
dtypes是一个查看数据格式的函数，可以一次性查看数据表中所有数据的格式，也可以指定一列来单独查看。

# 查看数据表各列格式
df.dtypes
Out[3]: 
id                   int64
date        datetime64[ns]
city                object
category            object
age                  int64
price              float64
dtype: object

#查看单列格式
df['city'].dtype
dtype('o')

查看空值

Excel中查看空值的方法是使用“定位条件”功能对数据表中的空值进行定位。“定位条件”在“开始”目录下的“查找和选择”目录中。
Isnull是Python中检验空值的函数，返回的结果是逻辑值，包含空值返回True，不包含则返回False。可以对整个数据表进行检查，也可以单独对某一列进行空值检查。

#检查数据空值
df 
Out[8]: 
     id       date         city category  age   price
0  1001 2013-01-02     Beijing     100-A   23  1200.0
1  1002 2013-01-03           SH    100-B   44     NaN
2  1003 2013-01-04   guangzhou     110-A   54  2133.0
3  1004 2013-01-05     Shenzhen    110-C   32  5433.0
4  1005 2013-01-06     shanghai    210-A   34     NaN
5  1006 2013-01-07     BEIJING     130-F   32  4432.0

df.isnull()
Out[9]: 
      id   date   city  category    age  price
0  False  False  False     False  False  False
1  False  False  False     False  False   True
2  False  False  False     False  False  False
3  False  False  False     False  False  False
4  False  False  False     False  False   True
5  False  False  False     False  False  False

#检查特定列空值
df['price'].isnull()
Out[10]:  
0    False
1     True
2    False
3    False
4     True
5    False
Name: price, dtype: bool

查看唯一值

Excel中查看唯一值的方法是使用“条件格式”对唯一值进行颜色标记。Python中使用unique函数查看唯一值。
Unique是查看唯一值的函数，只能对数据表中的特定列进行检查。下面是代码，返回的结果是该列中的唯一值。类似与Excel中删除重复项后的结果。

#查看city列中的唯一值
df['city'].unique()
Out[11]: 
array(['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], dtype=object)

查看数据表数值

Python中的Values函数用来查看数据表中的数值。以数组的形式返回，不包含表头信息。

#查看数据表的值
df.values
Out[12]: 
array([[1001, Timestamp('2013-01-02 00:00:00'), 'Beijing ', '100-A', 23,
        1200.0],
       [1002, Timestamp('2013-01-03 00:00:00'), 'SH', '100-B', 44, nan],
       [1003, Timestamp('2013-01-04 00:00:00'), ' guangzhou ', '110-A', 54,
        2133.0],
       [1004, Timestamp('2013-01-05 00:00:00'), 'Shenzhen', '110-C', 32,
        5433.0],
       [1005, Timestamp('2013-01-06 00:00:00'), 'shanghai', '210-A', 34,
        nan],
       [1006, Timestamp('2013-01-07 00:00:00'), 'BEIJING ', '130-F', 32,
        4432.0]], dtype=object)

查看列名称

Colums函数用来单独查看数据表中的列名称。

#查看列名称
df.columns
Out[13]: 
Index(['id', 'date', 'city', 'category', 'age', 'price'], dtype='object')

查看前3行数据

Head函数用来查看数据表中的前N行数据，默认head()显示前10行数据，可以自己设置参数值来确定查看的行数。下面的代码中设置查看前3行的数据。

#查看前3行数据
df.head(3)
Out[14]:
 id       date         city category  age   price
0  1001 2013-01-02     Beijing     100-A   23  1200.0
1  1002 2013-01-03           SH    100-B   44     NaN
2  1003 2013-01-04   guangzhou     110-A   54  2133.0

查看后10行数据

Tail行数与head函数相反，用来查看数据表中后N行的数据，默认tail()显示后10行数据，可以自己设置参数值来确定查看的行数。下面的代码中设置查看后3行的数据。

#查看最后3行
df.tail(3)
Out[15]:
id       date      city category  age   price
3  1004 2013-01-05  Shenzhen    110-C   32  5433.0
4  1005 2013-01-06  shanghai    210-A   34     NaN
5  1006 2013-01-07  BEIJING     130-F   32  4432.0

数据清洗

对数据表中的问题进行清洗。主要内容包括对空值，大小写问题，数据格式和重复值的处理。这里不包含对数据间的逻辑验证。

处理空值(删除或填充)

在创建数据表的时候在price字段中故意设置了几个NA值。对于空值的处理方式有很多种，可以直接删除包含空值的数据，也可以对空值进行填充，比如用0填充或者用均值填充。还可以根据不同字段的逻辑对空值进行推算。

Excel中可以通过“查找和替换”功能对空值进行处理，将空值统一替换为0或均值。也可以通过“定位”空值来实现。
Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。
Parameters:

axis : {0 or ‘index’, 1 or ‘columns’}, default 0
0, or ‘index’ : 删掉包含空值的行
1, or ‘columns’ : 删掉包含空值的列

how : {‘any’, ‘all’}, default ‘any’
any: 有NA，删掉行或列
all：所有值为NA，删掉行或列

thresh : int, optional
需要非空值限制
df.dropna(thresh=2)
Keep only the rows with at least 2 non-NA values.

inplace :bool, default False
Keep the DataFrame with valid entries in the same variable.
df.dropna(inplace=True)

#删除数据表中含有空值的行
df.dropna()
Out[16]: 
     id       date         city category  age   price
0  1001 2013-01-02     Beijing     100-A   23  1200.0
2  1003 2013-01-04   guangzhou     110-A   54  2133.0
3  1004 2013-01-05     Shenzhen    110-C   32  5433.0
5  1006 2013-01-07     BEIJING     130-F   32  4432.0

除此之外也可以使用数字对空值进行填充，下面的代码使用fillna函数对空值字段填充数字0。

1 2	#使用数字0填充数据表中空值 df.fillna(value=0)

选择填充的方式来处理空值，使用price列的均值来填充NA字段，同样使用fillna函数，在要填充的数值中使用mean函数先计算price列当前的均值，然后使用这个均值对NA进行填充。可以看到两个空值字段显示为3299.5.

# 使用price均值对NA进行填充
df['price'].fillna(df['price'].mean())
Out[17]: 
0    1200.0
1    3299.5
2    2133.0
3    5433.0
4    3299.5
5    4432.0
Name: price, dtype: float64

1	df['price'] = df['price'].fillna(df['price'].mean())

df
Out[18]: 
     id       date         city category  age   price
0  1001 2013-01-02     Beijing     100-A   23  1200.0
1  1002 2013-01-03           SH    100-B   44  3299.5
2  1003 2013-01-04   guangzhou     110-A   54  2133.0
3  1004 2013-01-05     Shenzhen    110-C   32  5433.0
4  1005 2013-01-06     shanghai    210-A   34  3299.5
5  1006 2013-01-07     BEIJING     130-F   32  4432.0

清理表格

除了空值，字符中的空格也是数据清洗中一个常见的问题，下面是清除字符中空格的代码。

1 2	#清除city字段中的字符空格 df['city']=df['city'].map(str.strip)

大小写转换

在英文字段中，字母的大小写不统一也是一个常见的问题。Excel中有UPPER，LOWER等函数，python中也有同名函数用来解决大小写的问题。在数据表的city列中就存在这样的问题。将city列的所有字母转换为小写。

#city列大小写转换
df['city']=df['city'].str.lower()

df
Out[29]: 
     id       date       city category  age   price
0  1001 2013-01-02    beijing    100-A   23  1200.0
1  1002 2013-01-03         sh    100-B   44  3299.5
2  1003 2013-01-04  guangzhou    110-A   54  2133.0
3  1004 2013-01-05   shenzhen    110-C   32  5433.0
4  1005 2013-01-06   shanghai    210-A   34  3299.5
5  1006 2013-01-07    beijing    130-F   32  4432.0

更改数据格式

Excel中通过“设置单元格格式”功能可以修改数据格式。Python中通过astype函数用来修改数据格式。
Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式。下面的代码中将price字段的值修改为int格式。

df['price'].astype('int')
Out[30]:  
0    1200
1    3299
2    2133
3    5433
4    3299
5    4432
Name: price, dtype: int32

更改列名字

#更改列名称
df = df.rename(columns={'category': 'category-size'})
df
Out[31]: 
     id       date       city category-size  age  price
0  1001 2013-01-02    beijing         100-A   23   1200
1  1002 2013-01-03         sh         100-B   44   3299
2  1003 2013-01-04  guangzhou         110-A   54   2133
3  1004 2013-01-05   shenzhen         110-C   32   5433
4  1005 2013-01-06   shanghai         210-A   34   3299
5  1006 2013-01-07    beijing         130-F   32   4432

删除重复值

很多数据表中还包含重复值的问题，Excel的数据目录下有“删除重复项”的功能，可以用来删除数据表中的重复值。默认Excel会保留最先出现的数据，删除后面重复出现的数据。
Python中使用drop_duplicates函数删除重复值。我们以数据表中的city列为例，city字段中存在重复值。默认情况下drop_duplicates()将删除后出现的重复值(与excel逻辑一致)。增加keep=’last’参数后将删除最先出现的重复值，保留最后的值。下面是具体的代码和比较结果。

# city列中beijing存在重复，分别在第一位和最后一位。
df['city']
0      beijing
1           sh
2    guangzhou
3     shenzhen
4     shanghai
5      beijing
Name: city, dtype: object

使用默认的drop_duplicates()函数删除重复值，从结果中可以看到第一位的beijing被保留，最后出现的beijing被删除。

#删除后出现的重复值
df['city'].drop_duplicates()
0      beijing
1           sh
2    guangzhou
3     shenzhen
4     shanghai
Name: city, dtype: object

设置keep=’last‘’参数后，与之前删除重复值的结果相反，第一位出现的beijing被删除，保留了最后一位出现的beijing。

#删除先出现的重复值
df['city'].drop_duplicates(keep='last')
1           sh
2    guangzhou
3     shenzhen
4     shanghai
5      beijing
Name: city, dtype: objec

数值修改和替换

数据清洗中最后一个问题是数值修改或替。

Excel中使用“查找和替换”功能就可以实现数值的替换。
Python中使用replace函数实现数据替换。数据表中city字段上海存在两种写法，分别为shanghai和SH。我们使用replace函数对SH进行替换。

#数据替换
df['city'].replace('sh', 'shanghai')
0      beijing
1     shanghai
2    guangzhou
3     shenzhen
4     shanghai
5      beijing
Name: city, dtype: object

数据预处理

数据的预处理，对清洗完的数据进行整理以便后期的统计和分析工作。主要包括数据表的合并，排序，数值分列，数据分组及标记等工作。

数据表合并

对不同的数据表进行合并，首先创建一个新的数据表df1，并将df和df1两个数据表进行合并。

# 创建df1数据表
df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})

	gender	id	m-point	pay
0	male	1001	10	Y
1	female	1002	12	N
2	male	1003	20	Y
3	female	1004	40	Y
4	male	1005	40	N
5	female	1006	40	Y
6	male	1007	30	N
7	female	1008	20	Y

使用merge函数对两个数据表进行合并，合并的方式为inner，将两个数据表中共有的数据匹配到一起生成新的数据表。并命名为df_inner。

1	df_inner=pd.merge(df,df1,how='inner')

	id	date	city	category	age	price	gender	m-point	pay
0	1001	2013-01-02	beijing	100-A	23	1200	male	10	Y
1	1002	2013-01-03	shanghai	100-B	44	3299	female	12	N
2	1003	2013-01-04	guangzhou	110-A	54	2133	male	20	Y
3	1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y
4	1005	2013-01-06	shanghai	210-A	34	3299	male	40	N
5	1006	2013-01-07	beijing	130-F	32	4432	female	40	Y

how除了inner方式以外，合并的方式还有left,right和outer方式。

设置索引列

完成数据表的合并后，我们对df_inner数据表设置索引列，索引列的功能很多，可以进行数据提取，汇总，也可以进行数据筛选等。设置索引的函数为set_index。

1	df_inner.set_index('id')

	date	city	category	age	price	gender	m-point	pay
id
1001	2013-01-02	beijing	100-A	23	1200	male	10	Y
1002	2013-01-03	shanghai	100-B	44	3299	female	12	N
1003	2013-01-04	guangzhou	110-A	54	2133	male	20	Y
1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y
1005	2013-01-06	shanghai	210-A	34	3299	male	40	N
1006	2013-01-07	beijing	130-F	32	4432	female	40	Y

排序（按索引，按数值）

Excel中可以通过数据目录下的排序按钮直接对数据表进行排序，比较简单。Python中需要使用sort_values函数和sort_index函数完成排序。

1	df_innner.sort_values(by=['age'])

	id	date	city	category	age	price	gender	m-point	pay
0	1001	2013-01-02	beijing	100-A	23	1200	male	10	Y
3	1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y
5	1006	2013-01-07	beijing	130-F	32	4432	female	40	Y
4	1005	2013-01-06	shanghai	210-A	34	3299	male	40	N
1	1002	2013-01-03	shanghai	100-B	44	3299	female	12	N
2	1003	2013-01-04	guangzhou	110-A	54	2133	male	20	Y

Sort_index函数用来将数据表按索引列的值进行排序。

1	df_inner.sort_index()

	id	date	city	category	age	price	gender	m-point	pay
0	1001	2013-01-02	beijing	100-A	23	1200	male	10	Y
1	1002	2013-01-03	shanghai	100-B	44	3299	female	12	N
2	1003	2013-01-04	guangzhou	110-A	54	2133	male	20	Y
3	1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y
4	1005	2013-01-06	shanghai	210-A	34	3299	male	40	N
5	1006	2013-01-07	beijing	130-F	32	4432	female	40	Y

数据分组

Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组，或者使用“数据透视表”来完成分组。相应的 python中使用where函数完成数据分组。

Where函数用来对数据进行判断和分组，下面的代码中我们对price列的值进行判断，将符合条件的分为一组，不符合条件的分为另一组，并使用group字段进行标记。

如果price列的值>3000，group列显示high，否则显示low。

1	df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')

	id	date	city	category	age	price	gender	m-point	pay	group
0	1001	2013-01-02	beijing	100-A	23	1200	male	10	Y	low
3	1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y	high
5	1006	2013-01-07	beijing	130-F	32	4432	female	40	Y	high
4	1005	2013-01-06	shanghai	210-A	34	3299	male	40	N	high
1	1002	2013-01-03	shanghai	100-B	44	3299	female	12	N	high
2	1003	2013-01-04	guangzhou	110-A	54	2133	male	20	Y	low

除了where函数以外，还可以对多个字段的值进行判断后对数据进行分组，下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。

对复合多个条件的数据进行分组标记

1	df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1

	id	date	city	category	age	price	gender	m-point	pay	group	sigh
0	1001	2013-01-02	beijing	100-A	23	1200	male	10	Y	low	NaN
3	1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y	high	NaN
5	1006	2013-01-07	beijing	130-F	32	4432	female	40	Y	high	1.0
4	1005	2013-01-06	shanghai	210-A	34	3299	male	40	N	high	NaN
1	1002	2013-01-03	shanghai	100-B	44	3299	female	12	N	high	NaN
2	1003	2013-01-04	guangzhou	110-A	54	2133	male	20	Y	low	NaN

数据分列

与数据分组相反的是对数值进行分列，Excel中的数据目录下提供“分列”功能。在python中使用split函数实现分列。

在数据表中category列中的数据包含有两个信息，前面的数字为类别id，后面的字母为size值。中间以连字符进行连接。我们使用split函数对这个字段进行拆分，并将拆分后的数据表匹配回原数据表中。

对category字段的值依次进行分列，并创建数据表，索引值为df_inner的索引列，列名称为category和size。

1	split = pd.DataFrame((x.split('-') for x in df_inner['category']),index=df_inner.index,columns=['category','size'])

	id	date	city	category	age	price	gender	m-point	pay	group	sigh	catrgory_1	size
0	1001	2013-01-02	beijing	100-A	23	1200	male	10	Y	low	NaN	100	A
3	1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y	high	NaN	110	C
5	1006	2013-01-07	beijing	130-F	32	4432	female	40	Y	high	1.0	130	F
4	1005	2013-01-06	shanghai	210-A	34	3299	male	40	N	high	NaN	210	A
1	1002	2013-01-03	shanghai	100-B	44	3299	female	12	N	high	NaN	100	B
2	1003	2013-01-04	guangzhou	110-A	54	2133	male	20	Y	low	NaN	110	A

数据提取

数据提取，是数据分析中最常见的一个工作。这部分主要使用三个函数，loc，iloc和ix，loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。

按标签提取（loc）

按索引提取单行的数值

1	df_inner.loc[3]

id	date	city	category	age	price	gender	m-point	pay	group	sigh	catrgory_1	size
1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y	high	NaN	110	C

使用冒号可以限定提取数据的范围，冒号前面为开始的标签值，后面为结束的标签值。下面提取了0到5的数据行。

按索引提取区域行数值
1
df_inner.loc[0:5]

	id	date	city	category	age	price	gender	m-point	pay	group	sigh	catrgory_1	size
0	1001	2013-01-02	beijing	100-A	23	1200	male	10	Y	low	NaN	100	A
3	1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y	high	NaN	110	C
5	1006	2013-01-07	beijing	130-F	32	4432	female	40	Y	high	1.0	130	F

Reset_index函数用于恢复索引，这里我们重新将date字段的日期设置为数据表的索引，并按日期进行数据提取。

重设索引
1
df_inner.reset_index()

	index	id	date	city	category	age	price	gender	m-point	pay	group	sigh	catrgory_1	size
0	0	1001	2013-01-02	beijing	100-A	23	1200	male	10	Y	low	NaN	100	A
1	3	1004	2013-01-05	shenzhen	110-C	32	5433	female	40	Y	high	NaN	110	C
2	5	1006	2013-01-07	beijing	130-F	32	4432	female	40	Y	high	1.0	130	F
3	4	1005	2013-01-06	shanghai	210-A	34	3299	male	40	N	high	NaN	210	A
4	1	1002	2013-01-03	shanghai	100-B	44	3299	female	12	N	high	NaN	100	B
5	2	1003	2013-01-04	guangzhou	110-A	54	2133	male	20	Y	low	NaN	110	A

设置日期为索引

1	df_inner=df_inner.set_index('date')

	id	city	category	age	price	gender	m-point	pay	group	sigh	catrgory_1	size
date
2013-01-02	1001	beijing	100-A	23	1200	male	10	Y	low	NaN	100	A
2013-01-05	1004	shenzhen	110-C	32	5433	female	40	Y	high	NaN	110	C
2013-01-07	1006	beijing	130-F	32	4432	female	40	Y	high	1.0	130	F
2013-01-06	1005	shanghai	210-A	34	3299	male	40	N	high	NaN	210	A
2013-01-03	1002	shanghai	100-B	44	3299	female	12	N	high	NaN	100	B
2013-01-04	1003	guangzhou	110-A	54	2133	male	20	Y	low	NaN	110	A

使用冒号限定提取数据的范围，冒号前面为空表示从0开始。提取所有2013年1月4日以前的数据。

提取4日之前的所有数据

1	df_inner[:'2013-01-04']

	id	city	category	age	price	gender	m-point	pay	group	sigh	catrgory_1	size
date
2013-01-02	1001	beijing	100-A	23	1200	male	10	Y	low	NaN	100	A
2013-01-03	1002	shanghai	100-B	44	3299	female	12	N	high	NaN	100	B
2013-01-04	1003	guangzhou	110-A	54	2133	male	20	Y	low	NaN	110	A

按位置提取（iloc）

使用iloc函数按位置对数据表中的数据进行提取，这里冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始。

使用iloc按位置区域提取数据

1	df_inner.iloc[:3,:2]

	id	city
date
2013-01-02	1001	beijing
2013-01-05	1004	shenzhen
2013-01-07	1006	beijing

iloc函数除了可以按区域提取数据，还可以按位置逐条提取，前面方括号中的0,2,5表示数据所在行的位置，后面方括号中的数表示所在列的位置。

使用iloc按位置单独提取数据

1	df_inner.iloc[[0,2,5],[4,5]]

	price	gender
date
2013-01-02	1200	male
2013-01-07	4432	female
2013-01-04	2133	male

按标签和位置提取（ix）

ix是loc和iloc的混合，既能按索引标签提取，也能按位置进行数据提取。下面代码中行的位置按索引日期设置，列按位置设置。

使用ix按索引标签和位置混合提取数据

1	df_inner.ix[:'2013-01-03',:4]

	id	city	category	age
2013-01-02	1001	beijing	100-A	23
2013-01-03	1002	shanghai	100-B	44

按条件提取（区域和条件值）

数据筛选

按条件筛选（与，或，非）

数据汇总

分类汇总

数据透视

数据统计

数据采样

描述统计

标准差

协方差

附录

1 2	df：任意的Pandas DataFrame对象 s：任意的Pandas Series对象

导入数据

pd.read_csv(filename)：从CSV文件导入数据
pd.read_table(filename)：从限定分隔符的文本文件导入数据
pd.read_excel('file_name.xlsx',index_col=None,na_values=['NA'])：从Excel文件导入数据
pd.read_sql(query, connection_object)：从SQL表/库导入数据
pd.read_json(json_string)：从JSON格式的字符串导入数据
pd.read_html(url)：解析URL、字符串或者HTML文件，抽取其中的tables表格
pd.read_clipboard()：从你的粘贴板获取内容，并传给read_table()
pd.DataFrame(dict)：从字典对象导入数据，Key是列名，Value是数据

导出数据

df.to_csv(filename)：导出数据到CSV文件
df.to_excel('file_name.xlsx',sheet_name='Sheet1')：导出数据到Excel文件
df.to_sql(table_name, connection_object)：导出数据到SQL表
df.to_json(filename)：以Json格式导出数据到文本文件

创建测试对象

1
2
3

pd.DataFrame(np.random.rand(20,5))：创建20行5列的随机数组成的DataFrame对象
pd.Series(my_list)：从可迭代对象my_list创建一个Series对象
df.index = pd.date_range('1900/1/01', periods=df.shape[0])：增加一个日期索引

查看、检查数据

df.head(n)：查看DataFrame对象的前n行
df.tail(n)：查看DataFrame对象的最后n行
df.shape()：查看行数和列数
df.info()：查看索引、数据类型和内存信息
df.describe()：查看数值型列的汇总统计
s.value_counts(dropna=False)：查看Series对象的唯一值和计数
df.apply(pd.Series.value_counts)：查看DataFrame对象中每一列的唯一值和计数

数据选取

df[col]：根据列名，并以Series的形式返回列
df[[col1, col2]]：以DataFrame形式返回多列
s.iloc[0]：按位置选取数据
s.loc['index_one']：按索引选取数据
df.iloc[0,:]：返回第一行
df.iloc[0,0]：返回第一列的第一个元素

数据清理

df.columns = ['a','b','c']：重命名列名
pd.isnull()：检查DataFrame对象中的空值，并返回一个Boolean数组
pd.notnull()：检查DataFrame对象中的非空值，并返回一个Boolean数组
df.dropna()：删除所有包含空值的行
df.dropna(axis=1)：删除所有包含空值的列
df.dropna(axis=1,thresh=n)：删除所有小于n个非空值的行
df.fillna(x)：用x替换DataFrame对象中所有的空值
s.astype(float)：将Series中的数据类型更改为float类型
s.replace(1,'one')：用‘one’代替所有等于1的值
s.replace([1,3],['one','three'])：用'one'代替1，用'three'代替3
df.rename(columns=lambda x: x + 1)：批量更改列名
df.rename(columns={'old_name': 'new_ name'})：选择性更改列名
df.set_index('column_one')：更改索引列
df.rename(index=lambda x: x + 1)：批量重命名索引

数据处理：Filter、Sort和GroupBy

df[df[col] > 0.5]：选择col列的值大于0.5的行
df.sort_values(col1)：按照列col1排序数据，默认升序排列
df.sort_values(col2, ascending=False)：按照列col1降序排列数据
df.sort_values([col1,col2], ascending=[True,False])：先按列col1升序排列，后按col2降序排列数据
df.groupby(col)：返回一个按列col进行分组的Groupby对象
df.groupby([col1,col2])：返回一个按多列进行分组的Groupby对象
df.groupby(col1)[col2]：返回按列col1进行分组后，列col2的均值
df.pivot_table(index=col1, values=[col2,col3], aggfunc=max)：创建一个按列col1进行分组，并计算col2和col3的最大值的数据透视表
df.groupby(col1).agg(np.mean)：返回按列col1分组的所有列的均值
data.apply(np.mean)：对DataFrame中的每一列应用函数np.mean
data.apply(np.max,axis=1)：对DataFrame中的每一行应用函数np.max

数据合并

1
2
3

df1.append(df2)：将df2中的行添加到df1的尾部
df.concat([df1, df2],axis=1)：将df2中的列添加到df1的尾部
df1.join(df2,on=col1,how='inner')：对df1的列和df2的列执行SQL形式的join

数据统计

df.describe()：查看数据值列的汇总统计
df.mean()：返回所有列的均值
df.corr()：返回列与列之间的相关系数
df.count()：返回每一列中的非空值的个数
df.max()：返回每一列的最大值
df.min()：返回每一列的最小值
df.median()：返回每一列的中位数
df.std()：返回每一列的标准差

Title:From Excel to Python——Data Analysis

Author:Eric Yue

Release Date:2018-06-02 - 19-20

Update Date:2020-11-28 - 15-49

Link:http://github.com/lzxyzq/2018/06/02/从Excel到Python——数据分析/

Agreement: "Signed-Non-commercial-Shared in the same way 3.0" Please keep the original link and author for forward.