使用python进行数学建模系列1 读表格 +简单处理+ 画图简单入门 代码可直接运行

通过以下简短几行代码,我们不仅加载了数据集,而且把它保存成了文本文件和表格,并且简单花了两张图,保存了一张图.

from sklearn import datasets
import pandas as pd
​
boston=datasets.load_boston()
#读到的数据集保存到文件里,您可以在文件中查看数据集一开始的样子,您也可以从后边输出的表格中看到数据集的样子
with open('boston.txt','w',encoding='utf-8') as f:
    f.write(boston.__str__())
    f.close()
#为了方便看懂,表头替换为翻译好的中文
header=[
"城镇人均犯罪率",
"住宅用地所占比例",
"城镇中非商业用地占比例",
"查尔斯河虚拟变量，用于回归分析",
"环保指标",
"每栋住宅房间数",
"1940年以前建造的自住单位比例 ",
"与波士顿的五个就业中心加权距离",
"距离高速公路的便利指数",
"每一万美元的不动产税率",
"城镇中教师学生比例",
"城镇中黑人比例",
"房东属于低等收入阶层比例",
# "自住房屋房价中位数",
]
​
#将波士顿数据集转化成易于操作的pandas.DataFrame类型
boston=pd.DataFrame(data=boston.data,
                    columns=boston.feature_names)
#为了直观的看一下效果,将列的索引(表头)换成中文的
boston.columns=header
'''
虽然很多编辑器带代码提示,但是输入在中英文直接频繁切换也不太舒服,
而且有时候中文太长了,这里可以用列表来代替
'''
print(f"列表中的第 0 个元素是: '{header[0]}'")
boston[header[0]]
​
boston.to_excel('boston.xlsx',index=False)
​
import matplotlib
from matplotlib import pyplot as plt
#配置matplotlib使其支持中文显示
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['axes.unicode_minus']=False
​
#把第一列单独拿出来画个图
h0=pd.DataFrame(boston[header[0]])
h0.plot()
#保存图片到当前目录下
plt.savefig('./犯罪率.png')
#展示图片
plt.show()
​
boston.plot()
plt.show()
'''
'''

运行上述的代码之后,我们得到了一个表格的数据,还顺手画了两个图并且保存了一个图.

画图的代码也是非常简单,只有下边的几行,您就可以简单的绘图和保存图片了.

怎么样,比起找个漫长的课程第一次先打印helloworld, 这第一次给的体验是不是爽的飞起~

如果您只是想看看python适不适合做数学建模,想必到了这里您应该已经有了自己的答案.

从表格中读取数据

我们对数据的操作用到一个非常舒服的库:pandas

在使用之前,我们需要对pandas的数据类型有个大致了了解,以方便后续对数据进行操作.

换句话说,这里有一套绝世剑法,只有三招就有程咬金三板斧的威力,会了这三招,可以融会贯通演变出更多招式.

所以说我们先快速看一下会哪些基本操作和概念之后才能融会贯通.

基本概念(有基础的老铁可以自行跳过)

• jupyter notebook

  不同于py脚本, 一般python脚本是一下顺序执行完了,然后就没了.

  这个时候,比如说我有一个变量,我想看看它,结果执行完了,程序结束了,我需要加一个打印这个对象的代码,或者是点开调试去看,很不方便.

  如果这是一个很耗时的操作,执行一次需要30分钟,而我一开始不能保证我能一下子执行出我想要的效果. 这时,如果有个什么东西,可以把我执行过的变量啥的,都保存起来,我每次不需要在重新执行,只需要输入变量就能查看了就好了.

  jupyter就是干这个的,所有执行过的代码块的变量,都会保存起来,后边可以不再次执行,而是直接查看变量,同时,它还支持插入markdown模块,支持查看函数帮助等等,在数据科学领域,jupyter可以看作是python plus .

  当然,受限于作者的水平,描述可能不太准确详细,感兴趣的老铁可以自行搜索.

• 面向对象

  关于面向对象有很多教程,去看那些可能会花费很多时间,但使用起来大致体现为这样:

  举个简易的例子:

  你有一个grilfried,你可以把她看成一个对象,她有身高,体重,三围等等,这些你可以把他们看成对象的属性.

  grilfriend会吃饭,会打游戏,会撒娇,这些可以看作是对象的方法,或者是函数.

  同理,这里有一个'String'对象,我们叫他a,给他赋值为"666",(String是字符串的意思),它有一个'___len__()'方法,我们使用 a.__len__()方法,得到它的长度是3.

  

  对象.属性
  对象.函数()

  

  使用起来主要是.这个操作主要是用来调用各种包,一般包里边会预先封装一些方法,我们调用的时候可以直接拿来使用.

  这一点对于使用英文多的人很舒服,因为函数名称都是英文的,一般一看就知道是干啥的.

• 列表

• 函数(方法)

• 参数

说实话,这些基础的东西至少是需要一些程序设计基础的,受限于作者水平,很难用很短的时间讲明白,于是我假设大家正在或者至少上过一些程序设计基础的课程.

pandas的数据类型

什么是数据类型

我们可以通过type函数来查看对象的数据类型.

一整个表的数据就是一个dataframe类型(至少有一列),单独一列的是一个Series类型.

这些数据类型和C语言中的数组有一定的相似,但是在python中,他们都是一些经过层层封装的对象. 换言之,使用他们会比使用java或者C语言或者是matlab语言中的对象或者数组要简单的多. 这就像是造车和开车还有玩赛车游戏, C语言在造车的层面, java上可造车下可开车, 而python一般在玩赛车游戏的层面, 但是实际上赛车游戏中的操作,经过映射最后还是反映到实际的车上去. 在玩赛车游戏的时候,我们不需要纠结太多,只需要看着说明让车动起来就好了. 所有的操作以游戏厂商提供的为准. 使用pandas的dataframe对象就是这个道理, 我们不需要过多纠结底层是怎么实现的, 基本上常用的功能pandas官方都进行了封装, 绝大部分的操作只要搜索一下就能找到对应的用法,非常方便上手.

Series是序列的意思,大致可以理解为索引更加方便的一维数组(列表).

DataFrame的索引方式

对于一个DataFrame对象,就是如果调用pandas读表格的函数,得到的结果,就是一个DataFrame对象.

既然是从一个表格里得出来的,就会有行索引和列索引.

在表格中比如excel,可以通过行号和列号来定位到一个元素;

该元素在表格中的位置正是A17;

也可也通过选定一个列来定位到一整列元素:

DataFrame也具有这种思想,它提供一个行索引和列索引

通过列索引可以获得一整个列的数据,通过行索引和列索引可以定位到具体一个的数据.

怎么用,这个和在excel中选择一整列数据是不是很相似.

我们使用行列所以获得单独的数据

​

得到想得到的数据

通过以下调用方法就可以得到上边说的DataFrame对象,

boston=pd.read_excel('boston.xlsx',header=0,sheet_name='Sheet1')

调用这个函数,第一个一般放文件的位置,如果是在同一级目录下,可以只写文件名

指定表头为第0行,指定表格为Sheet1(一般只有这一张表可以不指定,但我猜如果您正在看这里说不定此时您的表格恰好有很多张表,为了节省您再次搜索阅读的时间,这里多加一句)

拿到数据后我们可以看一下数据量的大小,这里发现是506行*13列大小

boston=boston.dropna()

可以使用上述方法删除空值.这里有一点要注意,删除空值后,行的索引一般不会跟着变,比如说行号原来为30的行,第29行删除了,我们默认为行号为30开始的行都会向前平移一位,其实不是这样的,如果您希望行的索引也随之变化,您需要手动修改它.

这里因为数据集是经过筛选校对的数据集,里边一般不会有空值.

还可以指定条件删除行,方法也很简单,这里删除了所有城镇人均犯罪率大于0.2的行,看到,删除完了之后确实少了很多行.

boston=boston.drop(index=boston[boston['城镇人均犯罪率']>0.2].index)
boston.shape

下边三个例子分别为删除空值,删除行,删除列的方式.

我是怎么知道这些的呢? 其实很简单,按住ctrl,点击函数名称,就能查看源码了,在源码中有一部分的示例和介绍. 一般把介绍翻译一下,看看示例就差不多.也可也去官网查看详细的介绍.也可也直接上网搜,也很快.这里搜索推荐用国内版的必应或者谷歌,用duckduckgo搜索也不错.某度某狗适合搜一些明星绯闻,搜技术问题基本上是不太妙.

画图初探(画些很简单的图)

接上回,画图其实最最简单的方法就是使用DataFrame对象自带的画图,它会把整个DataFrame画出来.

也可也单独提取出一列来,像这样:

cr=pd.DataFrame(boston['城镇人均犯罪率'])
cr.plot()

jupyter的骚操作

jupyter可以直接在框框内输入变量,然后打印出来

当一个函数忘了咋用,或者是不知道是啥,可以输入函数名然后后边跟两个问号,这里一般会返回一个帮助文档(这个功能直接运行.py脚本是不太好操作的)

有一点难受的是翻译出来的是英文, 英语不是很6的老铁可以下载一个DEEPL, 按两下Ctrl+c+c翻译, 这个翻译亲测靠谱,目前还是免费免登录,就是国内网速可能比较慢.

画图必备的两个包

matplotlib

matplotlib官方提供一些快速开始的教程,原理上很简单, 就是给一个x,y坐标,就能画一张图

Getting started — Matplotlib 3.5.3 documentation

seaborn

seaborn基于matplotlib做了更加上层的封装,通常它提供一些非常漂亮的主题,使用它可以少些很多代码画出看起来很漂亮的图, 作为我这样的懒人,我简直是爱死seaborn了.

seaborn基本上完全兼容matplotlib的语法. 一般入门学matplotlib,画图用seaborn,然后可以用matplotlib的接口对画出来的图进行修改.

User guide and tutorial — seaborn 0.11.2 documentation (pydata.org)

第一张图

OK,废话不多说,我们通过之前加载的波士顿数据集感受一下:

再次之前,请确保您已经运行过第一段代码,因为它会在同级目录下生产一个表格文件,用来作为我们读表格和画图的数据来源. 基于这个代码片段,您可以稍作修改画出自己想要的同类型的图.

第一段是引入需要的包, 在引入matplotlib时候要配置一下字体,要不然中文放不出来.

第二段是读表格,提取出第1列和默认的索引来画图,

最后一段是画图,然后简单保存了一下.

import matplotlib
from matplotlib import pyplot as plt
#配置matplotlib使其支持中文显示
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['axes.unicode_minus']=False
import pandas as pd
# import numpy as np
​
boston_dataframe=pd.read_excel('boston.xlsx')
columns=boston.columns
x=boston_dataframe.index
print(f'索引默认是0到最后一行的长度,这里是 : {x}')
print(f'这里取第一列画一个图,这里是 : {x}')
y=boston_dataframe[columns[0]]
​
plt.plot(x,y)
plt.legend((columns[0],))
plt.ylabel(columns[0])
plt.savefig('第一张图.png')
plt.show()

没错,就这么简单就完成了读数据画图,多用两次之后会发现其实这个比用软件用鼠标点画图要快的.

当然,同类型的图也可也一个循环搞完,如果您有这方面的需要的话

for i in range(len(columns)):
    plt.plot(x,boston_dataframe[columns[i]])
    plt.legend((columns[i],))
    plt.ylabel(columns[i])
    # plt.savefig('第一张图.png')
    plt.show()

​

这5行代码实际上画了13张图,篇幅原因,这就不放在这里了(懒得复制)

到这里我们直观的感受了一下画图,并亲手体验了画图的基本操作,相比各位老铁对画图也有了一定的了解. 这个时候,再想要画出更好的图或者是其它类型的图,相比稍作搜索就能找得到了.

这里再次推荐一下搜索引擎的使用: 如果不是看病或者搜明星绯闻啥的, 咱技术问题一般用必应,或者Google.

随缘更新下一张,各位老铁有缘再见

后续可以根据大家的意见修正一下这篇教程的问题,有缘更新下一章啦~