一、首先按照所讲的数据质量准则，数据存在的问题有：
1."完整性"问题：数据有缺失，在ounces列的第三行存在缺失值
处理办法：可以用该列的平均值来填充此缺失值
2.“全面性”问题：food列的值大小写不统一
处理办法：统一改为小写
3.“合理性”问题：某一行的ounces值出现负值
处理办法：将该条数据记录删除
4.“唯一性”问题：food列大小写统一后会出现同名现象，
处理办法：需要将food列和animal列值均相同的数据记录进行合并到同一天记录中国

import pandas as pd
"""利用Pandas清洗美食数据"""

# 读取csv文件
df = pd.read_csv("c.csv")

df['food'] = df['food'].str.lower() # 统一为小写字母
df.dropna(inplace=True) # 删除数据缺失的记录
df['ounces'] = df['ounces'].apply(lambda a: abs(a)) # 负值不合法，取绝对值

# 查找food重复的记录，分组求其平均值
d_rows = df[df['food'].duplicated(keep=False)]
g_items = d_rows.groupby('food').mean()
g_items['food'] = g_items.index
print(g_items)

# 遍历将重复food的平均值赋值给df
for i, row in g_items.iterrows():
    df.loc[df.food == row.food, 'ounces'] = row.ounces
df.drop_duplicates(inplace=True) # 删除重复记录

df.index = range(len(df)) # 重设索引值
print(df)

jupyter notebook，python3

import pandas as pd
df = pd.read_csv("D://Data_for_sci/food.csv")
df.index

df

# Data cleaning for lowercase
df['food'] = df['food'].str.lower()
df

# Delet NaN
df = df.dropna()
df.index = range(len(df)) # reset index
df

# Get bacon's mean value and delet second one
df.loc[0,'ounces'] = df[df['food'].isin(['bacon'])].mean()['ounces']
df.drop(df.index[4],inplace=True)
df.index = range(len(df)) # reset index
df

#Get pastrami's mean value and delet second one
df.loc[2,'ounces'] = df[df['food'].isin(['pastrami'])].mean()['ounces']
df.drop(df.index[4],inplace=True)
df.index = range(len(df)) # reset index
df

练习题中：
1、food列中出现大小写不同的情况。根据实际，如果大小写不同的两个数据代表的产品不同，则不改变，否则统一改为小写
2、food列bacon出现了三次，但是有两次是有正确数据，不能通过food去重。
3、ounces列，去除空值行。根据实际数据来源以及分析目的，是否可能有负的情况，判断是否去除-3行

以上为个人的一些想法，有考虑不周的地方希望老师可以指导。

完整性：ounces 列数据中存在NAN
全面性：food列数据中存在大小写不一致问题
合法性：ounces列数据存在负值
唯一性：food列数据存在重复
# -*- coding: utf-8 -*
import pandas as pd
import numpy as np
from pandas import Series, DataFrame
df = pd.read_csv('./fooddata.csv')
# 把ounces 列中的NaN替换为平均值
df['ounces'].fillna(df['ounces'].mean(), inplace=True)
# 把food列中的大写字母全部转换为小写
df['food'] = df['food'].str.lower()
# 把ounces 列中的负数转化为正数
df['ounces']= df['ounces'].apply(lambda x: abs(x))
#删除food列中的重复值
df.drop_duplicates('food',inplace=True)
print (df)

以下为对文中的案例进行编码操作，有三个问题请教
1、重量【‘weight’】一列的数据，如何利用平均值进行填充，因为该列是字符类型，无法求平均。目前采用高频数据填充
2、Pink Panther用户的三围数据如何填充？，我想利用对应性别的平均值填充
3、案例中，后6列不显示‘NaN’，是因为填充列‘空格’吗？
_____________________
import pandas as pd
## 导入数据
df=pd.read_csv('第11节数据.csv')
## 重命名列名columns
df.rename(columns={'0':'Number','1':'Name','2':'Age','3':'Weight','4':'m0006','5':'m0612','6':'m1218'
                  ,'7':'f0006','8':'f0612','9':'f1218'},inplace=True)

#2.全面性
#列数据统一单位
# 获取weight 数据列中单位为lbs的数据
rows_with_lbs=df['Weight'].str.contains('lbs').fillna(False)
print(df[rows_with_lbs])
# 将lbs转换为kgs，2.2lbs=1kgs
for i,lbs_row in df[rows_with_lbs].iterrows():
    # 截取从头开始到倒数第三个字符之前，即去掉lbs
    weight=int(float(lbs_row['Weight'][:-3])/2.2)
    df.at[i,'Weight']='{}kgs'.format(weight)

#1.完整性
# 删除全空的行
df.dropna(how='all',inplace=True)

##缺失值补充方式一
## df[‘Age’] 中缺失的数值用平均年龄进行填充
#df['Age'].fillna(df['Age'].mean(),inplace=True)

## 缺失值补充方式二
## 使用Age一列高频数据进行填充
age_maxf=df['Age'].value_counts().index[0]
df['Age'].fillna(age_maxf,inplace=True)

## 使用Weight一列高频数据进行填充
weight_maxf=df['Weight'].value_counts().index[0]
df['Weight'].fillna(weight_maxf,inplace=True)

#4.唯一性
#Name拆分为firstname和lastname
#切分名字，删除源数据列
df[['first_name','last_name']]=df['Name'].str.split(expand=True)
df.drop('Name',axis=1,inplace=True)

# 移动first_name和last_name这俩列
first_name=df.pop('first_name')
df.insert(1,'first_name',first_name)
last_name=df.pop('last_name')
df.insert(2,'last_name',last_name)

#删除重复数据行
df.drop_duplicates(['first_name','last_name'],inplace=True)

#3.合理性
# 删除非ASCII字符
df['first_name'].replace({r'[^\x00-\x7F]+':''},regex=True,inplace=True)
df['last_name'].replace({r'[^\x00-\x7F]+':''},regex=True,inplace=True)

df

import pandas as pd


def wash_data():
    data = pd.read_excel("./data/data.xlsx")
    data["food"] = data["food"].str.capitalize() # 首字母大写
    data.fillna(0, inplace=True)
    data.drop_duplicates("food", inplace=True) # 删除重复行
    
    data.to_excel("./data/re_data.xlsx")


if __name__ == '__main__':
    wash_data()


是不是清洗得太简单了。。。

有一个问题 就是代码最后那里to_excel 如果参数的路径是指定的那种 就会报错显示filenotfound 搜了很久都没找到是什么原因 求解
另外感觉这一讲有好多点都没讲深入呀 下面代码是对课程中的样例进行清洗 感觉只能做到几小点了. 特别是在填充nan值的时候 一开始想着遍历每一个nan值 然后再特判列的类型进行填充的. 但是发现三围那里有个大问题 按理说三围应该是int类型 但是因为有- 这个东西的存在 搞的三围是object类型 一开始赋值的时候报错提示需要str 后来想把列的类型转换成int也失败了 还有好多地方都卡着了...
import pandas as pd
import numpy as np
from pandas import Series, DataFrame

data = DataFrame(pd.read_excel('~/Desktop/data.xlsx'))

print(data)

# 更改列名
data.rename(columns={0:'序号',1:'姓名',2:'年龄',3:'体重',4:'男三围1',5:'男三围2',6:'男三围3',7:'女三围1',8:'女三围2',9:'女三围3'},inplace = True)

# 去掉重复行
data = data.drop_duplicates()

# 1.完整性
# 填充缺失值
col = data.columns.values.tolist()
row = data._stat_axis.values.tolist()

# 先把姓名的数据类型改成字符串
data['姓名'] = data['姓名'].astype('str')

# 1.1 先清除空行
data.dropna(how = 'all', inplace = True)

# 1.2 填充缺失值
age_maxf = data['年龄'].value_counts().index[0]

# 以年龄频率最大值来填充
data['年龄'].fillna(age_maxf, inplace=True)

# 2.全面性
# 把体重单位为lbs的转化为kgs 2.2lbs = 1kgs
# 把所有体重单位为lbs的记录存放在一起 (如果体重是nan则不要)
rows_with_lbs = data['体重'].str.contains('lbs').fillna(False)

for i,lbs_row in data[rows_with_lbs].iterrows():
    weight = int(float(lbs_row['体重'][:-3]) / 2.2)
    # 第一个参数是y坐标(竖) 第二个参数是x坐标(横)
    data.at[i,'体重'] = '{}kgs'.format(weight)

print(data)

# 把清洗后的数据输出
data.to_excel('CleanData.xlsx')
# 会报错
# data.to_excel('~/Desktop/CleanData.xlsx')

#!/usr/bin/env python
# -*- coding:utf8 -*-
# __author__ = '北方姆Q'
# __datetime__ = 2019/1/11 15:53


import pandas as pd

# 导入
df = pd.read_csv("./s11.csv")
# 去除完全的空行
df.dropna(how='all', inplace=True)
# 食物名切分并去掉原本列
df[["first_name", "last_name"]] = df["food"].str.split(expand=True)
df.drop("food", axis=1, inplace=True)
# 名称首字母大写
df["first_name"] = df["first_name"].str.capitalize()
df["last_name"] = df["last_name"].str.capitalize()
# 以食物名为标准去重
df.drop_duplicates(["first_name", "last_name"], inplace=True)

print(df)