数据分析实例2021年十万条厦门招聘数据分析Python程序源代码
在这个数据分析实例中,我们将运用数据科学的方法,使用Python编程语言和相关库进行数据处理、分析和可视化。通过对大量的招聘数据进行挖掘,我们将揭示厦门市招聘市场的动态,探索不同行业的就业趋势,以及人才的薪资待遇等关键信息。通过这一深入的分析,我们可以为求职者提供就业市场的实际情况,为企业提供人才招聘的指导,同时也为决策者提供更准确的市场洞察力。
# 1. 数据集说明
这是一份来自厦门人才网的企业招聘数据,采集日期为 2021-01-14,总计 100,077 条记录,大小为 122 M,包含 19 个字段。
# 2. 数据处理
## 2.1 数据清洗
使用 pandas 对数据进行清洗,主要包括:去重、缺失值填充、格式化、计算冗余字段。
```python
# 数据重复处理: 删除重复值
# print(data[data.duplicated()])
data.drop_duplicates(inplace=True)
data.reset_index(drop=True, inplace=True)
# 缺失值查看、处理:
data.isnull().sum()
# 招聘人数处理:缺失值填 1 ,一般是一人; 若干人当成 3人
data['num'].unique()
data['num'].fillna(1, inplace=True)
data['num'].replace('若干', 3, inplace=True)
# 年龄要求:缺失值填 无限;格式化
data['age'].unique()
data['age'].fillna('不限', inplace=True)
data['age'] = data['age'].apply(lambda x: x.replace('岁至','-').replace('岁', ''))
# 语言要求: 忽视精通程度,格式化
data['lang'].unique()
data['lang'].fillna('不限', inplace=True)
data['lang'] = data['lang'].apply(lambda x: x.split('水平')[0])
data['lang'].replace('其他', '不限',inplace=True)
# 月薪: 格式化。根据一般经验取低值,比如5000-6000, 取 5000
data['salary'].unique()
data['salary'] = data['salary'].apply(lambda x: x.replace('参考月薪: ', '') if '参考月薪: ' in str(x) else x)
data['salary'] = data['salary'].apply(lambda x: x.split('-', 1)[0] if '-' instr(x) else x )
data['salary'].fillna('0', inplace=True)
# 其它岗位说明:缺失值填无
data.fillna('其他', inplace=True)
# 工作年限格式化......
......