ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

爱听歌扯豆芽 2022-09-19 11:15:30  52691

分类专栏：资讯

基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

(2)、父衍生字段—outlet.COUNT(bigmart)

(3)、子衍生字段的具体字段分析

T2、选择的基字段(2个)

核心代码

基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

设计思路

输出结果

1、结果输出

2、FE后的字段

Item_Identifier	Item_Weight	Item_Fat_Content	Item_Visibility	Item_Type	Item_MRP
Outlet_Identifier	Outlet_Establishment_Year	Outlet_Size	Outlet_Location_Type	Outlet_Type	id

3、衍生字段案例具体实现过程

T1、选择的基字段(1个)

['id','Item_Identifier','Item_Weight','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']

(1)、生成的所有衍生字段

id	Item_Identifier	Item_Weight
	Outlet_Identifier	outlet.Outlet_Establishment_Year	outlet.Outlet_Size
outlet.COUNT(bigmart)	outlet.MODE(bigmart.Item_Identifier)	outlet.NUM_UNIQUE(bigmart.Item_Identifier)
	outlet.MAX(bigmart.Item_Weight)	outlet.MEAN(bigmart.Item_Weight)	outlet.MIN(bigmart.Item_Weight)
	outlet.SKEW(bigmart.Item_Weight)	outlet.STD(bigmart.Item_Weight)	outlet.SUM(bigmart.Item_Weight)

(2)、父衍生字段—outlet.COUNT(bigmart)

outlet.COUNT(bigmart)字段意义：是根据Outlet_Identifier字段内10个子类别的整体个数，分别进行填充设计。
outlet.COUNT(bigmart)字段内容：根据该字段的下拉列表可知，标记为1550的个数有4650个，是因为在Outlet_Identifier字段内，OUT035、OUT046、OUT049三个子类别均有1550个，所以，以上结果比较巧。

(3)、子衍生字段的具体字段分析

outlet.MODE(bigmart.Item_Identifier) 字段的分析过程

T2、选择的基字段(2个)

['Item_Identifier','Item_Weight','Item_Fat_Content','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']

id	Item_Identifier	Item_Weight	Item_Fat_Content
	Outlet_Identifier	outlet.Outlet_Establishment_Year	outlet.Outlet_Size
outlet.COUNT(bigmart)	outlet.MODE(bigmart.Item_Identifier)	outlet.NUM_UNIQUE(bigmart.Item_Identifier)
outlet.MAX(bigmart.Item_Fat_Content)	outlet.MEAN(bigmart.Item_Fat_Content)	outlet.MIN(bigmart.Item_Fat_Content)	outlet.SKEW(bigmart.Item_Fat_Content)	outlet.STD(bigmart.Item_Fat_Content)	outlet.SUM(bigmart.Item_Fat_Content)
outlet.MAX(bigmart.Item_Weight)	outlet.MEAN(bigmart.Item_Weight)	outlet.MIN(bigmart.Item_Weight)	outlet.SKEW(bigmart.Item_Weight)	outlet.STD(bigmart.Item_Weight)	outlet.SUM(bigmart.Item_Weight)

核心代码


2.2、特征衍生
(1)、创建一个实体集EntitySet：实体集是一种包含多个数据帧及其之间关系的结构。
ftES = ft.EntitySet(id = 'sales') 
 
 
(2)、规范化实体集：
ftES.normalize_entity(base_entity_id='bigmart', 
                    new_entity_id='outlet', 
                    index = 'Outlet_Identifier', 
                    additional_variables = ['Outlet_Establishment_Year', 'Outlet_Size',
                                             'Outlet_Location_Type', 'Outlet_Type',
                                            ])
 
 
 
(3)、利用dfs函数自动创建新特征并输出
feature_matrix, feature_names = ft.dfs(entityset=ftES,target_entity = 'bigmart', 
                                       max_depth = 2,
                                        verbose = 1, n_jobs = -1,
                                       )
print('feature_names: \n',len(feature_names),feature_names)
print('feature_matrix:',feature_matrix.shape,type(feature_matrix),'\n',feature_matrix.iloc[:,:10].head())
feature_matrix.to_csv('%sfeature_matrix.csv'%date)
 
feature_matrix = feature_matrix.reindex(index=data_all['id'])        reindex()函数，重新把列/行根据columns/index参数指定字段顺序整理一遍
feature_matrix = feature_matrix.reset_index()                        reset_index()函数，重新设置dataframe的index，范围为0~len（df）
feature_matrix.to_csv('%sfeature_matrix2reset_index01.csv'%date)

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=2005

赞同 0

评论 0 条

ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

设计思路

输出结果

1、结果输出

2、FE后的字段

3、衍生字段案例具体实现过程

T1、选择的基字段(1个)

(1)、生成的所有衍生字段

(2)、父衍生字段—outlet.COUNT(bigmart)

(3)、子衍生字段的具体字段分析

T2、选择的基字段(2个)

核心代码

相关文章

关注我们