BERT4Rec item_embedding padding问题

[hlyu9]

大佬们好，想请教一个关于BERT4Rec代码细节的问题：

self.item_embedding定义的时候，用的是self.item_embedding = nn.Embedding(self.n_items + 1, self.hidden_size, padding_idx=0), padding_idx设置的是0；但是到calculate_loss()里CrossEntropy的loss的计算的时候，用的是test_item_emb = self.item_embedding.weight[:self.n_items]。

想请教两个问题：

1. 请问为什么在这边是取[:self.n_items]而非[0:]呀？之前设置的item_embedding的padding不是在0吗？
2. 如果我想給BERT4Rec也添加上item feature的信息，请问是不是可以仿照gru4recf用self.feature_embed_layer = FeatureSeqEmbLayer( dataset, self.embedding_size, self.selected_features, self.pooling_mode, self.device )取feature的信息，然后通过一个nn.Linear()层并且手动padding之后，直接加到self.item_embedding里面去？谢谢！

[leoleojie]

@hlyu9 您好！感谢您的关注！

1. 如您所说，定义的self.item_embedding为nn.Embedding(self.n_items + 1, self.hidden_size, padding_idx=0)，其中0对应的是pad，self.n_items对应的是[MASK]. 因此在后续处理的时候，使用self.item_embedding.weight[:self.n_items]，得到除[MASK]外的item_embedding.
2. 是的，可以利用它来提取feature信息。

[kuzma-long]

我想请教一下item 0是实际存在于数据集中的嘛，如果是，那我可以理解为这里的0是实际的item 0的表示，这里统一指定它作为pad，我如果指定为其他的item也是可以的嘛？

[leoleojie]

@kuzma-long 您好！感谢您的关注！
item 0 并不是实际存在于数据集中的。我们会通过remap id，添加额外的[PAD], 对应的编号是0.

[kuzma-long]

如果0并不是实际item，那self.n_items对应[mask]也不是实际item，中间只有self.n_items-1个embedding对应实际item，是不是少了一个？

[hlyu9]

如果0并不是实际item，那self.n_items对应[mask]也不是实际item，中间只有self.n_items-1个embedding对应实际item，是不是少了一个？

这个应该是因为self.n_items本来就是实际item数量+1，我记得在哪块代码看到的

[kuzma-long]

好的，感谢