私は、各行が詰め込まれた行列を持っていますマクレン行列にsoftmaxを適用すると、埋め込まれたインデックスも考慮されます。パディングされていないインデックスのみを考慮しながら、マトリックスにsoftmaxを適用する方法は?
注:行列の各行の長さは異なります。
回答:
回答№1は1パディングされたセルを-Infinityに近い値に設定することができます(つまり、他のロットに比べて非常に小さい)ので、その貢献度はごくわずかです。
私は、各行が詰め込まれた行列を持っていますマクレン行列にsoftmaxを適用すると、埋め込まれたインデックスも考慮されます。パディングされていないインデックスのみを考慮しながら、マトリックスにsoftmaxを適用する方法は?
注:行列の各行の長さは異なります。
パディングされたセルを-Infinityに近い値に設定することができます(つまり、他のロットに比べて非常に小さい)ので、その貢献度はごくわずかです。