DTransformer model文件 详解

arange().float()
torch.arange 默认创建的是整数类型的张量，所以在这里使用 .float() 将其转换为浮点数类型
contiguous()
这是一个方法，用于返回一个连续的内存块版本的张量。在 PyTorch 中，某些操作可能导致张量的存储变得不连续，而 contiguous() 可以确保张量的内存布局是连续的。
scores_ = scores.masked_fill(mask == 0, -1e32)
将 scores 张量中在 mask 位置为0的地方设置为一个非常小的负数（-1e32）。这样，在进行 softmax 操作时，这些位置对应的注意力分数会接近于0。
# maxout 操作
if maxout:
   scale = torch.clamp(1.0 / scores.max(dim=-1, keepdim=True)[0], max=5.0)
   scores *= scale

nn.Parameter(torch.zeros(n_heads, 1, 1))
nn.Parameter 是 PyTorch 中的一个类，用于创建模型参数。通过将张量包装为 nn.Parameter 类型，PyTorch 就会自动跟踪这些参数，并在模型的优化过程中对其进行更新。在神经网络中，通常需要更新模型的权重和偏置，这些参数通常都是 nn.Parameter 类型。
torch.zeros(n_heads, 1, 1)：这个部分创建了一个形状为 (n_heads, 1, 1) 的全零张量。其中 n_heads 表示注意力头（attention head）的数量，而 1 表示该张量在其他维度上的大小为1。这里 n_heads 表示模型中注意力头的个数，可以根据需要设定。

def forward(self, query, key, values, lens, peek_cur=False):
    # construct mask
    seqlen = query.size(1)
    mask = torch.ones(seqlen, seqlen).tril(0 if peek_cur else -1)
    mask = mask.bool()[None, None, :, :].to(self.device
    # mask manipulation
    if self.training:
        mask = mask.expand(query.size(0), -1, -1, -1).contiguou
        for b in range(query.size(0)):
            # sample for each batch
            if lens[b] < MIN_SEQ_LEN:
                # skip for short sequences
                continue
            idx = random.sample(
                range(lens[b] - 1), max(1, int(lens[b] * self.dropout_rate))
            )
            for i in idx:
                mask[b, :, i + 1 :, i] 
    # apply transformer layer
    query_, scores = self.masked_attn_head(
        query, key, values, mask, maxout=not peek_cur
    )
    query = query + self.dropout(query_)
    return self.layer_norm(query), scores