1. Transformer架构与注意力机制

概念解析
Transformer是LLM的核心架构，由编码器和解码器组成，其核心创新是自注意力机制，通过计算输入序列中每个位置的关联权重，动态聚焦关键信息。自注意力机制的计算复杂度为O(n²)，在处理长序列时成为性能瓶颈。

代码示例：基础Transformer模块

import torch
import torch.nn as nn
import torch.nn.functional as