词向量和词元化

关于稀疏词向量 (Sparse Word Vector) 和稠密词向量 (Dense Word Ve...

在大模型（如 GPT、BERT）的 Tokenization 过程中，解决溢出词表词 (OOV) 问...

以下关于现代大模型中用于解决 OOV 问题的子词 Tokenization 方法的描述中，正确的有哪...

关于词 (Word)、子词 (Subword) 和字符 (Character) 粒度的分词方法，以下...

关于基于 Transformer 的预训练语言模型中的位置编码，以下描述中正确的有哪些？

关于 Prefix LM (前缀语言模型) 和 Causal LM (因果语言模型，或称 Decod...

关于字节对编码 (Byte-Pair Encoding, BPE) 算法的核心思想，以下哪项描述最准...

WordPiece 算法与 BPE 算法的一个关键区别在于？

字节级别的 BPE (BBPE) 算法相较于传统 BPE 算法的一个核心优势是什么？

SentencePiece 词元化工具的一个核心特点是什么？

以下关于子词词元化算法 (如 BPE, WordPiece, SentencePiece) 的描述中...