tokenembedding,tokenembedding的作用

CONTAINER试图减少对相似实体的token embedding的距离，同时增加对不同实体的token embedding的距离图1 这使得CONTAINER能够更好地捕获标签依赖关系此外，由于CONTAINER是用一个广义目标进行训练的，因此它可以有效地避免先前的方法打O的缺。

0 for layer in token_embeddings2# printsentence_embedding0shape0# for i，x in enumeratetokenized_text0# printi，x# for i，x in enumeratetokenized_text1# printi，x# for i。

如下图所示，我们定义输入的embedding为 ，BERT最终输出的 CLS 的embedding为 ，最终输出的第 个token的embedding为 我们有理由相信一个深度双向模型比lefttoright模型和lefttoright和righttoleft简单连接的模型的效果更加强大。

引入Position Embedding主要是为了弥补Transformer模型对位置信息的不足，将Position Embedding与token Embedding相加后，即可保留各个token的位置信息论文作者提出了两种添加位置信息的的方法 一种方法是直接用不同频率的正余弦。

两个不同方向的LSTM模型是互不干扰的，他们的联系就只有输入的token的embedding是共用的，以及最后的全连接加softmax是通用的。