update indexes_containing_token function

[AllentDan]

No description provided.

[irexyc]

这个地方一定等于1吧，因为入口函数这里> 1的时候过滤了

lmdeploy/lmdeploy/tokenizer.py

Lines 391 to 400 in 3380007

	def indexes_containing_token(self, token):
	"""Return all the possible indexes, whose decoding output may contain
	the input token."""
	encoded = self.encode(token, add_bos=False)
	if len(encoded) > 1:
	self.logger.warning(
	f'The token {token}, its length of indexes {encoded} is over '
	'than 1. Currently, it can not be used as stop words')
	return []
	return self.model.indexes_containing_token(token)

[AllentDan]

对，但是不保证这个函数单独被调用

[irexyc]

意思是说模型输出的token_id可能不在vocab里面，然后出现的时候也要stop是么？

[AllentDan]

意思是说模型输出的token_id可能不在vocab里面，然后出现的时候也要stop是么？

主要是直接从huggingface的 AutoTokenizer 类拿属性 vocab_size 不保险，可能存在的情况是某些模型自己加了其他字段，然后可以 index 是超出 vocab_size 的。正常来讲，这个 PR里新加的 vocab_size_with_added 应该是全的，不过先不用吧还是。