使用官方的chat对话时, 结尾总是会跟上<|eot_id|>, 不知道是什么原因.

[tian969]

如题, 是我加载方式存在问题嘛?

[HIT-cwh]

不是的，这个是对话模板，模型输出这个字符说明正常结束本次输出了，忽略掉就好。

[tian969]

有一个奇怪的现象, 我已经RESET掉了历史, 然后它又会再次生成相同的内容.

此外, 我自己在用图片去做VQA的时候, 会有卡住复读和幻觉问题. 这些请问您那边评测的时候会遇到嘛? 我自己修改chat.py弄了一个评测集但是打分比较糟糕. 不清楚原因, 出现的问题就是上面提到的, 还有就是我不加system_prompt, 就时不时会回答中文, 但是是答非所问的那种.
我使用的版本是llava-llama-3-8b-v1.1

[hhaAndroid]

@tian969 你可以把你的完整命令发一下吗？包括权重是哪个？具体用法啥的？我们跑一下

[tian969]

zip说明:
这个是我改了您的chat.py, 然后跑llava原版的in-the-wild-bench的脚本, 一共有四个文件, 一个是修改后的py文件, 一个是执行的sh文件, 一个是我使用您那边提供的v1.1权重得到的回答. 还有就是源数据集.
需要您把in-the-wild.zip解压后, 对应的目录填写上去即可. (我不确定经我修改后的脚本是否存在问题, 但是我看打出来的prompt格式是对的, 然后图片输入我没有改动) .下面的问题是调用xtuner chat,加载您提供的权重出现的问题.

badcase说明: 下面这张图片中是回答的结果, 图片内容是景色, 但是回答的是有几个人. 并且和下面对于不同图片的相同提问, 回答会相同.

归档.zip

![image](https://github.com/InternLM/xtuner/assets/102512042/1417be43-b4e3-444d-a7b9
llava-bench-in-the-wild.zip
-c72a10529f8d)

[tian969]

都是基于llava-llama-3-8b-v1_1这个版本的权重去做的测试. 下面这张图片是直接调用xtuner chat出现的复读问题.