Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[ipex-llm[cpp]][ollama][MTL iGfx] The GLM4:9b model produced erroneous output starting from the second inference #12704

Open
jianjungu opened this issue Jan 14, 2025 · 2 comments
Assignees

Comments

@jianjungu
Copy link

Sent 3 prompts sequentially to GLM4:9b model with ollama 0.5.1-ipex-llm-20250112 on intel MTL 155H & LNL 258V.

I got the wrong answers from the second prompt. And the output contents on LNL are correct.

The prompts are:
"我的内容是:{飞机模型}.\n\n你是一个文档助手,请按照下面的要求完成任务\n\n要求:\n1、根据提炼的内容进行输出返回markdown格式。\n2、根据提炼的内容进行输出要求4-8个章节,每个章节下面有5-9个子章节,每个子章节下面有至少两个小标题序号及对应小标题。\n3、针对我的小标题进行丰富内容,要求保留原内容的原义。要求适当润色丰富原内容, 要求每个小标题要输出500字内容。",
"我的内容是:{柬埔寨}.\n\n你是一个文档助手,请按照下面的要求完成任务\n\n要求:\n1、根据提炼的内容进行输出返回markdown格式。\n2、根据提炼的内容进行输出要求4-8个章节,每个章节下面有5-9个子章节,每个子章节下面有至少两个小标题序号及对应小标题。\n3、针对我的小标题进行丰富内容,要求保留原内容的原义。要求适当润色丰富原内容, 要求每个小标题要输出500字内容。",
"我的内容是:{墨西哥}.\n\n你是一个文档助手,请按照下面的要求完成任务\n\n要求:\n1、根据提炼的内容进行输出返回markdown格式。\n2、根据提炼的内容进行输出要求4-8个章节,每个章节下面有5-9个子章节,每个子章节下面有至少两个小标题序号及对应小标题。\n3、针对我的小标题进行丰富内容,要求保留原内容的原义。要求适当润色丰富原内容, 要求每个小标题要输出500字内容。",

The output contents on MTL are wrong from the 2nd question


==================== 测试提示词 ====================
提示词: 我的内容是:{飞机模型}.

你是一个文档助手,请按照下面的要求完成任务

要求:
1、根据提炼的内容进行输出返回markdown格式。
2、根据提炼的内容进行输出要求4-8个章节,每个章节下面有5-9个子章节,每个子章节下面有至少两个小标题序号及对应小标题。
3、针对我的小标题进行丰富内容,要求保留原内容的原义。要求适当润色丰富原内容, 要求每个小标题要输出500字内容。

=== 测试 #1 ===
(首次运行,包含模型加载时间)

响应内容:
# 飞机模型

## 第一章:飞机模型概述


### 1.1 飞机模型的定义
飞机模型是指模仿真实飞机的缩小版模型,它们可以是纸质的、塑料的或金属的。这些模型不仅在外观上与真实飞机相似,而且在飞行原理上也尽量接近。

### 1.2 飞机模型的历史发展
飞机模型的历史可以追溯到20世纪初,当时人们为了验证飞行理论而制作了最早的飞行器模型。随着航空科技的进步,飞机模型也逐渐成为了一种流行的爱好和收藏品。

### 1.3 飞机模型的分类
按照材质可以分为纸质模型、塑料模型和金属模型;按照用途可以分为教育模型、比赛模型和娱乐模型;按照飞行方式可以分为遥控模型和自由飞模型。

### 1.4 飞机模型的制作工艺
飞机模型的制作工艺包括裁剪、折叠、粘贴、上色等多个环节。随着科技的发展,一些新型材料如碳纤维也被应用于飞机模型的制作中。
### 1.5 飞机模型的飞行原理
飞机模型的飞行原理与真实飞机类似,都是依靠升力来克服重力的作用。飞机模型在飞行过程中通过调整翼面形状和角度来实现起降、俯仰、滚转等动作。

## 第二章:纸质飞机模型制作

### 2.1 材料准备

....

==================== 测试提示词 ====================
提示词: 我的内容是:{柬埔寨}.

你是一个文档助手,请按照下面的要求完成任务

要求:
1、根据提炼的内容进行输出返回markdown格式。
2、根据提炼的内容进行输出要求4-8个章节,每个章节下面有5-9个子章节,每个子章节下面有至少两个小标题序号及对应小标题。
3、针对我的小标题进行丰富内容,要求保留原内容的原义。要求适当润色丰富原内容, 要求每个小标题要输出500字内容。

=== 测试 #1 ===
(首次运行,包含模型加载时间)

响应内容:
# 主题:个人成长与自我提升

## 第一章:自我认知

### 子章节1:了解自己的优点
- **小标题1.1:认识自己的长处**
  - 在追求个人成长的过程中,第一步是认识到自己的优点。这有助于我们自信地面对挑战并发挥潜力。通过反思和分析,我们可以发现自己在某些领域的独特才能和优势。
- **小标题1.2:识别自己的不足**
  - 同样重要的是识别自己的不足之处。这样可以帮助我们意识到需要改进的地方,从而有针对性地进行学习和实践。

### 子章节2:兴趣与激情

#### 小标题2.1:培养广泛兴趣
- 拥有广泛的兴趣爱好可以丰富我们的生活,拓展我们的视野。通过尝试不同的活动,我们可以找到自己真正热爱的事物。
#### 小标题2.2:激发内在激情
- 追求激情和热情是个人成长的关键。当我们对某个领域或事物充满热情时,我们会更加积极主动地投入到学习和实践中。

## 第二章:知识储备

....


==================== 测试提示词 ====================
提示词: 我的内容是:{墨西哥}.

你是一个文档助手,请按照下面的要求完成任务

要求:
1、根据提炼的内容进行输出返回markdown格式。
2、根据提炼的内容进行输出要求4-8个章节,每个章节下面有5-9个子章节,每个子章节下面有至少两个小标题序号及对应小标题。
3、针对我的小标题进行丰富内容,要求保留原内容的原义。要求适当润色丰富原内容, 要求每个小标题要输出500字内容。

=== 测试 #1 ===
(首次运行,包含模型加载时间)

响应内容:
# 内容概述

以下是您提供的内容的提炼和扩展:

## 第一章:核心主题一
### 1.1 子章节一
- **子标题一**:[丰富内容1](#)
- **子标题二**:[丰富内容2](#)

### 1.2 子章节二
- **子标题一**:[丰富内容3](#)
- **子标题二**:[丰富内容4](#)

### 1.3 子章节三
- **子标题一**:[丰富内容5](#)
- **子标题二**:[丰富内容6](#)

And
my reproduce python code is here
glm4_eva_prompt.zip

the full output :
prompt_error_ollama_log.txt

ollama serve log:
prompt_error_ollama_log.txt

@qiuxin2012 qiuxin2012 self-assigned this Jan 16, 2025
@sgwhat
Copy link
Contributor

sgwhat commented Jan 16, 2025

This issue has been reproduced, working on fixing it.

@qiuxin2012
Copy link
Contributor

We have fixed this issue, please try 20250121 tomorrow.

@qiuxin2012 qiuxin2012 reopened this Jan 22, 2025
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants