Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

对于已有的知识图谱,能够看到节点,但是无法检索到 #50

Open
hush699 opened this issue Mar 8, 2025 · 22 comments
Open
Labels
enhancement New feature or request

Comments

@hush699
Copy link

hush699 commented Mar 8, 2025

将自己的数据导入Neo4j数据库后,在知识图谱那里更新了节点和关系,但是查询不到实体,问答里面也检索不到。是因为没有加载进查询的数据库中吗?还是只支持上传jsonl后才能嵌入呢

@xerrors xerrors changed the title 问题&&疑惑 知识图谱的实体添加后,能够看到节点,但是无法检索到 Mar 8, 2025
@xerrors
Copy link
Owner

xerrors commented Mar 8, 2025

我试了一下是可以的,这时候一般是因为节点已经成功添加,但是在 embedding 的过程中,出现了问题,导致实体已经可以在 neo4j 中看到,但是却没有 embedding 的情况。所以上传的时候可以检查是否有报错,docker logs api-dev

@hush699
Copy link
Author

hush699 commented Mar 8, 2025

诶,就是我不是通过上传json文件去生成的知识图谱。数据就已经导入在neo4j里面的,但是接完我自己的neo4j,他确实有图像显示在那里,但是查不到实体。

@hush699
Copy link
Author

hush699 commented Mar 8, 2025

感谢作者大大

@aaalionaaa
Copy link

诶,就是我不是通过上传json文件去生成的知识图谱。数据就已经导入在neo4j里面的,但是接完我自己的neo4j,他确实有图像显示在那里,但是查不到实体。

请问解决了吗?我也遇到了同样的问题

@hush699
Copy link
Author

hush699 commented Mar 8, 2025

诶,就是我不是通过上传json文件去生成的知识图谱。数据就已经导入在neo4j里面的,但是接完我自己的neo4j,他确实有图像显示在那里,但是查不到实体。

请问解决了吗?我也遇到了同样的问题
还没有解决哦

@hush699
Copy link
Author

hush699 commented Mar 8, 2025

@aaalionaaa 还没有

@xerrors
Copy link
Owner

xerrors commented Mar 8, 2025

诶,就是我不是通过上传json文件去生成的知识图谱。数据就已经导入在neo4j里面的,但是接完我自己的neo4j,他确实有图像显示在那里,但是查不到实体。

这个确实是个问题,对于已有的知识图谱还不支持索引,代办。

@xerrors xerrors changed the title 知识图谱的实体添加后,能够看到节点,但是无法检索到 对于已有的知识图谱,能够看到节点,但是无法检索到 Mar 8, 2025
@xerrors xerrors added the enhancement New feature or request label Mar 8, 2025
@xerrors
Copy link
Owner

xerrors commented Mar 8, 2025

额外解释一下,这里是因为查询知识图谱的时候使用的是向量检索。而已有的知识图谱是没有做向量 indexing 的,所以检索不到内容。后面会从两个角度修改:1)将向量检索和精准检索结合。2)添加对已有知识图谱做索引的知识图谱功能。

目前来说,可以将原有的知识图谱导出为 jsonl 后再上传😂

@hush699
Copy link
Author

hush699 commented Mar 8, 2025

@xerrors 感谢作者大大

@aaalionaaa
Copy link

额外解释一下,这里是因为查询知识图谱的时候使用的是向量检索。而已有的知识图谱是没有做向量 indexing 的,所以检索不到内容。后面会从两个角度修改:1)将向量检索和精准检索结合。2)添加对已有知识图谱做索引的知识图谱功能。

目前来说,可以将原有的知识图谱导出为 jsonl 后再上传😂

想问下佬,如果用jsonl上传的话是只能像md演示的那样用‘h’,'t','r'吗?

@xerrors
Copy link
Owner

xerrors commented Mar 8, 2025 via email

@aaalionaaa
Copy link

是的,目前只支持这个更复杂的属性之类的还不支持

---- 回复的原邮件 ----
| 发件人 | @.> |
| 日期 | 2025年03月08日 20:29 |
| 收件人 | @.
> |
| 抄送至 | Wenjie @.>@.> |
| 主题 | Re: [xerrors/Yuxi-Know] 对于已有的知识图谱,能够看到节点,但是无法检索到 (Issue #50) |

额外解释一下,这里是因为查询知识图谱的时候使用的是向量检索。而已有的知识图谱是没有做向量 indexing 的,所以检索不到内容。后面会从两个角度修改:1)将向量检索和精准检索结合。2)添加对已有知识图谱做索引的知识图谱功能。

目前来说,可以将原有的知识图谱导出为 jsonl 后再上传😂

想问下佬,如果用jsonl上传的话是只能像md演示的那样用‘h’,'t','r'吗?


Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you were mentioned.Message ID: @.***>

aaalionaaa left a comment (xerrors/Yuxi-Know#50)

额外解释一下,这里是因为查询知识图谱的时候使用的是向量检索。而已有的知识图谱是没有做向量 indexing 的,所以检索不到内容。后面会从两个角度修改:1)将向量检索和精准检索结合。2)添加对已有知识图谱做索引的知识图谱功能。

目前来说,可以将原有的知识图谱导出为 jsonl 后再上传😂

想问下佬,如果用jsonl上传的话是只能像md演示的那样用‘h’,'t','r'吗?


Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you were mentioned.Message ID: @.***>

好的!感谢

@xerrors
Copy link
Owner

xerrors commented Mar 8, 2025

@aaalionaaa @hush699 现在更新了为 未索引 的节点添加索引。

Image

不过还没有很广泛的测试,你们可以试一下看看哈,我试了是可以的。

另外这个对 neo4j 的版本也有一定的要求,需要是较新的版本才支持 embedding。

@aaalionaaa
Copy link

@aaalionaaa @hush699 现在更新了为 未索引 的节点添加索引。

Image

不过还没有很广泛的测试,你们可以试一下看看哈,我试了是可以的。

另外这个对 neo4j 的版本也有一定的要求,需要是较新的版本才支持 embedding。

辛苦大佬了!不过更新后的版本,未索引的结点是否还需要‘h’,'t','r'这样的格式才能为其添加索引呢?

@xerrors
Copy link
Owner

xerrors commented Mar 8, 2025 via email

@aaalionaaa
Copy link

是的,传入的格式没有改变😜,这个可能需要很久之后,将 知识图谱构建 部分做完之后才一起更新。

请教一下大佬。我刚刚上传了个很大的jsonl文件去添加知识图谱,发现疯狂吃我磁盘容量。想问一下这些数据是存在什么文件夹下的哈?

@xerrors
Copy link
Owner

xerrors commented Mar 9, 2025

@aaalionaaa

  graph:
    image: neo4j:latest
    container_name: graph-dev
    ports:
      - "7474:7474"
      - "7687:7687"
    volumes:
      - ./volumes/neo4j/data:/data # <=== docker 文件夹下面
      - ./volumes/neo4j/logs:/var/lib/neo4j/logs
    environment:
      - NEO4J_AUTH=neo4j/0123456789
      - NEO4J_server_bolt_listen__address=0.0.0.0:7687
      - NEO4J_server_http_listen__address=0.0.0.0:7474
    networks:
      - app-network

@aaalionaaa
Copy link

@aaalionaaa

graph:
image: neo4j:latest
container_name: graph-dev
ports:
- "7474:7474"
- "7687:7687"
volumes:
- ./volumes/neo4j/data:/data # <=== docker 文件夹下面
- ./volumes/neo4j/logs:/var/lib/neo4j/logs
environment:
- NEO4J_AUTH=neo4j/0123456789
- NEO4J_server_bolt_listen__address=0.0.0.0:7687
- NEO4J_server_http_listen__address=0.0.0.0:7474
networks:
- app-network

哦,我是用的自己已有的neo4j,所以按照你说的把这段注释掉了。这样的话是存在哪里呀?我看了下neo4j的存储路径下占用磁盘空间也不大诶。吃磁盘空间是发生在create index的时候,掉的是c盘的空间。

@xerrors
Copy link
Owner

xerrors commented Mar 9, 2025

@aaalionaaa indexing 也是存储在 neo4j 中,这个你要检查你的 neo4j 的配置信息了。

@aaalionaaa
Copy link

@xerrors 不知道是不是有什么bug啊?今天又试了一下,上传的图谱jsonl文件有90条还没啥事,后来我试了一下上传200条三元组,然后开始知识图谱+知识库问答后,docker-scout.exe程序就开始大量磁盘写入,像是进了死循环一样,一直在写入。想问以下佬有遇到过这样的情况吗?

@xerrors
Copy link
Owner

xerrors commented Mar 11, 2025

@aaalionaaa 对于提到这个“docker-scout.exe程序就开始大量磁盘写入”,我确实还没有遇到过,这里可以建议几个排查方案:

  1. 检查后台的报错 docker logs api-dev
  2. 看一下主要写入的是哪个路径,排查一下。大量的磁盘写入,能想到的就是大量的 embedding 的产生。

@aaalionaaa
Copy link

@xerrors okok,谢谢佬!感觉好像是我本地docker的问题,我更新了我的docker后可以scout关掉,似乎就不会出现这个情况了。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

When branches are created from issues, their pull requests are automatically linked.

3 participants