neo4j 5.19.0安装、apoc csv导入导出 及相关问题处理

前言

突然有需求需要用apoc 导入 低版本的图谱数据,网上资料又比较少,所以就看官网资料并处理了apoc 导入的一些问题。

相关地址

apoc 官方安装网址  

apoc 官方导出csv 教程地址

apoc 官方 导入 csv 地址

docker 安装

执行如下命令启动镜像

docker run -d  --name neo4j  \-p 7474:7474 -p 7687:7687 \-v /home/neo4j/data:/var/lib/neo4j/data \-v /home/neo4j/plugins:/var/lib/neo4j/plugins \-v /home/neo4j/logs:/var/lib/neo4j/logs \-v /home/neo4j/conf:/var/lib/neo4j/conf \-v /home/neo4j/import:/var/lib/neo4j/import \-e NEO4J_apoc_export_file_enabled=true \-e NEO4J_apoc_import_file_enabled=true \-e NEO4J_apoc_import_file_use__neo4j__config=true \-e NEO4J_AUTH=neo4j/12345678 \neo4j:5.19.0

apoc安装

如果没有数据,可以执行下面的语句插入数据,后面导入导出用

CREATE (TheMatrix:Movie {title:'The Matrix', released:1999, tagline:'Welcome to the Real World'})
CREATE (Keanu:Person {name:'Keanu Reeves', born:1964})
CREATE (Carrie:Person {name:'Carrie-Anne Moss', born:1967})
CREATE (Laurence:Person {name:'Laurence Fishburne', born:1961})
CREATE (Hugo:Person {name:'Hugo Weaving', born:1960})
CREATE (LillyW:Person {name:'Lilly Wachowski', born:1967})
CREATE (LanaW:Person {name:'Lana Wachowski', born:1965})
CREATE (JoelS:Person {name:'Joel Silver', born:1952})
CREATE
(Keanu)-[:ACTED_IN {roles:['Neo']}]->(TheMatrix),
(Carrie)-[:ACTED_IN {roles:['Trinity']}]->(TheMatrix),
(Laurence)-[:ACTED_IN {roles:['Morpheus']}]->(TheMatrix),
(Hugo)-[:ACTED_IN {roles:['Agent Smith']}]->(TheMatrix),
(LillyW)-[:DIRECTED]->(TheMatrix),
(LanaW)-[:DIRECTED]->(TheMatrix),
(JoelS)-[:PRODUCED]->(TheMatrix);

从apoc 插件地址 下载 apoc-core-5.19.0 的jar,放到 /home/neo4j/plugins

然后编辑  /home/neo4j/conf/neo4j.conf ,添加如下配置

#没装成功的时候需要自己配置插件目录,成功了就不需要
#server.directories.plugins=/var/lib/neo4j/plugins
#下面两个官方是建议需要什么开放什么,我是直接全开放了
dbms.security.procedures.allowlist=apoc.*
dbms.security.procedures.unrestricted=apoc.*
#网上有出现上下面的配置,但是我不配置也没影响
#server.jvm.additional=Dapoc.export.file.enabled=true
#server.jvm.additional=Dapoc.import.file.enabled=true
server.directories.import=/var/lib/neo4j/import

此处有个问题:由于我一开始配置的 neo4j 是别人装的,我将apoc插件放到挂载的 plugins 下,apoc没装成功,也没有错误,把我整蒙了,后面是在 stackoverflow 看到有人给了 server.directories.plugins 配置,试着配一下才成功的,主要是没装成功也看不到错误,排查起来比较费劲。,需要注意下。自己按上面的步骤应该安装是不需要配置的。

apoc导出

然后执行如下指令导出数据

 CALL apoc.export.csv.all("movies.csv", {}) 

如果出现如下界面,表示插件安装成功,数据导出成功,文件会导出到 /home/neo4j/import

如果出现下面的错误,就是要考虑配置 server.directories.plugins 

There is no procedure with the name `apoc.export.csv.all` registered for this database instance. Please ensure you've spelled the procedure name correctly and that the procedure is properly deployed.

apoc导入

打开导出的csv 文件,数据格式如下图所示

但是我当时用别人配置服务的数据导出的时候,csv内容如下所示,包括别人从3.x的版本导出的数据也是这样的数据,多出了重复的列名_type,_start_,_end

如果像上面一样有重复的标签,就需要自己删除重复的_type,_start_,_end标签,否则就会出现如下错误

Failed to invoke procedure `apoc.import.csv`: Caused by: java.lang.IllegalStateException: Duplicate key _type (attempted merging values apoc.load.Mapping@45da0937 and apoc.load.Mapping@d89fe8

 然后按如下要求修改movies.csv的内容:

1.将 _id 改成 oldId:ID

2.将 _labels 改为 :LABEL

3.将 _start 改为 oldId:START_ID

4.将 _end 改为 oldId:END_ID

5.将 _type 改为 :TYPE

6.将 _labels 那一列下面的值改成 Movie,Person 用逗号分隔多个标签,去掉所有冒号

 我在基于上述需求改的时候,不小心把 :LABEL  敲成 :LABELS ,于是出现了如下的错误,看的我一脸懵逼

Failed to invoke procedure `apoc.import.csv`: Caused by: org.neo4j.internal.kernel.api.exceptions.schema.IllegalTokenNameException: '' is not a valid token name. Token names cannot be empty or contain any null-bytes.

之后如果基于上面的文件进行直接导入,会出现如下的错误,也很莫名其妙

Failed to invoke procedure `apoc.import.csv`: Caused by: java.lang.ClassCastException: class java.lang.String cannot be cast to class java.util.List (java.lang.String and java.util.List are in module java.base of loader 'bootstrap'

这是因为关系和节点都在同一个 csv 里面,需要拆成两个 csv,一个只有关系,一个只有节点,如下面的图片所示。

然后这两个文件都需要放到 /home/neo4j/import 里面

之后执行命令下面的指令(此处 labels type 都不要传值,这两个配置是指定本次导入的节点配置的 label 和关系配置的 type,我们需要用的label type 都在 csv 里,不需要自己指定)

CALL apoc.import.csv([{fileName: 'file:/node.csv', labels: []}],[{fileName: 'file:/relationship.csv', type: ''}],{ arrayDelimiter: ','}
)

如下结果表示成功

数据正常导入,原数据的 id 被作为 oldId 被插入到 neo4j 

csv数据修改问题

1.我这个 demo 是因为数据量少,所以直接人工修改,不是很费劲,但是人工修改的时候需要注意编码问题,有些编辑工具如 excel 修改后再保存,会修改 csv 的编码,此时导入就会出现乱码,需要自己通过如 notepad 等其他工作,把编码改为UTF-8

2.当数据量特别多的时候,手动改就显得又卡,又难操作了,此时可以考虑参考下面的代码,然后基于自己的要求调整。(apoc 好像是使用opencsv 解析的,也可以考虑用opencsv)

<dependency><groupId>org.apache.commons</groupId><artifactId>commons-csv</artifactId><version>1.7</version>
</dependency>
try (Reader reader = Files.newBufferedReader(Paths.get("movies.csv"))) {CSVPrinter csvPrinter = null;boolean isFirst = true;Iterable<CSVRecord> records = CSVFormat.DEFAULT.parse(reader);int recordIndex = 0;for (CSVRecord record : records) {recordIndex++;if (isFirst) {isFirst = false;List<String> heads = Lists.newArrayList();int index = 0;for (String s : record) {index++;heads.add(s);}csvPrinter = new CSVPrinter(Files.newBufferedWriter(new File("gen.csv").toPath(),StandardOpenOption.CREATE, StandardOpenOption.WRITE), CSVFormat.DEFAULT.withHeader(heads.toArray(new String[heads.size()])));continue;}List<String> bodys = Lists.newArrayList();int index = 0;for (String s : record) {if (index == 1) {s = s.replaceAll(":", ";").replaceFirst(":", "");}index++;bodys.add(s);}csvPrinter.printRecord(bodys.toArray(new String[bodys.size()]));csvPrinter.flush();}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.pswp.cn/bicheng/83475.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

macos常见且应该避免被覆盖的系统环境变量(避免用 USERNAME 作为你的自定义变量名)

文章目录 macos避免用 USERNAME 作为你的自定义变量名macos常见且应该避免被覆盖的系统环境变量 macos避免用 USERNAME 作为你的自定义变量名 问题&#xff1a; 你执行了&#xff1a;export USERNAME“admin” 然后执行&#xff1a;echo ${USERNAME} 输出却是&#xff1a;xxx …

Python训练打卡Day41

简单CNN 知识回顾 数据增强卷积神经网络定义的写法batch归一化&#xff1a;调整一个批次的分布&#xff0c;常用与图像数据特征图&#xff1a;只有卷积操作输出的才叫特征图调度器&#xff1a;直接修改基础学习率 卷积操作常见流程如下&#xff1a; 1. 输入 → 卷积层 → Batch…

【亲测有效】Mybatis-Plus中更新字段为null

Mybatis-Plus中更新字段为null 遇到问题 Mybatis-Plus更新的默认行为如下: Mybatis-Plus默认如果某个字段为null, 默认不更新这个字段, 例如有个Double类型的字段, 当前数据库数据为10, 然后传参时当前字段为null, 实际上Mybatis-Plus是不会覆盖该字段为null的 在传参的时候如…

如何使用插件和子主题添加WordPress自定义CSS(附:常见错误)

您是否曾经想更改网站外观的某些方面&#xff0c;但不知道怎么做&#xff1f;有一个解决方案——您可以将自定义 CSS&#xff08;层叠样式表&#xff09;添加到您的WordPress网站&#xff01; 在本文中&#xff0c;我们将讨论您需要了解的有关CSS的所有知识以及如何使用它来修…

左值引用和右值引用

一、基本概念 左值&#xff08;lvalue&#xff09;和右值&#xff08;rvalue&#xff09; 左值指的是有确定存储位置&#xff08;地址&#xff09;的对象&#xff0c;通常可以出现在赋值语句左侧。例如&#xff1a;变量名、解引用指针得到的对象、数组元素等都属于左值。 右值…

django入门-orm数据库操作

一&#xff1a;下载数据库依赖项mysqlclient pip install mysqlclient 二&#xff1a;django配置文件配置数据库链接 路径&#xff1a;mysite2\mysite2\settings.py DATABASES {default: {ENGINE: django.db.backends.mysql,NAME: data, # 数据库名称USER: root, …

国标GB28181设备管理软件EasyGBS视频平台筑牢文物保护安全防线创新方案

一、方案背景​ 文物作为人类文明的珍贵载体&#xff0c;具有不可再生性。当前&#xff0c;盗窃破坏、游客不文明行为及自然侵蚀威胁文物安全&#xff0c;传统保护手段存在响应滞后、覆盖不全等局限。随着5G与信息技术发展&#xff0c;基于GB28181协议的EasyGBS视频云平台&…

NetSuite Bundle - Dashboard Refresh

儿童节快乐&#xff01; 今朝发一个Bundle&#xff0c;解决一个NetSuite Dashboard的老问题。出于性能上的考虑&#xff0c;NetSuite的Dashboard中的Portlet&#xff0c;只能逐一手工刷新。有人基于浏览器做了插件&#xff0c;可以进行自动刷新。但是在我们做项目部署时&#…

<PLC><socket><西门子>基于西门子S7-1200PLC,实现手机与PLC通讯(通过websocket转接)

前言 本系列是关于PLC相关的博文,包括PLC编程、PLC与上位机通讯、PLC与下位驱动、仪器仪表等通讯、PLC指令解析等相关内容。 PLC品牌包括但不限于西门子、三菱等国外品牌,汇川、信捷等国内品牌。 除了PLC为主要内容外,PLC相关元器件如触摸屏(HMI)、交换机等工控产品,如…

【AI论文】推理语言模型的强化学习熵机制

摘要&#xff1a;本文旨在克服将强化学习扩展到使用 LLM 进行推理的主要障碍&#xff0c;即策略熵的崩溃。 这种现象在没有熵干预的RL运行中一直存在&#xff0c;其中策略熵在早期训练阶段急剧下降&#xff0c;这种探索能力的减弱总是伴随着策略性能的饱和。 在实践中&#xff…

手动删除网页上的禁止复制事件

以Edge浏览器为环境、以网络上一个文档为例。 右击页面&#xff0c;打开【检查】工具。选择元素&#xff0c;打开【事件侦听器】&#xff1a; 展开copy&#xff0c;删除里面的事件&#xff1a; 选中文字&#xff0c;进行复制

element级联地址选择器

一、实现过程总览 组件替换&#xff1a;将原有的输入框&#xff08;el-input&#xff09;替换为级联选择器&#xff08;el-cascader&#xff09;&#xff0c;并配置基础属性。数据适配&#xff1a;引入 JSON 地址数据&#xff0c;通过cascaderProps映射数据字段&#xff08;如…

【leetcode-两数之和】

一、题目 二、题解 &#xff08;1&#xff09;双指针 这里要注意j<length的 //声明两个指针int length nums.length;for (int i 0; i < length; i) {for (int j i 1; j<length;j){if (j<length && nums[i]nums[j]target){return new int[]{i,j};}}}r…

CLion社区免费后,使用CLion开发STM32相关工具资源汇总与入门教程

Clion下载与配置 Clion推出社区免费&#xff0c;就是需要注册一个账号使用&#xff0c;大家就不用去找破解版版本了&#xff0c;jetbrains家的IDEA用过的都说好&#xff0c;这里嵌入式领域也推荐使用。 CLion官网下载地址 安装没有什么特别&#xff0c;下一步就好。 启动登录…

Rust 学习笔记:关于 Cargo 的练习题

Rust 学习笔记&#xff1a;关于 Cargo 的练习题 Rust 学习笔记&#xff1a;关于 Cargo 的练习题问题一问题二问题三问题四问题五问题六问题七 Rust 学习笔记&#xff1a;关于 Cargo 的练习题 参考视频&#xff1a; https://www.bilibili.com/video/BV1xjAaeAEUzhttps://www.b…

高速收发器

一、高速收发器 1.FPGA高速收发器&#xff1a;GTP,GTX,GTH,GTZ 2.每个Quad有4对高速收发器GT(4个TX和4个RX)和一个COmmon 3.走差分&#xff0c;提高抗干扰性 4.CPLL是每个lane私有的&#xff0c;QPLL是整个Quad的所有通道共享的 5.每个MGT的bank有两对差分参考时钟 6.CPLL的时钟…

Rust 变量与可变性

文章目录 变量与可变性常量遮蔽&#xff08;Shadowing&#xff09; 变量与可变性 Rust中变量默认是不可变的&#xff0c;这是 Rust 鼓励你编写更安全、易于并发代码的众多方式之一。不过&#xff0c;你仍然可以选择让变量可变。让我们来探讨 Rust 为什么鼓励你优先使用不可变性…

sourcetree无法获取远程所有的tag

2025年5月29日11:30:17 sourcetree widnwos v3.4.23版本 突然发现线上的代码库里有很多新打的tag&#xff0c;但是sourcetree死活无法拉去所有的tag&#xff0c;尝试卸载重新安装也不行&#xff0c;全网也找了还是不知道&#xff0c;但是mac版本好像没有这个问题 方法1&…

《深度探索C++对象模型》阅读笔记(完整版)

《深度探索C对象模型》阅读笔记&#xff08;完整版&#xff09; 文章目录 《深度探索C对象模型》阅读笔记&#xff08;完整版&#xff09;1. 关于对象&#xff08;Object Lessons&#xff09;1.1 C对象模型&#xff08;The C Object Model&#xff09;1.1.1 语言中的对象模型1.…

从Docker拉取镜像一直失败超时解决办法

项目场景&#xff1a; 在ubuntu中&#xff0c;使用docker拉去镜像时&#xff0c;一直超时&#xff0c;拉去失败。 问题描述 原因分析&#xff1a; 国外服务器网络不好导致。 解决方案&#xff1a; 解决方案1 设置国内源 我这边测试&#xff0c;更改以后仍然失败 阿里云提供…