pyspark版本3.1.3
需要文件
- graphframes-0.8.2-spark3.1-s_2.12.jar
- spark-graphx_2.12-3.1.3.jar
- 从 https://github.com/microsoft/adb2spark/raw/main/graphframes-0.8.2-py3-none-any.whl 下载graphframes-0.8.2-py3-none-any.whl。下载后把whl后缀改成zip,解压后其中一个文件夹是graphframes,直接把这个文件夹压缩成graphframes.zip
--jars graphframes-0.8.2-spark3.1-s_2.12.jar,spark-graphx_2.12-3.1.3.jar
--py-files graphframes.zip
验证是不是成功
from graghframes import GraphFrame