dogfooding by dj

[andydiwenzhu]

Task 1: 在本地试用 GraphScope

• 安装 GraphScope
• 载入 ogbn_mag 内置图
• Project ogbn_mag到一个简单图，选择点标签为 paper, 边标签为 cites, 属性都为空。
• 在简单图上运行一个 Kcore 算法, 并打印结果为 pandas.DataFrame
• 在 ogbn_mag图上启动交互引擎 （Interactive）
• 通过 gremlin 计算图有多少点，边
• 对于 ogbn_mag图，使用 learning 定义并执行一个 GCN 训练过程，可参考 CI 或文档中定义的过程
• 退出 GraphScope。

Task 2: 在本地开发调试 GraphScope

• 通过 vineyardd直接启动 vineyard
• 从源代码编译 Analytical Engine，找到编译出的binary grape_engine， 通过 grape_engine直接运行 analytical_engine，然后退出 grape_engine 进程
• 为 GAE 添加一条日志 ( analytical_engine/core/server/analytical_server.cc)，并重新编译，启动并找到新添加的日志
• 从源代码编译 Interactive Engine，找到编译出的 frontend-x-SNAPSHOT.jar和 gaia_executor,直接运行这个 jar 包和这个 gaia_executor，使 frontend 能够连接到 executor。
• 了解 Frontend 和 Executor 的代码位置和组织结构，为 GIE 的 Frontend (interactive_engine/frontend/src/main/java/com/alibaba/graphscope/frontend/Frontend.java) 和 executor (interactive_engine/executor/assembly/v6d/src/bin/gaia_executor.rs) 各添加一条日志，并重新编译，启动并找到新添加的日志
• 从源代码编译 Learning Engine, 找到 libgraphlearn_shared.so
• 使用 setup.py 安装 coordinator 和 client。 注意因依赖关系， client 安装要在 coordinator 之前
• 继续安装 GAE，GIE，和 GLE 到预设安装目录。（上一步只有编译。相当于 make 和 make install 的区别）
• 找到 Client， Coordinator， GAE，GIE 和 GLE 的安装位置目录
• 若一切正常，这时你能通过 python 拉起 graphscope。启动python，import graphscope 并载入一个内置 modern_graph 图，在图上启动图交互引擎，发送一个查所有点的语句。
• 退出 graphscope

[andydiwenzhu]

运行 sess = graphscope.session() 出错

[siyuan0322]

This is a K8S session. Try to use a local session.

[andydiwenzhu]

Everytime we compile using ./gs make interactive --storage-type=vineyard, it overwrites the config files interactive_engine/assembly/target/graphscope/conf/frontend.vineyard.properties &
interactive_engine/assembly/target/graphscope/conf/executor.vineyard.properties
back to template!

[andydiwenzhu]

my solution is to remove the client version control in coordinator

[siyuan0322]

Fixed by #2798

[andydiwenzhu]

it seems to specify path, we need to use INSTALL_PREFIX env variable

[siyuan0322]

❯ ./gs make -h
Setting the environment for development.

[WARNING] GRAPHSCOPE_HOME will set to source root (/Users/siyuan/CLionProjects/graphscope) for development.
[WARNING] To use you assigned GRAPHSCOPE_HOME, export GRAPHSCOPE_ENV=prod.

Read the env: GRAPHSCOPE_HOME=/Users/siyuan/CLionProjects/graphscope
gs make - Build GraphScope on local.

Usage:
  gs make [COMPONENT] [OPTIONS]
  gs make --help | -h

Options:
  --install-prefix PREFIX
    Install dependency files to [prefix]. By default, './gs make install' will
    install all the files in '/opt/graphscope/bin', '/opt/graphscope/lib' etc.
    You can specify an installation prefix other than '/opt/graphscope' using
    '--install-prefix', for instance '--install-prefix=$HOME'.
    Default: /opt/graphscope

use --install-prefix could work.

[andydiwenzhu]

path problem

[andydiwenzhu]

my solution is to comment out the line to find vineyardd from vineyard.bdist

[siyuan0322]

Fixed by v6d-io/v6d#1409