[GNN Accelerator] Project overview

GNN(Graph Neural Network)

전자공학종합설계 과목에서 진행 중인 프로젝트에서 GNN accelerator 설계라는 새로운 방향이 생겼습니다. 기존에 GPGPU 설계를 목표로 프로젝트를 수행하고 있었는데, 제가 GNN 관련 논문을 보고 제시했던 연구 방향에 따라 프로젝트 주제가 바뀌었습니다.

 

아직 GNN 관련 이론은 거의 아는 게 없어서 추후에 게시글로 작성해볼 계획입니다.

 

다음 게시물이 GNN을 이해하는데 도움이 많이 될 것 같습니다.

An Introduction to Graph Neural Network(GNN)

An Introduction to Graph Neural Network(GNN) For Analysing Structured Data

GNN 소개 - 기초부터 논문까지

GNN 소개 — 기초부터 논문까지

 

두 번째 글은 첫 번째 글을 번역 & 편집한 글입니다.

 

1. GPU를 일종의 가속기로 볼 수 있다.

GPU도 결국 특정 task를 빠르게 수행하기 위해 고안된 processor입니다. 즉, GPU 역시 Amdahl's law를 따르고 GPU 설계에서 적용되는 parallelism과 관련된 idea와 insight를 가속기 설계에서도 적용할 수 있습니다.

 

또한 GNN은 떠오르고 있는 Neural Network이며 가속기를 설계할만한 가치가 있다고 생각됩니다.

 

2. 관련 논문에 따르면 GNN의 graph processing, aggregation phase는 GPGPU가 비효율적이다.

https://ieeexplore.ieee.org/document/9256702

fuseGNN: Accelerating Graph Convolutional Neural Network Training on GPGPU

위 ieee에 게재된 논문에 따르면 GNN의 3 phase(combination, graph processing, aggregation) 중 graph processing, aggregation은 GPGPU로 처리하는 것이 비효율적이라고 합니다. graph dataset의 irregularity와 방대한 data movement 가 그 원인입니다.

 

 

본 논문에서는 SW level(PyTorch extension, CUDA kernel optimization)에서 이 문제의 해결책(fuseGNN)을 제시했습니다.

 

저희 팀에서는 해당 문제를 HW level에서 해결하는 연구를 진행할 계획입니다.

 

3. GNN의 HW level optimization에 대한 연구는 많이 진행되지 않았다.

 

GNN accelerator를 키워드로 논문을 찾아보면 2020년 이후로 10편 이하의 논문이 나왔습니다. HW level에서도 비교적 연구가 많이 진행된 CNN, RNN보다 GNN이 연구할 가치가 있다는 것이 저희 지도교수님의 생각입니다.

 

 

이렇게 크게 3가지의 관점에 방점을 찍고 GNN Accelerator에 관한 연구를 내년 1월까지 진행할 예정입니다. 목표는 IEEE 관련 저널에 논문을 게재하는 것입니다.