[AI Silicon System] Project 0: Overview

[AI Silicon System] 게시물은 KAIST 김주영 교수님의 강의자료와 Project document를 참고하여 작성하였습니다.

 

---

인공지능 반도체 시스템(이하 ASS)는 AI task(DNN, CNN, etc.)를 HW level에서 효율적으로 연산하고, 그 효율적인 연산을 위한 architecture design을 학습하는 과목입니다. 작년에는 "딥러닝을 위한 하드웨어 가속"(Deep learning accelerator)라는 과목명으로 개설됐었는데, 개인적으로 이 이름이 좀 더 적합한 것 같습니다.

​

어쨌든, 전체 성적의 40%나 차지하는 Project에 대해 4개의 게시글에 나눠서 작성할 예정입니다. 이 글을 작성하는 이유는 크게 세 가지입니다.

​

1. system verilog(.sv) syntax 학습

본 강의의 프로젝트는 verilog가 아닌 system verilog로 설계를 해야 합니다. 이전에 system verilog는 사용해 본 적이 없어서, 이번에 프로젝트하면서 system verilog reference를 좀 만들어 놓으려고 합니다.

​

2. Systolic array 설계 documentation

제 분야(DL accelerator)의 논문을 보면 거의 절반 이상이 compute unit으로 Systolic array를 채택합니다. Matrix-Matrix Multiplication에 대해서 상당한 throughput을 보여주고, data reuse를 exploit해서 off-chip memory access도 줄어들고 이는 low energy consumption으로 이어지기 때문입니다.

​

DL task 한정으로 systolic array가 매우 강력하므로, 나중에 또 설계해야 할 가능성이 다분합니다. 작년에 HFGCN 논문 쓸 때 Systolic array를 설계했었는데 documentation을 하지 않아서 이번에는 하겠습니다!

​

3. Final Project Report 준비

세 번째 프로젝트까지 마무리하고 설계에 대해서 Report를 작성해야 하는데, 글감을 미리 써놓으면 좋을 것 같아요.

---

Project Overview

Project를 한 마디로 설명하자면 "Design a very simple TPU for matrix multiplication" 입니다.

좀 많이 간단한 TPUㅋㅋㅋ

1. MAC array design
2. Memory controller design
3. Systolic array design (integration)

​

위 순서로 Project1, 2, 3 이 진행됩니다.

​

Objective

• Design a systolic array based accelerator for matrix multiplication
• After the project,
  • You should understand internal design and data flow of an array-type accelerator
  • You should experience an end-to-end hardware design flow (up to synthesis)
  • You should learn about timing constraints and physical design

​

Overall design

• Systolic array architecture with weight stationary data flow

위 architecture와 같은 Systolic array를 설계하면 되고, Weight Stationary를 따릅니다. Weight stationary, Output stationary에 대한 설명은 추후에 게시글로 써 볼 예정입니다.

​

5월 1일 기준 Assignment 2까지 완료했습니다! 이번 주 주말이 어린이날 낀 휴일이라서 저번 주 금요일에 시작하고 토일에 출근해서 해치웠습니다:)