[graph] graphSAGE의 embedding generation algorithm에 대한 기록

graphSAGE 전체 그림 

 

"...we learn how to aggregate feature information from a node's local neighborhood (e.g. the degrees or text attributes of enarby nodes)."

 

 

1. Before graphSAGE...

• 기존의 그래프 노드 임베딩 방법론에는 factorization-based embedding approach, supervised learning over graphs, GCN이 있었다. 
• Factorization-based embedding approach: Learn low-dimensional embeddings using random walk. statistics and matrix factorization-based learning objectives.
• Supervised learning over graphs: includes a wide variety of kernel-based approaches, where feature vectors for graphs are derived from various graph kernels.
• GCN

 

2. graphSAGE

• 어떠한 노드의 feature를 만들기 위해 주변 노드의 정보를 사용한다.
• SAmple and aggregaTE를 결합해 네이밍 한 네트워크인 만큼 이웃 노드를 샘플링하고, aggregating하는 것이 이 네트워크의 핵심이다. 

 

3. Forward Propagation (Embedding Generation Algorithm) 

graphSAGE의 Forward Propagation

• [1] 첫 번째 레이어 (h0)의 입력으로는 모든 노드 v의 feature가 들어가게 된다. 
• [2 - 6] 그 다음 레이어부터는 모든 노드 v에 대하여 주변 노드의 정보를 AGGREGATE하고 (이것은 이웃들에 대한 정보) 나 자신의 정보를 CONCAT한 후에 weight matrix를 곱해준다. 그리고 이 결과를 non-linear function에 입력하여 나온 출력이 해당 노드의 feature로 업데이트 해준다. 
• [7] 7번째 줄에 있는 것은 normalize 내용인 것 같다.