이것저것 기록

1. 그래프 임베딩이란 Graph embeddings are the transformation of properties of a graph to a vector or a set of vectors. 그래프 구조의 데이터의 차원을 축소하여 low-dimention 벡터로 표현하는 것 2. 그래프 임베딩의 이유 ML on graphs is limited Embeddings are a compressed representation Vector operations are simpler and faster >> 그래프는 이미지나 시계열과 같이 정형적인 형태의 데이터가 아니다. 때문에 그래프 구조를 가지고 그래프 분류든 예측이든, ML을 활용하여 뭔가를 하기엔 매우 불편하다. 예를 들어보자. CNN의 학습 데이터로..

"...we learn how to aggregate feature information from a node's local neighborhood (e.g. the degrees or text attributes of enarby nodes)." 1. Before graphSAGE... 기존의 그래프 노드 임베딩 방법론에는 factorization-based embedding approach, supervised learning over graphs, GCN이 있었다. Factorization-based embedding approach: Learn low-dimensional embeddings using random walk. statistics and matrix factorization-base..

"...but what if we want to make predictions at the graph level? In other words, we have been assuming tat the goal is to learn node representations Zu, but what if we want to learn an embedding Zg for the entire graph G?" Graph Pooling의 정의 기존 영상 처리에서 활용되었던 Pooling 방법론을 그래프 관점에 적용시킨 것이다. 기존 영상 처리에서의 Pooling은 한마디로 중요한 정보는 남기고, 불필요한 정보는 날리는 역할을 한다. 그래프의 관점에서도 똑같다. 그래프에서 중요한 역할을 하는 노드의 정보는 남기고 불필요한 ..

GNN의 정의 그래프 형태로 된 데이터를 분석할 수 있는 네트워크 입력데이터: 그래프의 구조, 노드, 엣지, 각 노드와 엣지가 가지고 있는 feature 목적: 그래프에 있는 노드 사이의 관계를 모델링하고, 그에 대한 representation을 생성하는 것 --> 그러기 위해선 임의의 그래프 G가 들어왔을 때 해당 그래프를 하나의 representation으로 표현하기 위한 임베딩을 해야한다. 입력데이터: 그래프 GNN의 구조 GNN의 레이어에서 각 노드들은 그래프 상 이웃 노드들의 정보와 자기 자신의 정보를 이용해 임베딩 한다. 첫 번째 레이어에서는 해당 노드의 피쳐가 임베딩 되고, 그 이후로는 kth-hop의 이웃들의 정보까지 임베딩 되는 것이다. 그래프가 복잡하다면 주변의 주변의 주변의... 이렇..

요즘 그래프 이론을 공부중이다. 동기가 추천해줘서 일단 기초 서적을 읽고 있는데, 아무래도 그래프에 관한 '이론'은 처음 제대로 공부 중이라 어려운 부분이 많다. 그래도 이론 공부를 하면서 이렇게 틈틈이 기록해 두면 기억에 오래 남을 것 같아서 개인적으로 나에게 중요한 부분만큼은 공부한 내용을 간단하게 나마 기록해두려고 한다. 현재 읽고 있는 책은 바로 이 책이다. 챕터 1은 스탠포드 cs224w을 수강하면서 나왔던 그래프의 기본 of 기본이고, 챕터 2부터 기록해둘 만한 내용이 나오고 있다. 그 중에서도 오늘 포스팅 할 내용은 챕터 2의 2.2 Neighborhood Overlap Detection이다. 2.1의 Graph Statistics and Kernel Methods에 소개된 방법들은 노드나 ..