TF-IDF(Term Frequency - Inverse Document Frequency) / 단어 빈도와 역문서 빈도.

뉴스 추천 알고리즘을 설계하면서 초기에는 크게 고려하지 않았지만 차차 고려하게된 부분이 바로 이 TF-IDF이다. 뉴스 추천을 하기위해 각 기사에 들어있는 단어들(키워드 혹은 엔티티들)을 은전한닢이라는 형태소 분석기를 사용하여 분리했는데, 이 형태소 분석기의 단어 분류가 정확하지 못해 은전한닢이 자체 제공하는 단어 분류 tag만으로는 제대로 분리할 수 없었다. 이를 보완하기 위해 모든 명사단어들을 뽑아내려고 했는데, 이때 의미없는 엔티티가 포함될 확률이 매우 높았다. 이것을 해결하기 위해 고민하던 중 정보검색 분야에서 사용되는 TF-IDF를 알게 되었다.

TF-IDF(Term Frequency - Inverse Document Frequency)

보통 정보 검색이나 텍스트 마이닝에서 주로 사용한다. 이것을 이용하면 해당 엔티티(단어)가 가지는 중요도를 알아낼 수 있다. 어떤 단어가 특정 문서 내에서 얼마나 중요한 것인지를 표현해 주기 때문이다.

TF는 단어빈도로, 특정 단어가 문서내에 얼만큼의 빈도로 등장하는지를 나타낸다. 당연하게도 문서에 자주 등장하는 엔티티라면 엔티티로서의 값어치가 높다고 예상할 수 있다. 매우 직관적으로 이해할 수 있는 관계다.

IDF는 문서 빈도의 역수다. 전체 문서 갯수를 해당 엔티티가 포함된 문서의 갯수로 나누는 것이다. 이것은 해당 문서군의 특징을 보여주는 척도가 될 수 있다. 어떤 문서 내에 클라라라는 단어가 자주 등장했다고 생각해보자. 아마 이 문서군은 연애 기사들의 모음일 가능성이 충분히 있을 것이다. 따라서 이 값을 통하여 해당 문서군에서 가치 있는 엔티티를 찾아낼 수 있는데, 만약 해당 문서군에서 드물게 등장하는 단어가 무엇인지 알수 있다면, 아마 그 단어가 어떤 그 문서군에서 특정 한 문서를 유니크 할 수 있도록 해주고, 눈에 띄게해주는 단어일 확률이 높기 때문이다.

구하는 법.

TF-IDF는 단어빈도와 역문서 빈도의 곱이다. 처음 접할 때는 -가 있어서 둘이 빼는 건가 했는데 그게 아니었다.

Term Frequency

두 값을 산출하는 방법에는 여러가지가 있는데, 단어를 나타내는 id값을 t라고 하고, 문서(도큐먼트)에 특정히 할당된 id값을 d라고 해보자. 말이 어려운데 간단하게 말하면 그 문서 일련번호고, 단어 일련번호다.

그리고 d와 t를 입력 받아 단어 빈도를 계산하는 함수 tf()를 생각해보자. tf(t,d)라 쓸 수 있을 것이다. tf(t,d)를 내부적으로 구현하는 방법은 여러가지다.

그중 가장 간단한 아이디어를 보자. 당연하게도 단어 빈도이므로, d문서 내의 단어 t의 총빈도를 구해주는 함수를 f(t,d)라 하면, 이는 tf(t,d)와 같은 함수라 생각할 수 있다. 그러나 이 값은 너무 커질 수도 있고 정규화가 전혀 되지 못한 값이라 다루기 불편하다. 예를들면 그 문서에 애플이 10번 나오면 10을 tf()값으로 쓰는 것이다. 더 커지면 어쩌나.. 따라서 조금 더 발전된 방법이 필요할 수 있다. 사실 필자는 이 아이디어 그대로를 유사 기사를 묶는 기능의 코드에서 사용하였는데, 간단한 아이디어임에도 매우 높은 정확도를 보여주었다.

다른 방법으로는 불린 빈도라는 방식이 있다. 단어 t가 도큐먼트 d에 한번이라도 나타나면 1, 나타나지 않으면 0으로 표기하는 방법이다. 이 방법의 단점은 아무래도 한번 나타난 애나, 3번 나타난 애나 똑같은 무게를 가진다는 점일 것이다.

숫자가 너무 커질 수 있으므로 작게 만드는 매우 기본적인 아이디어는 로그다. log를 씌우게 되면 매우 작은 수로 숫자를 바꿀 수 있다. 이를 로그 스케일 빈도라 한다.

증가 빈도라는 것도 있는데, 이것은 문서의 길이에 따른 단어의 상대적 빈도를 표현해주는 방식이다. 이 방식을 이용하면 스케일이 최대 1로 고정되는 효과를 얻을 수 있다. 실제로 필자가 뉴스 추천를 위해 엔티티의 TF-IDF를 구현하면서 사용한 방식이기도 하다. 수학 식은 따로 있지만 이해하기 좋도록 한국말(?)로 적었다.

tf(t,d) = 0.5 + 0.5 x f(t,d) / (문서 내 단어들의 f(t,d) 값 중 최댓값) 

Inversed Document Frequency

역문서 빈도는 단어가 문서 집합 내에서 얼마나 자주 등장하는지를 나타낸다. 전체 문서 중 발생하는 빈도를 역수 취한 값으로, 역수를 취하다 보니 값이 무한히 커질 수 있기에 이를 방지하려고 log를 씌워 값을 줄인다.

D는 전체 문서들의 집합을 의미한다.

idf(t,D) = log ( 전체 문서의 갯수 / 단어 t가 포함된 문서의 수 )

TF-IDF

tfidf(t,d,D) = tf(t,d) x idf(t,D)

간단히 구한 두개의 함수를 곱하면 된다. 특정 문서 내에서 단어 빈도가 높고, 전체 문서에서 그 단어가 포함된 문서가 적다면 이 값은 높아진다. 따라서 이 값을 이용하면 흔한 단어를 걸러 낼 수 있다. 특정 단어를 포함하는 문서가 많을수록 로그안의 값(idf()에서)이 1에 가까워지게 되고, 이 경우 TF-IDF 값은 0에 가까워지게 된다.

실제로 구현하고 사용하며.

파이썬으로 구현시 생각보다 매우 간단하게 구현이 가능하다. 그 값은 무한정 커질 수 있을 것 같았는데 5를 넘는 경우가 없었다. 이것은 문서 집합의 특성에 따라 달라 질 수 있다. 또 로그를 사용할 때 밑이 무슨 로그인지에 따라 다를 수 있다. 필자는 밑이 10인 상용로그를 취해주었다. 사실 이것은 상대적인 비교이므로 밑이 몇인 로그를 취하는가는 그렇게 중요한 문제는 아니라 생각된다. 아래는 필자의 코드다. 현재는 이것보다 훨씬 리팩토링 되어 본래의 구조를 조금 잃었지만, 이게 처음 짰을 때 코드다.

def f(t,d):
    return float(article_entity_count_dict[d][t])

def tf(t,d):
    return 0.5 + ((0.5) * f(t, d) / max([f(w, d) for w, c in article_entity_count_dict[d].iteritems()]))

def idf(t):
    return math.log10(category_number_of_documents[entity_category_count_dict[t]] / len(entity_article_count_dict[t].keys()))