카카오 형태소 분석기 Khaiii 설치방법

최근에...구글에서 발표한 BERT열풍이 장난이 아닙니다.

게다가 LG CNS에서 SQuaD 데이터셋을 한글로 대체 할 수 있는 KorQuAD 및 Leader Board를 제공해주어서,

국내 유수의 AI 개발팀이 많이 참여를 했던 열풍이 있었습니다.

 

BERT에 대해 궁금하시면 아래 기사를 읽어보시면 됩니다.

http://www.aitimes.kr/news/articleView.html?idxno=13117

 

전, 리더보드에 3등까지밖에 없던 시절에 BERT를 이용해서 4등이라도 해보자 라고 했다가...

프로젝트때문에, 미루다, 지금은 간신히 22등에 머물렀네요.

https://korquad.github.io/

KorQuAD

(글을 쓰는 도중에 보니 23등으로 밀렸네요...ㅠㅠ)

 

이번에, 추가적으로 해볼 수 있는 아이디어를 얻어, KorQuAD의 리더보드 순위를 높여보고자 합니다.

 

그중 하나의 방법이 default로 설정되어 있는 BERT의 multilingual tokenizer를 대체 하는 것 입니다.

한국어의 기존 형태소 분석기는 konlpy, mecab등 여러가지가 있는데 카카오에서 Khaiii라는 형태소 분석기를 발표했습니다.

Khaiii는 딥러닝(CNN)기반의 형태소 분석기 인데, 기존에 성능이 높던 Mecab과 동일하거나 좀 더 나은 성능을 내는 것으로 알려져 있습니다.

 

때문에, 우선 Khaiii를 설치하는 법을 기록하며 진행하려고 하는데, 

지금 환경이 Linux이다 보니, Linux 환경 위주로 진행을 하겠습니다.

 

우선 기본 빌드 환경은 아래와 같습니다.

Ubuntu(Mint Linux) 18.04

Python 3.6

gcc 7.xx

 

1. Khaii git 저장소를 clone 합니다.

git clone https://github.com/kakao/khaiii.git

2. build디렉토리를 생성하고 이동 합니다.

cd khaiii
mkdir build
cd build

3. Cmake를 실행합니다. (커피한잔 타 가지고 옵니다.)

cmake ..

4. Make를 실행합니다. (커피를 한잔 더 타 가지고 옵니다.)

make all

 성공적으로 빌드가 되면 build 디렉터리 아래에 다음과 같은 파일이 생성됩니다.

• bin: 디렉터리
  • khaiii: 실행 프로그램
• lib: 디렉터리
  • libkhaiii.so: shared 라이브러리 (맥 OS의 경우 libkhaiii.dylib)
  • libkhaiii.so.X
  • libkhaiii.so.X.Y
• test: 디렉터리
  • khaiii: 테스트 프로그램

5. make resource : bin 디렉토리에 생성된 khaiii파일을 실행하기 위해서는 해당 프로그램에서 사용하는 

                                      리소스 들을 빌드 해야 합니다.

make resource

6. 테스트를 해 봅니다.

./bin/khaiii --rsc-dir=./share/khaiii

        명령어를 치면 "...PoS tagger opened"라는 메시지 다음에 아무 변화가 없는데, 

       여기에 테스트 하고자 하는 문장을 입력하고 엔터를 치면 형태소 분석이 된 결과가 출력이 됩니다.

7. 정상 작동여부를 확인합니다.

ctest

7. python과 연동을 위해 make를 합니다. (python binding)

make package_python

8. pip install 실행

cd package_python
pip install  . 

9.  Python 바인딩 테스트

      마지막으로, python 바인딩이 잘 되어 있는지 테스트 합니다.

      아래 소스를 python으로 실행시켜봅니다.

      ** 여기서 주의할 점은 현재의 디렉토리(./package_python)을 벗어나서 실행해야 합니다.

           현재의 디렉토리에서 실행하면 현재의 build파일을 실행하기 때문에 라이브러리 의존성 문제가

           발생합니다.

from khaiii import KhaiiiApi
api = KhaiiiApi()
for word in api.analyze('안녕, 세상.'):
    print(word)

위 이미지 처럼 결과가 나오면 잘 되는 것 입니다.

 

감사합니다.