딥러닝 🐍

[git]

git config --global http.sslVerify false

[system]

sudo trust anchor --store ~/my-ca-cert.crt

[python]

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

#!/bin/bash
#
# Copyright (c) 2018, NVIDIA CORPORATION.  All rights reserved.
#
# NVIDIA Corporation and its licensors retain all intellectual property
# and proprietary rights in and to this software, related documentation
# and any modifications thereto.  Any use, reproduction, disclosure or
# distribution of this software and related documentation without an express
# license agreement from NVIDIA Corporation is strictly prohibited.
#

if [ "$#" -ne 1 ]; then
    echo "Usage: $0 <Install Folder>"
    exit
fi
folder="$1"
user="nvidia"
passwd="nvidia"

echo "** Install requirement"
sudo apt-get update
sudo apt-get install -y build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install -y libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev
sudo apt-get install -y python2.7-dev python3.6-dev python-dev python-numpy python3-numpy
sudo apt-get install -y libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
sudo apt-get install -y libv4l-dev v4l-utils qv4l2 v4l2ucp
sudo apt-get install -y curl
sudo apt-get update

echo "** Download opencv-4.0.0"
cd $folder
curl -L https://github.com/opencv/opencv/archive/4.0.0.zip -o opencv-4.0.0.zip
curl -L https://github.com/opencv/opencv_contrib/archive/4.0.0.zip -o opencv_contrib-4.0.0.zip
unzip opencv-4.0.0.zip 
unzip opencv_contrib-4.0.0.zip 
cd opencv-4.0.0/

echo "** Building..."
mkdir release
cd release/
cmake -D WITH_CUDA=ON -D CUDA_ARCH_BIN="5.3" -D CUDA_ARCH_PTX="" -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.0.0/modules -D WITH_GSTREAMER=ON -D WITH_LIBV4L=ON -D BUILD_opencv_python2=ON -D BUILD_opencv_python3=ON -D BUILD_TESTS=OFF -D BUILD_PERF_TESTS=OFF -D BUILD_EXAMPLES=OFF -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
make -j3
sudo make install
sudo apt-get install -y python-opencv python3-opencv

echo "** Install opencv-4.0.0 successfully"
echo "** Bye :)"​

sudo apt-get update
sudo apt-get upgrade
sudo rpi-update
sudo reboot
sudo apt-get install build-essential git cmake pkg-config
sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-dev
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt-get install libxvidcore-dev libx264-dev
sudo apt-get install libgtk2.0-dev
sudo apt-get install libatlas-base-dev gfortran
cd ~
git clone https://github.com/Itseez/opencv.git
cd opencv
git checkout 3.1.0
cd ~
git clone https://github.com/Itseez/opencv_contrib.git
cd opencv_contrib
git checkout 3.1.0

sudo apt-get install python3-dev
wget https://bootstrap.pypa.io/get-pip.py
sudo python3 get-pip.py
pip install numpy
cd ~/opencv
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE \
      -D CMAKE_INSTALL_PREFIX=${CMAKE_INSTALL_PREFIX} \
      -D WITH_CUDA=ON \
      -D CUDA_ARCH_BIN=${ARCH_BIN} \
      -D CUDA_ARCH_PTX="" \
      -D ENABLE_FAST_MATH=ON \
      -D CUDA_FAST_MATH=ON \
      -D WITH_CUBLAS=ON \
      -D WITH_LIBV4L=ON \
      -D WITH_GSTREAMER=ON \
      -D WITH_GSTREAMER_0_10=OFF \
      -D WITH_QT=ON \
      -D WITH_OPENGL=ON \
      -D OPENCV_EXTRA_MODULES_PATH=/home/nvidia/Research/opencv_contrib/modules \
      -D BUILD_opencv_legacy=OFF \
      ../
make -j4
sudo make install
sudo ldconfig

최근 Kakao에서 Khaiii를 발표해서 조금 인기가 약해지긴 했지만, 여전히 Khaiii와 맞먹는 성능을 보여주는 mecab설치를 진행해 보도록 하겠습니다.

1. 우선 mecab 홈페이지에서 최신 버전을 다운로드 합니다. 

    현재는 mecab-0.996-ko-0.9.2.tar.gz 이 파일이 최신이네요.

https://bitbucket.org/eunjeon/mecab-ko/downloads/

2. 파일을 다운받아서 특정 디렉토리에 저장 하고 압축을 풀어 줍니다.

tar -zxvf mecab-*-ko-*.tar.gz

3. 해당 디렉토리로 이동하여 configure/make/make install 을 진행 합니다.

cd mecab-0.996-ko-0.9.2
./configure
make
make check
sudo make install

4. 설치 버전을 확인하면 아래와 같은 오류가 발생 합니다.

mecab --version

5. 라이브러리를 로딩해주고 다시 버전을 확인하면 정상적으로 표시 됩니다.

sudo ldconfig
mecab --version

** 이 방법 외에 아래 명령어를 입력하면 한번에 설치 할 수도 있습니다.

pip install python-mecab-ko

6. 다음은 한국어 사전을 설치해 보겠습니다.

우선 사전의 최신 버전을 다운받아 마찬가지로 압축을 풀어 줍니다.

현재의 최신 버전은 mecab-ko-dic-2.1.1-20180720.tar.gz 이군요.

https://bitbucket.org/eunjeon/mecab-ko-dic/downloads/

tar -zxvf mecab-ko-dic-2.1.1-20180720.tar.gz

7. 압축을 푼 디렉토리로 이동하여 make를 진행합니다.

cd mecab-ko-dic-2.1.1-20180720
./configure
make
sudo make install

8. 테스트를 해봅니다. Khaiii처럼 아래 명령어를 실행한 후 분석하고자 하는 문장을 입력하면 됩니다.

mecab -d /usr/local/lib/mecab/dic/mecab-ko-dic

설치가 잘 되었습니다.

9. Python에서 잘 되는지 테스트 해 봅니다.

import mecab
mecab = mecab.MeCab()

mecab.morphs('영등포구청역에 있는 맛집 좀 알려주세요.')
# ['영등포구청역', '에', '있', '는', '맛집', '좀', '알려', '주', '세요', '.']

이상으로 마치겠습니다.

최근에...구글에서 발표한 BERT열풍이 장난이 아닙니다.

게다가 LG CNS에서 SQuaD 데이터셋을 한글로 대체 할 수 있는 KorQuAD 및 Leader Board를 제공해주어서,

국내 유수의 AI 개발팀이 많이 참여를 했던 열풍이 있었습니다.

BERT에 대해 궁금하시면 아래 기사를 읽어보시면 됩니다.

http://www.aitimes.kr/news/articleView.html?idxno=13117

전, 리더보드에 3등까지밖에 없던 시절에 BERT를 이용해서 4등이라도 해보자 라고 했다가...

프로젝트때문에, 미루다, 지금은 간신히 22등에 머물렀네요.

https://korquad.github.io/

(글을 쓰는 도중에 보니 23등으로 밀렸네요...ㅠㅠ)

이번에, 추가적으로 해볼 수 있는 아이디어를 얻어, KorQuAD의 리더보드 순위를 높여보고자 합니다.

그중 하나의 방법이 default로 설정되어 있는 BERT의 multilingual tokenizer를 대체 하는 것 입니다.

한국어의 기존 형태소 분석기는 konlpy, mecab등 여러가지가 있는데 카카오에서 Khaiii라는 형태소 분석기를 발표했습니다.

Khaiii는 딥러닝(CNN)기반의 형태소 분석기 인데, 기존에 성능이 높던 Mecab과 동일하거나 좀 더 나은 성능을 내는 것으로 알려져 있습니다.

때문에, 우선 Khaiii를 설치하는 법을 기록하며 진행하려고 하는데, 

지금 환경이 Linux이다 보니, Linux 환경 위주로 진행을 하겠습니다.

우선 기본 빌드 환경은 아래와 같습니다.

Ubuntu(Mint Linux) 18.04

Python 3.6

gcc 7.xx

1. Khaii git 저장소를 clone 합니다.

git clone https://github.com/kakao/khaiii.git

2. build디렉토리를 생성하고 이동 합니다.

cd khaiii
mkdir build
cd build

3. Cmake를 실행합니다. (커피한잔 타 가지고 옵니다.)

cmake ..

4. Make를 실행합니다. (커피를 한잔 더 타 가지고 옵니다.)

make all

 성공적으로 빌드가 되면 build 디렉터리 아래에 다음과 같은 파일이 생성됩니다.

• bin: 디렉터리
  • khaiii: 실행 프로그램
• lib: 디렉터리
  • libkhaiii.so: shared 라이브러리 (맥 OS의 경우 libkhaiii.dylib)
  • libkhaiii.so.X
  • libkhaiii.so.X.Y
• test: 디렉터리
  • khaiii: 테스트 프로그램

5. make resource : bin 디렉토리에 생성된 khaiii파일을 실행하기 위해서는 해당 프로그램에서 사용하는 

                                      리소스 들을 빌드 해야 합니다.

make resource

6. 테스트를 해 봅니다.

./bin/khaiii --rsc-dir=./share/khaiii

        명령어를 치면 "...PoS tagger opened"라는 메시지 다음에 아무 변화가 없는데, 

       여기에 테스트 하고자 하는 문장을 입력하고 엔터를 치면 형태소 분석이 된 결과가 출력이 됩니다.

7. 정상 작동여부를 확인합니다.

ctest

7. python과 연동을 위해 make를 합니다. (python binding)

make package_python

8. pip install 실행

cd package_python
pip install  . 

9.  Python 바인딩 테스트

      마지막으로, python 바인딩이 잘 되어 있는지 테스트 합니다.

      아래 소스를 python으로 실행시켜봅니다.

      ** 여기서 주의할 점은 현재의 디렉토리(./package_python)을 벗어나서 실행해야 합니다.

           현재의 디렉토리에서 실행하면 현재의 build파일을 실행하기 때문에 라이브러리 의존성 문제가

           발생합니다.

from khaiii import KhaiiiApi
api = KhaiiiApi()
for word in api.analyze('안녕, 세상.'):
    print(word)

위 이미지 처럼 결과가 나오면 잘 되는 것 입니다.

감사합니다.

Anaconda 설치 자체는 그리 어려운 점이 없기 때문에 생략합니다.

실무에서 제법 유용했던 팁을 공유 합니다.

1. 패키지 관리

      가. 패키지 설치

              > conda install numpy scipy pandas

    나. 패키지 제거

          > conda remove 패키지명

    다. 패키지 Update

          > conda update 패키지명

    라. 모든패키지 Update

          > conda update --all

    마. 설치된 패키지 확인

          > conda list

    바. 패키지 이름을 잘 모를때 검색

          > conda search *beautiful*

2. 환경 관리

    가. 가상환경 생성

          > conda create -n [가상환경명] [기본설치할 패키지] 

             '기본설치할 패키지'는 여러 패키지를 한꺼번에 지정할 수 있다.

    나. 패키지의 특정 버전을 설치하여 가상환경 생성

          > conda create -n my_env python=3.6

    다. 가상환경 활성화

          > source activate [가상환경명]

    라. 가상환경 비활성화

          > source deactivate

3. 가상환경 저장 및 공유

     가. 가상환경 export

           > conda env export > [파일이름].yaml

              이 파일을 백업하거나 다른 사람에게 같은 환경을 공유할 수 있다.

     나. 공유받은 yaml파일로부터 가상환경 생성

           > conda env create -f [파일이름].yaml

       다. 가상환경 목록 확인

           > conda env list

                  현재 활성화 되어 있는 가상환경명 앞에는 * 표시가 붙는다.

     라. 가상환경 제거하기

            > conda env remove -n [가상환경명]

References

• vim documentation online
• advanced vim tips
• more useful tips and graphical cheat sheet

General

• Nearly all commands can be preceded by a number for a repeat count. eg. 5dd delete 5 lines
• <Esc> gets you out of any mode and back to command mode
• Commands preceded by : are executed on the command line at the bottom of the screen
• :help help with any command

Navigation

• Cursor movement: ←h ↓j ↑k l→
• By words:
  • w next word (by punctuation); W next word (by spaces)
  • b back word (by punctuation); B back word (by spaces)
  • e end word (by punctuation); E end word (by spaces)
• By line:
  • 0 start of line; ^ first non-whitespace
  • $ end of line
• By paragraph:
  • { previous blank line; } next blank line
• By file:
  • gg start of file; G end of file
  • 123G go to specific line number
• By marker:
  • mx set mark x; 'x go to mark x
  • '. go to position of last edit
  • ' ' go back to last point before jump
• Scrolling:
  • ^F forward full screen; ^B backward full screen
  • ^D down half screen; ^U up half screen
  • ^E scroll one line up; ^Y scroll one line down
  • zz centre cursor line

Editing

• u undo; ^R redo
• . repeat last editing command

Inserting

All insertion commands are terminated with <Esc> to return to command mode.

• i insert text at cursor; I insert text at start of line
• a append text after cursor; A append text after end of line
• o open new line below; O open new line above

Changing

All change commands except r and R are terminated with <Esc> to return to command mode.

• r replace single character; R replace multiple characters
• s change single character
• cw change word; C change to end of line; cc change whole line
• c<motion> changes text in the direction of the motion
• ci( change inside parentheses (see text object selection for more examples)

Deleting

• x delete char
• dw delete word; D delete to end of line; dd delete whole line
• d<motion> deletes in the direction of the motion

Cut and paste

• yy copy line into paste buffer; dd cut line into paste buffer
• p paste buffer below cursor line; P paste buffer above cursor line
• xp swap two characters (x to delete one character, then p to put it back after the cursor position)

Blocks

• v visual block stream; V visual block line; ^V visual block column
  • most motion commands extend the block to the new cursor position
  • o moves the cursor to the other end of the block
• d or x cut block into paste buffer
• y copy block into paste buffer
• > indent block; < unindent block
• gv reselect last visual block

Global

• :%s/foo/bar/g substitute all occurrences of "foo" to "bar"
  • % is a range that indicates every line in the file
  • /g is a flag that changes all occurrences on a line instead of just the first one

Searching

• / search forward; ? search backward
• * search forward for word under cursor; # search backward for word under cursor
• n next match in same direction; N next match in opposite direction
• fx forward to next character x; Fx backward to previous character x
• ; move again to same character in same direction; , move again to same character in opposite direction

Files

• :w write file to disk
• :w name write file to disk as name
• ZZ write file to disk and quit
• :n edit a new file; :n! edit a new file without saving current changes
• :q quit editing a file; :q! quit editing without saving changes
• :e edit same file again (if changed outside vim)
• :e . directory explorer

Windows

• ^Wn new window
• ^Wj down to next window; ^Wk up to previous window
• ^W_ maximise current window; ^W= make all windows equal size
• ^W+ increase window size; ^W- decrease window size

Source Navigation

• % jump to matching parenthesis/bracket/brace, or language block if language module loaded
• gd go to definition of local symbol under cursor; ^O return to previous position
• ^] jump to definition of global symbol (requires tags file); ^T return to previous position (arbitrary stack of positions maintained)
• ^N (in insert mode) automatic word completion

Show local changes

Vim has some features that make it easy to highlight lines that have been changed from a base version in source control. I have created a small vim script that makes this easy: http://github.com/ghewgill/vim-scmdiff

1. autoenv 설치

git clone git://github.com/kennethreitz/autoenv.git ~/.autoenv 
echo ‘source ~/.autoenv/activate.sh’ >> ~/.zprofile #혹은 .bash_profile source ~/.zprofile #혹은 .bash_profile

2. autoenv 디렉토리에 설정

mkdir autoenvDir cd autoenvDir 
echo “conda activate py36” > .env

3. autoenv 동작 확인

# .env 파일을 만들어 놓은 폴더로 이동시 autoenv 동작을 확인한다 
cd autoenvDir 
autoenv: 
autoenv: WARNING: 
autoenv: This is the first time you are about to source /home/jjeaby/autoenvDir/.env: 
autoenv: 
autoenv: — — (begin contents) — — — — — — — — — — — — —— — — — — 
autoenv: conda deactivate $ autoenv: conda activate py36$ 
autoenv: 
autoenv: — — (end contents) — — — — — — — — — — — — —— — — — — — 
autoenv: 
autoenv: Are you sure you want to allow this? (y/N) y 
(py36) ➜

ssh -i keyfile.pem -L 8888:localhost:8888 계정@10.1.1.1

Oh My Zsh을 설치합니다.

sh -c "$(curl -fsSL https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh)"
Bash
Copy

자동으로 설치가 진행되고, 마지막에 zsh를 기본 쉘로 지정하기 위해 현 사용자 계정의 비밀번호를 입력합니다.

바로 플러그인 2개를 설치해줍니다.

# zsh-syntax-highlighting
git clone https://github.com/zsh-users/zsh-syntax-highlighting.git ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-syntax-highlighting

# zsh-autosuggestions
git clone git://github.com/zsh-users/zsh-autosuggestions $ZSH_CUSTOM/plugins/zsh-autosuggestions
Bash
Copy

플러그인을 적용시키기 위해 .zshrc를 수정합니다. 아래처럼 plugins=( ) 에 zsh-... 두 줄을 추가하면 됩니다.

vi ~/.zshrc
Bash
Copy

...

# Which plugins would you like to load? (plugins can be found in ~/.oh-my-zsh/plugins/*)
# Custom plugins may be added to ~/.oh-my-zsh/custom/plugins/
# Example format: plugins=(rails git textmate ruby lighthouse)
# Add wisely, as too many plugins slow down shell startup.
plugins=(
  git
  zsh-syntax-highlighting
  zsh-autosuggestions
)

...
Bash
Copy

source ~/.zshrc
Bash
Copy

다 설치됐어요. 간단한 예시 스크린샷을 보여드릴게요.

아래 스크린샷은 없는 명령어를 입력할때와 명령어 자동 완성 예시입니다. 보시면 바로 이해가 될 거예요.

스펠링 검사 기능을 켠 뒤 테스트해봤습니다.

그리고 git repository 디렉토리로 이동했을 때 입니다.