딥러닝 🐍

참고 : https://www.slideshare.net/freepsw/boosting-bagging-vs-boosting

#!/bin/bash
#
# Copyright (c) 2018, NVIDIA CORPORATION.  All rights reserved.
#
# NVIDIA Corporation and its licensors retain all intellectual property
# and proprietary rights in and to this software, related documentation
# and any modifications thereto.  Any use, reproduction, disclosure or
# distribution of this software and related documentation without an express
# license agreement from NVIDIA Corporation is strictly prohibited.
#

if [ "$#" -ne 1 ]; then
    echo "Usage: $0 <Install Folder>"
    exit
fi
folder="$1"
user="nvidia"
passwd="nvidia"

echo "** Install requirement"
sudo apt-get update
sudo apt-get install -y build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install -y libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev
sudo apt-get install -y python2.7-dev python3.6-dev python-dev python-numpy python3-numpy
sudo apt-get install -y libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
sudo apt-get install -y libv4l-dev v4l-utils qv4l2 v4l2ucp
sudo apt-get install -y curl
sudo apt-get update

echo "** Download opencv-4.0.0"
cd $folder
curl -L https://github.com/opencv/opencv/archive/4.0.0.zip -o opencv-4.0.0.zip
curl -L https://github.com/opencv/opencv_contrib/archive/4.0.0.zip -o opencv_contrib-4.0.0.zip
unzip opencv-4.0.0.zip 
unzip opencv_contrib-4.0.0.zip 
cd opencv-4.0.0/

echo "** Building..."
mkdir release
cd release/
cmake -D WITH_CUDA=ON -D CUDA_ARCH_BIN="5.3" -D CUDA_ARCH_PTX="" -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.0.0/modules -D WITH_GSTREAMER=ON -D WITH_LIBV4L=ON -D BUILD_opencv_python2=ON -D BUILD_opencv_python3=ON -D BUILD_TESTS=OFF -D BUILD_PERF_TESTS=OFF -D BUILD_EXAMPLES=OFF -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
make -j3
sudo make install
sudo apt-get install -y python-opencv python3-opencv

echo "** Install opencv-4.0.0 successfully"
echo "** Bye :)"​

sudo apt-get update
sudo apt-get upgrade
sudo rpi-update
sudo reboot
sudo apt-get install build-essential git cmake pkg-config
sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-dev
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt-get install libxvidcore-dev libx264-dev
sudo apt-get install libgtk2.0-dev
sudo apt-get install libatlas-base-dev gfortran
cd ~
git clone https://github.com/Itseez/opencv.git
cd opencv
git checkout 3.1.0
cd ~
git clone https://github.com/Itseez/opencv_contrib.git
cd opencv_contrib
git checkout 3.1.0

sudo apt-get install python3-dev
wget https://bootstrap.pypa.io/get-pip.py
sudo python3 get-pip.py
pip install numpy
cd ~/opencv
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE \
      -D CMAKE_INSTALL_PREFIX=${CMAKE_INSTALL_PREFIX} \
      -D WITH_CUDA=ON \
      -D CUDA_ARCH_BIN=${ARCH_BIN} \
      -D CUDA_ARCH_PTX="" \
      -D ENABLE_FAST_MATH=ON \
      -D CUDA_FAST_MATH=ON \
      -D WITH_CUBLAS=ON \
      -D WITH_LIBV4L=ON \
      -D WITH_GSTREAMER=ON \
      -D WITH_GSTREAMER_0_10=OFF \
      -D WITH_QT=ON \
      -D WITH_OPENGL=ON \
      -D OPENCV_EXTRA_MODULES_PATH=/home/nvidia/Research/opencv_contrib/modules \
      -D BUILD_opencv_legacy=OFF \
      ../
make -j4
sudo make install
sudo ldconfig

최근 Kakao에서 Khaiii를 발표해서 조금 인기가 약해지긴 했지만, 여전히 Khaiii와 맞먹는 성능을 보여주는 mecab설치를 진행해 보도록 하겠습니다.

1. 우선 mecab 홈페이지에서 최신 버전을 다운로드 합니다. 

    현재는 mecab-0.996-ko-0.9.2.tar.gz 이 파일이 최신이네요.

https://bitbucket.org/eunjeon/mecab-ko/downloads/

2. 파일을 다운받아서 특정 디렉토리에 저장 하고 압축을 풀어 줍니다.

tar -zxvf mecab-*-ko-*.tar.gz

3. 해당 디렉토리로 이동하여 configure/make/make install 을 진행 합니다.

cd mecab-0.996-ko-0.9.2
./configure
make
make check
sudo make install

4. 설치 버전을 확인하면 아래와 같은 오류가 발생 합니다.

mecab --version

5. 라이브러리를 로딩해주고 다시 버전을 확인하면 정상적으로 표시 됩니다.

sudo ldconfig
mecab --version

** 이 방법 외에 아래 명령어를 입력하면 한번에 설치 할 수도 있습니다.

pip install python-mecab-ko

6. 다음은 한국어 사전을 설치해 보겠습니다.

우선 사전의 최신 버전을 다운받아 마찬가지로 압축을 풀어 줍니다.

현재의 최신 버전은 mecab-ko-dic-2.1.1-20180720.tar.gz 이군요.

https://bitbucket.org/eunjeon/mecab-ko-dic/downloads/

tar -zxvf mecab-ko-dic-2.1.1-20180720.tar.gz

7. 압축을 푼 디렉토리로 이동하여 make를 진행합니다.

cd mecab-ko-dic-2.1.1-20180720
./configure
make
sudo make install

8. 테스트를 해봅니다. Khaiii처럼 아래 명령어를 실행한 후 분석하고자 하는 문장을 입력하면 됩니다.

mecab -d /usr/local/lib/mecab/dic/mecab-ko-dic

설치가 잘 되었습니다.

9. Python에서 잘 되는지 테스트 해 봅니다.

import mecab
mecab = mecab.MeCab()

mecab.morphs('영등포구청역에 있는 맛집 좀 알려주세요.')
# ['영등포구청역', '에', '있', '는', '맛집', '좀', '알려', '주', '세요', '.']

이상으로 마치겠습니다.