코랩 사용하는 방법, py파일 및 데이터 파일 업로드하기!

필자는 아이맥을 사용하고 있는데, GPU가 탑재되지 않은 것으로 알고 있다. 그래서 코랩을 이용해서 학습을 하기로 하였다. 코랩은 구글에서 제공하는 파이썬 노트북 환경인데, 무료로 GPU를 일정시간 사용할 수 있다.

 

구글 코랩

 

 

코랩을 사용하기 위해서는 구글 계정이 있어야 한다. 파일은 구글 드라이브에 저장된다. 먼저, 앞에서 작성한 텍스트 전처리 파일과 데이터를 올리려고 한다. 방법은 아래 블로그에 이미 친절히 설명하신 분이 있었다.

colab ] .py 파일 업로드하여 사용하기 (모듈)

 

방법을 간단히 요약하면, 코랩과 구글 드라이브를 연동한 후에 구글 드라이브에 파일을 올리고 해당 파일을 사용하는 것이다. 경로가 조금 헷갈리는데, 파일 이름 위에서 마우스 우클릭을 하면, '경로복사'라는 메뉴가 있다. 이 메뉴를 이용하면 손쉽게 경로를 작성할 수 있다. sys 라이브러리를 이용해서 경로를 추가해주고 텍스트 전처리부터 테스트를 해 보았다.

import sys
sys.path.append('/content/drive/MyDrive/text_generation')

 

텍스트 전처리 파일을 올리고, 테스트를 해 보았다.

from textprepr import TextPreprocessing

tp = TextPreprocessing()
tag_result=tp.tagging("텍스트 딥러닝과 관련된 내용들은 인터넷이나 유투브로 이미 많은 자료를 찾을 수 있었다.")
print(tag_result)

 

정상적으로 잘 작동하는 것을 알 수 있었다. 포스트 데이터도 업로드하여 잘 이용할 수 있는지 확인하였다.

import sqlite3
import pandas as pd

con = sqlite3.connect("/content/drive/MyDrive/text_generation/data/post_data.db")
df = pd.read_sql("SELECT * FROM total_df", con)
df.head()

 

아래와 같이 포스팅 데이터도 잘 불러와서 확인할 수 있었다.

포스팅 데이터

 

 

오늘은 코랩에 데이터를 업로등하여 사용하는 방법에 대해 알아보았다. 다음에는 원-핫 인코딩을 이용해 텍스트를 생성하는 RNN모형을 만들어 볼 예정이다.