자연어처리3 [자연어처리] 영화 리뷰 데이터로 평점을 예측해보자 프로젝트 개요 프로젝트 진행 순서 프로젝트 진행 과정(데이터 전처리/ 모델 구축) 결과 시각화 및 성능 개선 1. 프로젝트 개요 딥러닝 기술을 활용하여 영화 리뷰데이터로 영화의 평점을 예측해보기 그동안에 공부한 딥러닝과 자연어처리를 연관지어 할 수 있는 프로젝트를 계획해보았다. 2. 프로젝트 진행 순서 1) 데이터 수집 2) 데이터 전처리 3) 모델 구축 4) 결과 시각화 및 성능 테스트 팀원 총 6명이 각각 역할 분담을 해서 진행을 했고 나는 데이터 전처리와 모델 구축을 담당했다. 3. 프로젝트 진행 과정 1 )데이터 전처리 - 네이버 영화 리뷰 데이터를 크롤링을 통해 수집했고 총 10000개의 데이터를 엑셀파일로 받아서 읽어왔다. - null 데이터 삭제 - x_data, y_data 분리( 리뷰/ .. 2022. 1. 13. [자연어 처리] 언어학에 대해서 배워보자 1. 언어학의 기본 원리 언어를 이루는 단위 : 음절, 형태소, 어절 ,품사 언어의 구조 : 구구조, 의존구조 단위 하나하나 자세히 알아보겠습니다. 2. 언어를 이루는 단위 1 ) 음절 (Syllable) - 언어를 말하고 들을 때, 하나의 덩어리로 여겨지는 가장 작은 발화의 단위 - 초성, 중성, 종성으로 이루어져 있음 - 초성은 음절에서 가장 처음에 오는 소리로 자음(Consonant, C) - 중성은 가운데 소리로 모음 (Vowel, V) - 종성은 마지막 소리로 자음 음절의 예시 1) 이 문장에서 음절은 몇 개일까? 2) 이 문장에서 음저른 멷 개일까? -> 이렇게 소리나는대로 적었을때의 한 글자를 말함 2) 형태소(Morpheme) - 언어에서 의미를 가지는 가장 작은 단위로 형태소를 쪼개면 더.. 2021. 12. 27. [자연어처리] 자연어 처리 기초 이론 1. 자연어 처리란? 자연어 : 사람들의 사회생활에서 자연스럽게 발생해서 쓰이는 언어 자연어 처리는 사람들이 사용하는 자연어를 컴퓨터를 가지고 이해하고 생성하도록 하는 연구 2. 자연어 처리 응용분야 기계번역 음성인식 개인 비서 서비스 인공지능 스피커 3. 자연어처리 연구의 패러다임 1 ) 규칙기반 기계 번역 : 문장을 형태소 단위로 분해해서 그 안에 규칙 사용하여 번역 명령 인식 : 문장에서 목적어, 동사 등이 위치하는 규칙을 이용해 대상과 행동 이해 2) 통계 기반 단어나 어구 사이에 통계적으로 유의미한 값이 도출된다는 가정 사전에 수집된 대량의 문장들(코퍼스)를 처리해야 함 조건부 확률이라는 수학적 개념이 핵심적 통계적인 분석의 한계 -> 복잡한 규칙 처리에는 어려움이 있음 3) 딥러닝 기반 알고리.. 2021. 12. 27. 이전 1 다음
