[자연어처리] 자연어 처리 기초 이론

1. 자연어 처리란?

자연어 : 사람들의 사회생활에서 자연스럽게 발생해서 쓰이는 언어

자연어 처리는 사람들이 사용하는 자연어를 컴퓨터를 가지고 이해하고 생성하도록 하는 연구

 

2. 자연어 처리 응용분야

• 기계번역
• 음성인식
• 개인 비서 서비스
• 인공지능 스피커

 

3. 자연어처리 연구의 패러다임 

1 ) 규칙기반

기계 번역 : 문장을 형태소 단위로 분해해서 그 안에 규칙 사용하여 번역

명령 인식 : 문장에서 목적어, 동사 등이 위치하는 규칙을 이용해 대상과 행동 이해

 

2) 통계 기반

단어나 어구 사이에 통계적으로 유의미한 값이 도출된다는 가정

사전에 수집된 대량의 문장들(코퍼스)를 처리해야 함

조건부 확률이라는 수학적 개념이 핵심적

통계적인 분석의 한계 -> 복잡한 규칙 처리에는 어려움이 있음

 

3) 딥러닝 기반

알고리즘  : 어떤 상황에 어떻게 어떤 값을 계산해야 하는지 사전에 지정된 연산 흐름

기계학습 : 입력으로 들어올 데이터를 대입시켜 알고리즙이 스스로 연산 가중치를 학습하게 함.

딥러닝 : 신경망 구조에서 은닉층 수를 많이 늘린것, 여러 복잡한 특징들을 처리할 수 있게 되어 각광받고 있음.

 

 

4. 딥러닝을 사용하는 자연어처리 연구

단어 임베딩

자연어로 되어있는 문장을 컴퓨터가 받아들일 수 있또록 하는 문장의 전처리 방법

단어간 연관성을 유지하는 벡터화 하는 방법이 많이 쓰임

문법적으로만 사용되는 단어는 일반적으로 삭제

 

5. 딥러닝을 사용하는 자연어처리 연구

코퍼스 

매우 많은 수의 문장을 정제하여 모아둔 것

통계/딥러닝 기반 자연어 처리에서 가장 핵심을 담당하는 자료

 

 

감이 안잡혀서 토할거 같습니다..