- [ML] XGBoost - 기본 개념과 파라미터 설정 개념머신 러닝 방법 중 하나로 Decision Tree를 기반으로 Ensemble 한 모델, Boosting을 기반으로 하는 머신러닝 방법이전 모델의 오류를 순차적으로 보완해나가는 방식으로 모델 형성.이전 모델에서의 실제값과 예측값의 오차(loss)를 훈련데이터 투입하고 gradient를 이용하여 오류를 보완하는 방식 특징- 효율성, 유연성, 휴대성이 뛰어남- 여러 파라미터를 조절하면서 최적의 model을 만들 수 있음- 자원이 많으면 많을수록 빠르게 학습하고 예측할 수 있음- 과적합 방지가 가능함- 높은 성능 - 수행 속도가 빠름XGBoost 장점을 가능하게 해주는 XGBoost의 파라미터Tree Booster는 세가지 유형의 파라미터로 설정 가능함. 파라미터 유형파라미터 구분파라미터 설명파라미터 설정.. 2024.05.28
- [Docker] AWS 이미지로 도커 파일 구성 | 도커 이미지 빌드 회사에서 개발하고 있는 예측 모델 코드 구조는 아래 이미지와 같다 기본 프로세스는 로컬에 환경을 구성해두고 도커파일을 통해서 로컬과 동일한 환경인 컨테이너를 띄워서 코드가 실행되게 했다. AWS 환경 기반에서 운영되고있기때문에 AWS ECR에 이미지를 빌드하고, 코드 파이프라인을 통해서 자동으로 실행되는 구조이다. Dockerfile 코드 구성 기본 명령어는 아래와 같다. FROM #운영체제 이미지 RUN #실행할 명령어 CMD #컨테이너 명령 실행 첫 줄에는 FROM 명령어 + AWS ECR에 있는 이미지가 있는 경로를 적어준다. COPY 명령어를 통해 독립된 환경에다가 로컬에 있는 폴더와 파일을 똑같이 생성해준다. requirements 파일에 있는 라이브러리도 설치! 이렇게 도커 파일을 설정하고 코.. 2024.02.11
- [Docker] 도커 데스크탑 | 도커 데스크탑 실행 에러 해결 | 도커 명령어 도커 데스크탑이란? Docker Desktop은 컨테이너화된 애플리케이션 및 마이크로서비스를 구축하고 공유할 수 있는 Mac, Linux, Windows 환경용 원클릭 설치 애플리케이션으로, 설치된 머신에서 컨테이너, 애플리케이션, 이미지를 관리할 수 있는 간단한 GUI를 제공합니다. 1) 설치 파일 다운 https://docs.docker.com/desktop/install/windows-install/ 페이지에서 설치 파일을 다운로드 합니다. Install Docker Desktop on Windows Get started with Docker for Windows. This guide covers system requirements, where to download, and instructions .. 2024.02.11
- [Docker] 도커 개념 정리 도커란? 도커는 리눅스 컨테이너에 리눅스 애플리케이션을 컨테이너로 실행하고 관리할 수 있게 해주는 오픈소스 프로젝트입니다. 도커 엔진(Docker Engine)이란? 컨테이너를 생성하고 관리하는 주체로서 이 자체로도 컨테이너를 제어할 수 있고 다양한 기능을 제공하는 도커의 프로젝트입니다. 가상머신 VS 도커 컨테이너 도커가 가상환경을 띄우는 가상화 기술과 어떤 차이가 있을까요? 가상머신 하이퍼바이저(Hypervisor)를 이용해 여러개의 운영체제를 하나의 호스트에서 생성하여 사용하는 방식 여러개의 운영체제가 가상 머신이라는 단위로 구별되고, 각 가상머신에 여러 운영체제가 설치되어 각각 사용되는 구조입니다. 하이퍼바이저에 의해 생성되고 관리되는 운영체제는 '게스트 운영체제(Guest OS)' 라고 하며, .. 2024.02.11
- 추천시스템 | 고전적 추천 알고리즘 | 콘텐츠 필터링 고전적인 추천 알고리즘 종류 1) 인구통계 기반 필터링 : 연령 / 나이 / 직업과 같은 정보로 추천 제공 2) 인기도 기반 추천 : 인기 상품을 추천 3) 지식 기반 추천 : 전문가의 지식, 유저의 입력에 기반한 추천 4) 규칙 기반 추천 : 사전에 정의된 규칙에 의해 추천을 제공 연관규칙추천(Association Rule Mining) -기저귀를 샀던 김씨는 맥주도 사던데, 당신도 기저귀를 샀으니 맥주를 사는거 어때요? 전체 거래에서 특정 item이 연결되는 방법, 그 이유를 결정하는 규칙을 발견하기 위한 학습 방법론 조건절 : IF (A를 산다면) 결과절 : THEN (B도 산다) 조건절과 결과절에 들어있는 상품들은 상호배반적이어야함(겹치지 않아야함) 규칙 성능 지표 지지도 A와 B가 동시에 등장할.. 2023.12.03
- 추천시스템 | 비즈니스 적용사례 | 추천시스템의 어려움들 | 추천시스템 파이프라인 추천 시스템이란? 유저와 아이템의 주변 정보와 상호작용 기록을 바탕으로 유저가 선호할 아이템을 예측하여 유저의 의사결정을 돕는 인공지능 서비스 추천의 중요성 - 연관 정보를 filtering 함으로써 information overload로부터 도움 - 유저의 리텐션을 확보해서 직간접적인 기업 수익 창출에 기여 비즈니스 적용사례 1. 이커머스 유저 기록을 기반으로 다음에 구매할 상품을 추천. 매출 향상, 서비스에 lock-in하는 효과 2. 컨텐츠 추천 넷플릭스 멜론 네이버 웹툰 등등 다양한 종류의 콘텐츠 각 서비스의 특성에 따라서 활용해야하는 데이터와 추천 접근법이 달라짐. 추천시스템의 어려움 1) 확장가능성 - 기존의 서비스에서 독립적일 수가 없기때문에 한계가 있음. - 서비스가 커짐에 따라서 추천 시.. 2023.12.03
- [1일차] JavaScript 강의 시작 0. 자바스크립트 공부를 시작하게 된 이유? 데이터 사이언티스트로 직무이지만, 데이터를 다루는 부분만 신경을 쓰는게 아니라 여러가지 테스트를 하려면 자바스크립트를 이용해서 코드를 작성해야 하는 일도 생길 것 같아서 미리 공부를 시작하려고 한다. 백엔드, 프론트에서 다른분들이 작성하신 코드를 보고 플랫폼의 동작을 잘 이해할 수 있다면 데이터사이언티스트로서 일하는데에도 많은 도움이 될거라고 생각한다. 또 작은 테스트 같은건 내가 진행하는게 효율적이라고 생각하기때문에 자바스크립트 공부도 열심히 하는 것으로~~! 결정. 나중에는 AI 쪽을 더 파야할지도 모르기때문에 일을 시작할때 미리미리 열심히 실력을 키워놓기...! 1. 자바스크립트 자바스크립트가 웹브라우저를 제어 하기위함, 웹서버를 제어하기위한 목적. 웹사.. 2022.05.05
- Macbook M1에서 UTM 가상머신 사용 | Ubuntu 20.04 설치 M1 chip 환경을 지원하는 UTM 가상머신을 사용해서 ubuntu 20.04 버전을 설치하는 방법을 알아보겠습니다. 우선 아래에 링크를 따라 들어가서 UTM, ubuntu 이미지 파일을 다운받습니다. 1. UTM 설치 링크 https://mac.getutm.app/ UTM Securely run operating systems on your Mac mac.getutm.app 2. Ubuntu 20.04 Disk ISO 이미지 파일 설치 링크 https://releases.ubuntu.com/20.04/ Ubuntu 20.04.3 LTS (Focal Fossa) Select an image Ubuntu is distributed on three types of images described below... 2022.02.03
- [Django] 인사관리 홈페이지 만들기 (C.R.U.D 구현) 이전에 포스팅을 바탕으로 위와 같은 홈페이지 구성을 해보겠습니다. 우선 C.R.U.D 구성을 진행해보겠습니다. 수정할 파일은 url.py , views.py, template html 파일 총 세가지 입니다. 1. deptlist/urls.py 파일에서 url 설정 create, update, delete 별로 url 설정을 다르게 해줍니다. 저는 부서 / 사원을 따로따로 만들어주었습니다. 2. views.py 파일에서 class 별로 설정해주기 필요한 모듈 임포트 후에 c.u.d 클래스를 각각 만들어줍니다. createview, updateview, deleteview를 참조해서 클래스를 만들게되면 html 코드가 굉장히 간편해집니다. 3. html 파일 생성 html 파일 이름 형식은 모델_form,.. 2022.01.25
- [django] (제너릭 뷰)부서 - 사원리스트 기본 페이지 만들기 저번 포스팅을 참고해서 부서 - 사원 리스트 기본 페이지를 만들어보겠습니다. 1. 프로젝트 생성 python manage.py startapp deptlist 부서 리스트가 나오는 화면 기본 url/dept/deptno( ex)1,2,3,4..... ) -> 해당 deptno에 해당하는 사원 리스트 dept_list.html emp_detail.html get_context_data함수에서 설정한 queryset으로 포문을 돌려서 사원 리스트를 가져오기 부서정보에서 부서명을 누르면 사원 정보로 넘어가게 된다. 오늘은 이만,,,, 2022.01.24