노트북에 설치해서 무제한 사용하는 챗GPT, LM Studio

챗GPT와 함께 생성AI 시대가 무르익어가면서 LLM도 설치해서 사용하는 시대가 도래하였습니다.

​

1. 로컬 PC에서 설치해서 LLM을 쓸수 있는 LM Studio 를 소개합니다.

• LM Studio(https://lmstudio.ai) 사이트에 접속하여 프로그램을 다운받아 설치합니다.
• 현재 유명한 LLM 모델들은 설치해볼 수 있습니다.

​

2. 최근 성능이 좋다고 알려진 LLM 모델들을 다 사용해볼 수 있습니다.

LLM 모델명 뒤에 붙은 숫자 값은 파라미터 수인데 클수록 더 똑똑합니다. 다만 속도가 느리거나 로딩하는데 로컬PC의 메모리의 한계가 있을 수 있습니다.

- SOLAR 10.7B : 자랑스러운 대한민국의 스타트업 업스테이지 LLM 모델

- Mixtral 8x7B : 최근 성능 좋기로 유명한 프랑스 스타트업 Mistral의 LLM 모델

- Lllam2 2 7B : Meta의 LLM 모델

- Phi 2 3B : MS의 소형 언어 모델

​

3. CPU와 GPU 성능

LLM을 돌리기 위해선 CPU/GPU 성능이 어느정도 받쳐줘야 하는데 MSI 사이보그 15 A12VF의 경우 CPU는 인텔 12세대 i7-12650H, GPU는 NVIDIA RTX 4060 (GDDR 8GB VRAM)를 탑재하고 있어 꽤 괜찮은 반응속도를 보여줍니다. 답변 퀄리티는 GPT 3.5 정도의 퀄리티와 속도는 GPT-4 정도의 속도감입니다. 영어로 물어보면 훨씬 답변을 잘해줍니다.

​

4. 생성AI에 대한 좀 더 깊이있는 AI 인사이트

• 생성AI와 관련된 깊이있는 인사이트를 얻고자 한다면 생성AI코리아에서 매주 무료 세미나를 하고 있습니다.
• 생성AI코리아, http://gen-ai.kr

​

​

MSI 사이보그 15 A12VF 사양

CPU : 인텔 12세대 i7-12650H

GPU : NVIDIA RTX4060 (GDDR8GB) 45W

RAM : DDR5-4800 8G

SSD : M.2 SSD 512GB

디스플레이 : 15인치 FHD(1920 x 1080) / 144Hz / IPS 타입 패널 / 250Nits

웹캠 : HD타입 (30fps @ 720p)

네트워크 : 기가비트 랜 / 802.11 ax Wi-Fi 6 / 블루투스 5.2

AC어탭터 : 120W

크기 : 359.36 x 250.34 x 21.95-22.9 mm

무게 : 1.98kg

I/O포트 : 1 x 타입C USB3.2 Gen1 (DP출력)

2 x 타입A USB3.2 Gen1

1 x HDMI (4K @ 60Hz)

1 x RJ45 랜포트