로그인
보증업체
스포츠중계
스포츠분석
먹튀사이트
지식/노하우
판매의뢰
업체홍보/구인
뉴스
커뮤니티
포토
포인트
보증카지노
보증토토
보증홀덤
스포츠 중계
기타
축구
야구
농구
배구
하키
미식축구
카지노 먹튀
토토 먹튀
먹튀제보
카지노 노하우
토토 노하우
홀덤 노하우
기타 지식/노하우
유용한 사이트
제작판매
제작의뢰
게임
구인
구직
총판
제작업체홍보
실시간뉴스
스포츠뉴스
연예뉴스
IT뉴스
자유게시판
유머★이슈
동영상
연예인
섹시bj
안구정화
출석하기
포인트 랭킹
포인트 마켓
로그인
자동로그인
회원가입
정보찾기
뉴스
더보기
[실시간뉴스]
타미플루 후속약 '조플루자', 인플루엔자 바이러스 전파 감소 효과 확인 [팜NOW]
N
[연예뉴스]
'60억 평창댁' 이효리, 취미활동도 고급..♥이상순이 반한 예술 감각
N
[연예뉴스]
지연, 유튜브 3개월 만 복귀..♥황재균 이혼설 언급 NO→결혼반지 증발[SC이슈]
N
[연예뉴스]
어른 때리고 욕하는 금쪽이…엄마는 그저 '외면'('금쪽같은')
N
[연예뉴스]
이윤지, ♥치과의사 남편과 무슨 일이..."나랑 너무 달라" 고백 [Oh!쎈 예고]
N
커뮤니티
더보기
[자유게시판]
집가는데 비가오네요
N
[자유게시판]
내일은 드디어 그날이네요.
N
[자유게시판]
퇴근 하시는분들
N
[자유게시판]
감튀 맞춰보실분
N
[자유게시판]
커담 땡겨서 나왔네요
N
제휴문의 @spostar
제휴문의 @spostar
목록
글쓰기
[IT뉴스]딥마인드, ‘LLM 다중학습으로 파인튜닝 필요없는 방법’ 공개
온카뱅크관리자
조회:
37
2024-04-28 11:07:36
<div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">LLM을 추론시 제공된 예제로 학습<br>응답 예제 명령어로 학습하면 파인튜닝이나 RAG 필요없어<br>제미나이 프로에 적용하니 성능 향상<br>토큰 비용, 추론 속도 해결은 과제</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="KrCKsuYcjM"> <p dmcf-pid="9vFi5xqygx" dmcf-ptype="general"> [이데일리 김현아 기자]구글 딥마인드 연구진이 거대언어모델(LLM)의 입력창을 이용하여 번거로운 파인튜닝(미세조정)없이도 새로운 애플리케이션을 개발할 수 있는 기술을 공개했다. 이 기술을 활용하면 미세조정 모델이나 검색증강생성(RAG)과 같은 다른 기술이 더 이상 필요하지 않다는 평가도 있어 관심이다. </p> <p dmcf-pid="2zPC4wiBaQ" dmcf-ptype="general">RAG는 LLM의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 데이터를 참조하는 방식이다. 현재 LLM의 환각을 줄이기 위해 많은 기업들이 AI 서비스 개발에 활용하고 있다.</p> <p dmcf-pid="VbMSPso9jP" dmcf-ptype="general">미국의 기술 웹사이트 벤츄어비트(VentureBeat)는 구글 딥마인드(Google DeepMind)가 매우 긴 컨텍스트 창이 있는 LLM의 다중 상황 내 학습(ICL) 기능을 탐구하는 내용을 소개했다. </p> <p dmcf-pid="fu8OVEdzo6" dmcf-ptype="general">이 기술을 활용하면 입력창(프롬프트)에 수백 또는 수천 개의 훈련 사례를 적용하면 미세조정 없이도 모델의 능력을 향상시킬 수 있다. 해당 연구결과는 ‘다중샷 상황 내 학습(Many-shot In-Context Learning)’에 관한 논문으로 온라인 아카이브에 게재됐다. </p> <figure class="figure_frm origin_fig" dmcf-pid="4pfm9cRuc8" dmcf-ptype="figure"> <p class="link_figure"><img alt="구글 딥마인드 로고" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202404/28/Edaily/20240428110738056jkvz.jpg" data-org-width="670" dmcf-mid="bgwuktloAR" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202404/28/Edaily/20240428110738056jkvz.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 구글 딥마인드 로고 </figcaption> </figure> <div dmcf-pid="8NIbmUWAo4" dmcf-ptype="general"> <strong><br><br>어떤 기술인데?</strong> </div> <p dmcf-pid="6y0LtRbYof" dmcf-ptype="general">LLM은 ‘상황 내 학습(ICL)’을 통해 추론 시 제공된 예제를 통해 새로운 작업을 학습할 수 있다. 사용자가 LLM에게 해결해야 할 문제와 함께 몇 가지 응답 예제가 포함된 프롬프트를 제공하면, LLM은 이를 보고 학습한다. </p> <p dmcf-pid="PRAFaHsdoV" dmcf-ptype="general">예를 들어, 통신회사가 고객응대 AI 챗봇을 만든다고 했을 때, 내부의 요금제 데이터를 참조하는 것이 아니라, LLM 학습 시 내부 요금제에 대한 답변이 포함된 명령어를 제공하는 컨셉이다.</p> <p dmcf-pid="QQa5LWwMA2" dmcf-ptype="general">연구진은 “‘미세조정과는 달리 ICL은 모델의 매개변수를 변경할 필요가 없어 사용자가 더 쉽게 접근하고 사용할 수 있다”고 밝혔다. 다만, “ICL은 입력창에 들어가는 토큰 수에 의해 예제 수가 제한되는 단점도 있다”고 했다.</p> <p dmcf-pid="xsGQyV3Io9" dmcf-ptype="general">딥마인드 연구진은 다중샷 ICL이 여러 문제 영역에서 LLM의 성능에 어떤 영향을 미치는지 실험했다. </p> <p dmcf-pid="yWpoFeKGjK" dmcf-ptype="general">실험 결과에 따르면, 더 많은 예제가 프롬프트에 추가될수록 모델의 성능이 계속 향상되는 것으로 나타났다. </p> <p dmcf-pid="WQa5LWwMab" dmcf-ptype="general">번역 작업에서 다중샷 ICL을 적용한 제미나이 프로는 리소스가 부족한 언어에 대해 최고 성능을 기록했으며, 요약 작업에서도 다중샷 ICL을 적용한 제미나이 프로가 미세조정된 요약 모델과 동등한 성능을 기록했다.</p> <p dmcf-pid="YRAFaHsdkB" dmcf-ptype="general">그러나 구글 딥마인드 연구진은 다중샷 ICL의 어려움도 인정했다. 인간이 대량의 고품질 예제를 생성해야하기 때문이다. </p> <p dmcf-pid="Gdk0jZIicq" dmcf-ptype="general">연구진은 이 문제를 해결하기 위해 LLM에 작업에 대한 사고사슬(CoT) 프롬프트를 제공하여 모델이 원하는 예제를 생성하도록 했다. </p> <p dmcf-pid="HOHxWf0Caz" dmcf-ptype="general">또한 LLM이 작업 해결에 필요한 지식을 보유하고 있다면 프롬프트에 관련 정보를 추가하여 모델이 내부 개념에 더 집중하도록 하는 방법을 시도했다.</p> <p dmcf-pid="X5Bc7o8tj7" dmcf-ptype="general">연구진은 ”수백 개의 예제로 모든 프롬프트를 늘리면 추론 속도와 비용이 폭발적으로 증가해 현재로선 다중샷 ICL과 같은 기술을 확장하기는 어려운 상황”이라면서도 “ 이 기술은 다양한 프롬프트 엔지니어링 기술을 시험해 볼 수 있는 유용한 도구이며, 제품화 시 토큰 소비를 줄이기 위한 노력이 필요하다”고 밝혔다.</p> <p dmcf-pid="Zu8OVEdzcu" dmcf-ptype="general">김현아 (chaos@edaily.co.kr) </p> </section> </div> <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p>
댓글등록
댓글 총
0
개
맨위로
이번주
포인트
랭킹
매주 일요일 밤 0시에 랭킹을 초기화합니다.
1
4,000
상품권
2
3,000
상품권
3
2,000
상품권
1
혈마
700
2
올나잇스머프
700
3
풀카
600
4
여수짱똥깨
600
업체홍보/구인
더보기
[구인]
온카 정싸에서 유튜브 방송 BJ 구인중입니다
[구인]
클릭계열 빙고 최상부 카지노1.2% 동행파워볼2% 양방가능 부본사 파트너 모십니다.
[구인]
해외에서 업무 가능 하신 분 구인 합니다
[구인]
★★재택근무 장기적으로 함께하실팀원 모십니다★★
[구인]
다양한 경험의 개발자 구직 합니다. 안정적인 업체 원합니다.
지식/노하우
더보기
[카지노 노하우]
흥부가 놀부될때까지 7
[카지노 노하우]
5월 마틴하면서 느낀점
[카지노 노하우]
바카라 노하우
[카지노 노하우]
룰렛 시스템 가장 큰 팁!
[카지노 노하우]
기회가 온다면 잡으세요.
판매의뢰
더보기
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
포토
더보기
N
N
N
N
N
N
채팅하기