로그인
보증업체
스포츠중계
스포츠분석
먹튀사이트
지식/노하우
판매의뢰
업체홍보/구인
뉴스
커뮤니티
포토
포인트
보증카지노
보증토토
보증홀덤
스포츠 중계
기타
축구
야구
농구
배구
하키
미식축구
카지노 먹튀
토토 먹튀
먹튀제보
카지노 노하우
토토 노하우
홀덤 노하우
기타 지식/노하우
유용한 사이트
제작판매
제작의뢰
게임
구인
구직
총판
제작업체홍보
실시간뉴스
스포츠뉴스
연예뉴스
IT뉴스
자유게시판
유머★이슈
동영상
연예인
섹시bj
안구정화
출석하기
포인트 랭킹
포인트 마켓
로그인
자동로그인
회원가입
정보찾기
뉴스
더보기
[실시간뉴스]
전국 아파트 전세가율 70% 육박…지방은 80% 가까워
N
[실시간뉴스]
’흑백요리사’ 성공 주역 백종원의 더본코리아, IPO 시장서도 흥행 돌풍[전예진의 마켓인사이트]
N
[실시간뉴스]
갈수록 거세지는 트럼프 돌풍...대부분 격전지서 해리스 제쳐
N
[연예뉴스]
아이브 레이 경호 자처한 정동원..이렇게 잘 어울렸나(시골간Z)
N
[연예뉴스]
이동휘 "애드리브=일종의 각색, 한 줄 당 500원 합당한 대우 원한다"('뉴스룸')[종합]
N
커뮤니티
더보기
[자유게시판]
와프리면
[자유게시판]
다저스 완전 멋있네요
[자유게시판]
프리먼의 끝내기 만루런? 와....
[자유게시판]
와 다저스 만두런 ㄷㄷ
[자유게시판]
가을을 느끼러 갑니다
제휴문의 @spostar
제휴문의 @spostar
목록
글쓰기
[IT뉴스]차세대 트랜스포머 찾는다…새 AI 알고리즘 나오나
온카뱅크관리자
조회:
7
2024-10-27 18:14:01
<div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">생성형 AI 토대 트랜스포머<br>훈련에 상당한 시간·비용 들어<br>업계, 더 똑똑한 AI 모델 찾기</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="GrPlfk0CCm"> <p dmcf-pid="H2WQSBc6Sr" dmcf-ptype="general">생성형 인공지능(AI)의 토대가 되는 ‘트랜스포머’ 알고리즘을 개선하기 위한 시도가 이어지고 있다. 트랜스포머는 AI 역사상 최고의 발명품으로 손꼽히지만, 데이터 학습에 비용이 많이 들어가고 에너지 소비량도 상당하다. AI가 지속 가능한 기술로 자리 잡기 위해 트랜스포머보다 나은 기술이 필요하다는 지적이 나오는 이유다.</p> <figure class="figure_frm origin_fig" dmcf-pid="XVYxvbkPlw" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202410/27/ked/20241027181402645tzex.jpg" data-org-width="300" dmcf-mid="YglfOUg2Cs" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202410/27/ked/20241027181402645tzex.jpg" width="658"></p> </figure> <p dmcf-pid="Z8XeW2wMlD" dmcf-ptype="general">27일 정보기술(IT)업계에 따르면 마이크로소프트와 중국 칭화대 연구진은 트랜스포머를 개선한 ‘차등 트랜스포머(Differential Transformer)’에 관한 논문을 발표했다. 트랜스포머는 문장 속 단어와 같은 순차 데이터의 관계를 추적해 맥락과 의미를 학습하는 최신 딥러닝 모델이다. 오픈AI의 GPT 등 생성형 AI가 트랜스포머를 기반으로 만들어졌다. 다만 트랜스포머는 결과물 예측이 어렵고 훈련에 상당한 시간과 비용이 소모되는 등 단점이 있다. 차등 트랜스포머는 입력과 가장 관련 높은 부분에 가중치를 두는 ‘차등 어텐션’ 메커니즘을 도입했다. 연구진은 “긴 콘텍스트 모델링과 핵심 정보 검색, 환각 현상 완화 등 주목할 만한 이점을 제공한다”고 설명했다.</p> <p dmcf-pid="56ZdYVrRSE" dmcf-ptype="general">트랜스포머를 대체하는 새로운 알고리즘도 나타나고 있다. 미국의 AI 스타트업 리퀴드AI는 액체신경망(LNN) 아키텍처 기반 ‘리퀴드 파운데이션 모델’을 이달 초 내놨다. LNN은 동적으로 조절할 수 있는 방정식을 이용해 기존 AI 모델보다 새로운 상황에 유연하게 대응할 수 있다.</p> <p dmcf-pid="1P5JGfmeWk" dmcf-ptype="general">지난 7월에는 미국 스탠퍼드, UC샌디에이고, UC버클리, 메타 연구진이 TTT(Test Time Training) 모델 기반의 소형 언어모델을 발표했다. 트랜스포머는 데이터 처리 과정에서 내용을 기억하기 위해 ‘히든 스테이트’라는 메모리를 사용한다. 트랜스포머의 핵심 기능이지만 매번 이 메모리를 읽어 들이기 때문에 계산 부담이 크다. TTT는 히든 스테이트를 머신러닝 모델로 대체해 데이터를 처리한다.</p> <p dmcf-pid="tE4I9jtshc" dmcf-ptype="general">이승우 기자 leeswoo@hankyung.com</p> </section> </div> <p class="" data-translation="true">Copyright © 한국경제. 무단전재 및 재배포 금지.</p>
댓글등록
댓글 총
0
개
맨위로
이번주
포인트
랭킹
매주 일요일 밤 0시에 랭킹을 초기화합니다.
1
4,000
상품권
2
3,000
상품권
3
2,000
상품권
1
토르왕
1900
2
사나존예보스
1800
3
블리자드직원
1700
4
어린사슴의눈망울
1600
업체홍보/구인
더보기
[구인]
자택 알바 구합니다.(투잡/장기 가능)
[구인]
자택 알바 구합니다.(투잡/장기 가능)
[구인]
[100만유튜브PD출신] 기획&편집&디자인이 가능한 인력이 사장님을 구합니다!
[구인]
한번은 읽어봐주시길 부탁드립니다
[구인]
폰만있으면ok 채팅알바 모집합니다 (하루 10~20사이)
지식/노하우
더보기
[카지노 노하우]
혜택 트렌드 변화 위험성 다시 가늠해 보기
[카지노 노하우]
호기심이 부른 화 종목 선택의 중요성
[카지노 노하우]
카지노 블랙잭 카드 조합으로 히트와 스탠드를 결정하는 방법
[카지노 노하우]
흥부가 놀부될때까지 7
[카지노 노하우]
5월 마틴하면서 느낀점
판매의뢰
더보기
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
[제작판매]
html5웹미니게임제작 해시게임제작 카드포커게임제작 스포츠토토 카지노 슬롯 에볼루션 토지노 솔루션분양임대재작
포토
더보기
채팅하기