Apple 연구원들은 대규모 추론 모델인 LRMs의 구조적 결함을 퍼즐 기반 평가를 통해 밝혔다. 최근 AI는 인간과 유사한 사고를 시뮬레이션하는데 초점을 맞춘 고급 모델로 발전하고 있다.
전통적인 기후 모델링의 한계를 극복하기 위해 구글 AI가 하이브리드 AI-물리 모델을 개발했다. 이 모델은 지역 기후 위험을 더 정확하게 예측하고 더 나은 불확실성 평가를 제공한다.
Meta AI가 V-JEPA 2를 소개했다. 이는 인터넷 규모의 비디오에서 학습하고 강력한 시각적 이해, 미래 상태 예측, 제로샷 계획을 가능하게 하는 확장 가능한 오픈 소스 세계 모델이다.
AI 기반 개발에서 코딩 에이전트는 필수적인 협업자로 자리 잡았다. 이러한 독립적 또는 준자율적 도구는 코드를 작성, 테스트, 리팩토링하여 개발 주기를 현격히 가속화한다. 그러나 하나의 코드베이스에서 작업하는 에이전트 수가 증가함에 따라 의존성 충돌, 에이전트 간의 상태 누출, 각 에이전트의 작업 추적의 어려움도 커진다.
대형 언어 모델(Large Language Models, LLMs)은 강화 학습과 테스트 시간 스케일링 기술을 통해 추론과 정밀도에서 상당한 향상을 보여주고 있다. 이에 대해 기존 방법들보다 우수한 성능을 보이는 CURE라는 강화 학습 프레임워크가 소개되었는데, 이는 코드 및 단위 테스트 생성에 있어 ground-truth 코드로부터의 감독을 필요로 하지 않아 데이터 수집 비용을 줄이고 사용 가능한 훈련 데이터의 규모를 제한하지 않는다.
최근의 LLM 발전은 복잡한 작업에서 뚜렷한 개선을 이끌어내었지만, 이 모델들의 단계적 추론 과정은 여전히 불분명하다. 대부분의 평가는 최종 답변 정확도에 초점을 맞추어 추론 과정을 숨기고 모델이 지식을 어떻게 결합하는지를 나타내지 않는다.
NVIDIA와 대학 연구진이 최근 논문에서, 큰 언어 모델이 더 긴 시퀀스 또는 병렬 추론 체인을 생성하기를 요구함에 따라, 추론 시간 성능이 토큰 수뿐 아니라 키-값(KV) 캐시의 메모리 풋프린트에 의해 심각하게 제한되는 문제를 다루었다.
LLM은 사전 훈련 데이터와 컴퓨팅 리소스의 스케일링을 통해 정확성을 향상시키지만, 한정된 데이터로 인해 대체 스케일링으로의 관심이 이동되었다. 최근에는 강화 학습 (RL) 후 훈련이 사용되었다. 과학적 추론 모델은 CoT 프롬프팅을 통해 초기에 답변 이전에 사고 과정을 내보내는 방식으로 성능을 향상시킨다.
강화 학습은 대형 언어 모델 (LLM)을 미세 조정하는 데 강력한 방법으로 등장했다. 이 모델은 이미 요약부터 코드 생성까지 다양한 작업을 수행할 수 있으며, RL은 구조화된 피드백을 기반으로 출력을 조정하여 지능적인 행동을 더욱 향상시킨다.
대형 언어 모델에 의해 자주 사용되는 대형 추론 모델은 수학, 과학 분석 및 코드 생성의 고수준 문제를 해결하는 데 사용된다. 이중 모드 사고는 간단한 추론에 대한 신속한 응답과 복잡한 문제에 대한 신중하고 느린 사고를 모방한다. 이는 사람들이 직관적인 응답에서 복잡한 문제로 전환하는 방식을 반영한다.
대화형 AI 연구 보조기의 필요성, 최신 대형 언어 모델의 한계와 동적 AI 에이전트 스택 소개
AI를 유전체 연구에 활용하는 주요 장애물 중 하나는 복잡한 DNA 데이터로부터 해석 가능한 단계별 추론의 부족이다. BioReason은 생물학 메커니즘에 대한 통찰력을 제공하는 세계 최초의 추론 모델로, 기존의 DNA 모델이 가진 한계를 극복하고, 유전체에 대한 복잡한 추론을 가능하게 한다.
바이트댄스 연구진이 자기회귀 이미지 생성을 위한 1차원 코어스 투 파인 프레임워크 ‘디테일플로우’를 소개했다. 이 방법은 이미지를 한 토큰씩 생성함으로써 구조적 일관성을 유지하면서 이미지를 생성하는 혁신적인 방법이다.
알리바바의 Qwen 팀이 Qwen3-Embedding 및 Qwen3-Reranker 시리즈를 발표했다. 이는 다국어 임베딩 및 랭킹 표준을 재정의하여 현대 정보 검색 시스템에 기초를 제공한다. 현재 접근 방식은 고다국어 충실성 및 작업 적응성을 달성하는 데 어려움을 겪고 있지만, Qwen3 시리즈는 이러한 문제를 극복하고 있다.
강화 세밀 조정은 보상 신호를 사용하여 대형 언어 모델이 바람직한 동작을 하도록 안내합니다. 이 방법은 올바른 응답을 강화함으로써 모델이 논리적이고 구조화된 출력을 생성하는 능력을 강화합니다. 그러나 이러한 모델이 불완전하거나 오도하는 질문을 마주했을 때 응답하지 말아야 하는 시점을 알고 있는지 확인하는 것이 여전히 도전입니다.
NVIDIA는 ProRL을 소개하며 장기간 강화학습이 언어 모델의 새로운 추론 능력을 발휘하고 일반화를 향상시킨다. 최근 추론 중심 언어 모델의 발전으로 AI에서 시험 시간 계산의 규모가 커졌다. 강화학습은 추론 능력을 향상시키고 보상 조작 함정을 완화하는 데 중요하다. 하지만 기본 모델에서 새로운 추론 능력을 제공하는지 아니면 기존 솔루션의 샘플링 효율을 최적화하는 데 도움을 주는지에 대한 논쟁이 남아있다.
Mistral AI가 기업 소프트웨어 개발 환경에 맞춘 AI 코딩 어시스턴트인 Mistral Code를 발표했다. 이 릴리스는 Mistral이 프로페셔널 개발 파이프라인에서의 제어, 보안 및 모델 적응성에 대응하고자 하는 의지를 보여준다. Mistral Code는 기존의 AI 코딩 도구에서 관측된 주요 제약 사항을 대상으로 한다.
NVIDIA가 Llama Nemotron Nano VL을 소개했다. 이는 문서 수준 이해 작업에 효율적이고 정확한 비전-언어 모델(VLM)로, 복잡한 문서 구조의 정확한 구문 분석이 필요한 애플리케이션을 대상으로 한다.
야н덱스가 Yambda를 공개하여 추천 시스템 연구 및 개발을 가속화하는데 기여했다. 이 데이터셋은 약 50억 건의 익명 사용자 상호 작용 이벤트를 제공하며 학술 연구와 산업 규모 응용 프로그램 간의 간극을 줄이는 데 도움이 된다.
Diffusion 기반 대형 언어 모델은 전통적인 자기 회귀 모델에 대안으로 탐구되고 있으며, 동시 다중 토큰 생성의 잠재력을 제공한다. 그러나 이러한 모델은 경쟁력 있는 추론을 제공하는 데 어려움을 겪는다.
정책 기울기 방법은 특히 강화 학습을 통해 LLM의 추론 능력을 크게 향상시켰습니다. 이들 방법을 안정화하는 데 중요한 도구는 Kullback-Leibler (KL) 정규화인데, 현재 정책과 참조 정책 사이의 급격한 변화를 억제합니다. PPO와 같은 알고리즘에서 널리 사용되지만, 다양한 KL 변형에 대해 더 탐구할 여지가 많습니다.
Enigmata의 새로운 훈련 방법은 LRM을 사용하여 RL로 훈련된 대규모 추론 모델이 수학, STEM 및 코딩과 같은 복잡한 추론 작업에서 높은 성능을 보이지만, 순수한 논리 추론 기술이 필요한 다양한 퍼즐 작업을 완료하는 데 어려움을 겪는 문제에 대한 획기적인 성과를 이루고 있습니다.
BOND의 최신 보고서는 2025년 5월의 인공지능 트렌드를 소개하며, AI 기술의 현재 상태와 급속한 발전에 대한 데이터 기반 스냅샷를 제시한다. 보고서는 AI 채택 속도, 기술적 향상, 시장 영향의 전례없는 속도를 강조하며, 주요 결과들을 살펴보고 있다.
최신 다중 모달 기반 모델은 학문적 지식과 수학적 추론에 대한 벤치마크를 발전시켰으나 물리적 추론에는 한계가 있음을 PHYX 벤치마크가 강조. 기계 지능의 중요한 측면인 물리적 추론은 학문적 지식, 상징적 작업, 현실 성애를 통합하는 것을 필요로 함.
Yandex가 세계 최대 규모의 이벤트 데이터셋 ‘Yambda’를 공개했다. 이 데이터셋은 약 50억 건의 익명 사용자 상호 작용 이벤트를 제공하여 학술 연구와 산업 규모 응용 사이의 간극을 줄이는 데 기여한다.
스탠포드 대학 연구진이 Biomni를 소개했다. 이는 생명과학 분야에서 다양한 작업과 데이터 유형에 걸쳐 자동화를 위한 AI 에이전트로, 질병 메커니즘 발견, 신약 타깃 식별, 효과적인 치료법 개발을 통해 인간 건강을 발전시키는 빠르게 발전하는 분야에 활용된다.
DeepSeek가 R1 추론 모델의 업데이트 버전인 DeepSeek-R1-0528을 출시했다. 이번 업데이트로 모델은 수학, 프로그래밍, 일반 논리 추론 분야에서 능력을 향상시켰으며, 주요 모델인 OpenAI의 o3 및 Google의 Gemini 2.5 Pro과의 경쟁력을 갖추게 되었다.
삼성 연구원이 텍스트 프롬프트를 고품질 비디오 시퀀스로 변환하는 핵심 기술인 비디오 생성 모델을 향상시키기 위한 ANSE(Active Noise Selection for Generation)을 소개했다. 확산 모델은 무작위 노이즈에서 시작하여 현실적인 비디오 프레임으로 반복적으로 정제하는 방식으로 작동한다. 텍스트-비디오 모델은 이를 확장한다.
싱가포르 국립대학 연구진은 최근 확산 모델을 자연어 처리 작업에 적용하는 관심이 증가함에 따라 이를 텍스트 생성의 노이즈 제거 과정으로 취급하는 이산 확산 언어 모델(DLMs)을 개발했다. DLMs는 전통적인 자기회귀 모델과 달리 병렬 디코딩을 가능하게 하며 더 나은 제어를 제공한다.
자연어 처리(NLP)에서 강화 학습 방법인 RLHF를 활용하여 모델 출력을 향상시키는데 사용되었으며, RLVR은 이 접근 방식을 확장하여 feedback으로 수학적 정확성이나 구문적 특징과 같은 자동 신호를 활용함. 부정확한 답변이 수학 추론을 개선할 수 있음을 보여줌.
현재의 대형 언어 모델은 자연어의 범위 내에서 추론하는 데 한정되어 있지만, 연구자들은 이산 언어 토큰 대신 연속적인 개념 임베딩으로 대체하며 모델의 표현 능력과 범위를 확장시키는 소프트 씽킹을 도입했다.
Mistral은 AI 에이전트 개발을 용이하게 하는 Agents API를 소개했다. Python 코드 실행, 이미지 생성, RAG 수행 등 다양한 작업을 수행할 수 있는 AI 에이전트를 개발하기 위한 프레임워크로, 대형 언어 모델이 여러 도구와 데이터 원본과 상호 작용할 수 있는 환경을 제공한다.
대규모 추론 모델(LRMs)은 짧은 문맥 추론에서 강화 학습을 통해 인상적인 성능을 보여주었지만, 이러한 이익은 긴 문맥 시나리오로 일반화되지 않는다. 다중 문서 QA, 연구 종합, 법적 또는 금융 분석과 같은 응용 프로그램에서는 모델이 100K 토큰을 초과하는 시퀀스를 처리하고 추론해야 한다.
UT Austin 연구진이 20,000개의 혼돈적 ODE로 사전 학습된 비선형 동역학을 위한 기반 모델 ‘Panda’를 소개했다. 혼돈적 시스템은 초기 조건에 매우 민감하여 장기적인 예측이 어렵기 때문에, 이를 모델링하는 데 오차가 발생할 경우 빠르게 커질 수 있다. 이에 대한 새로운 접근 방식을 제시하고 있다.
마이크로소프트와 청화 연구자들이 보상 추론 모델을 도입하여 LLM의 테스트 시간 컴퓨팅을 동적으로 조정함으로써 더 나은 정렬을 이룰 수 있는지에 대한 연구. 강화학습 기반 모델의 한계와 장점을 살펴보고, 수학적 추론에 대한 가능성을 탐구함.
NVIDIA가 Llama Nemotron Nano 4B를 공개했는데, 이는 과학 작업, 프로그래밍, 심볼릭 수학, 함수 호출 및 명령어 따르기에 강력한 성능과 효율성을 제공하면서 엣지 배포에 적합한 오픈 소스 추론 모델이다. 40억 개의 파라미터로 높은 정확도를 달성하며, 비교 모델 대비 최대 50% 높은 처리량을 달성했다.
LangChain의 ReAct 에이전트 프레임워크와 Anthropic의 Claude API를 통합하여 Python 코드를 생성하고 라이브로 실행하여 결과를 캡처하는 종단간 솔루션 구축 방법에 대한 튜토리얼.
NVIDIA의 인공지능이 강화 학습을 통해 수학 및 코드 추론을 발전시키는 AceReason-Nemotron을 소개했다. AI 시스템의 추론 능력은 중요한 구성 요소이며, 최근 대규모 강화 학습을 통해 추론 모델을 구축하는 데 흥미가 커지고 있다.
마이크로소프트가 NLWeb을 출시했다. 이 프로젝트는 모든 웹사이트를 자연어 인터페이스를 통해 AI 기반 앱으로 쉽게 변환할 수 있게 해준다. 기존 솔루션들은 중앙집중식이거나 기술적 전문 지식이 필요한데, 이로 인해 개발자들이 지능형 에이전트를 구현하는 데 제약이 생겼다.
싱가포르 국립대학 연구진은 ‘Thinkless’라는 적응형 프레임워크를 소개했다. 이 프레임워크는 DeGRPO를 사용하여 불필요한 추론을 최대 90%까지 줄일 수 있다.
롱-컨텍스트 모델링의 발전으로 LLM 및 대형 비전-언어 모델의 새로운 기능이 개방되었고, 이에 효과적인 평가 벤치마크인 ‘MMLONGBENCH’가 소개되었다.
Gemma 3n은 실시간 장치 사용을 위한 소형이면서 고효율적인 다중 모달 AI 모델로, 지능을 기기에 직접 통합함으로써 빠른 응답 속도를 제공하고 메모리 요구를 줄이며 사용자 프라이버시를 강화한다.
행렬 곱셈에 대한 빠른 알고리즘 발견은 컴퓨터 과학과 수치 선형 대수학에서 중요한 연구 주제이다. Strassen과 Winograd의 공헌 이후 각종 전략들이 등장했고, 이에는 그래디언트 기반 방법, 휴리스틱 기술, 그룹 이론적 기법 등이 포함된다. RXTX 알고리즘은 이러한 맥락에서 효율적인 구조화된 행렬 곱셈을 위한 머신러닝 가이드 알고리즘이다.
대형 언어 모델은 이제 텍스트 생성 이상의 평가 및 심사 작업에 사용되며, 다른 언어 모델의 출력을 평가하는 “언어 모델로서의 판사”로 확장되었습니다. 이러한 평가는 강화 학습 파이프라인, 벤치마크 테스트 및 시스템 정렬에서 중요하며, 이러한 판사 모델은 내부적인 사고 과정 추론에 의존합니다.
구글이 개발한 MedGemma는 의료 텍스트와 이미지 이해를 위해 훈련된 모델 스위트로, Gemma 3 아키텍처 기반으로 구축되었다. 의료 이미지와 텍스트 데이터의 통합 분석을 필요로 하는 의료 애플리케이션 개발자들에게 견고한 기반을 제공한다.
언어 모델이 방대한 인터넷 텍스트 코퍼스로 사전 학습되면 몇 가지 작업 예시만으로도 효과적으로 일반화할 수 있지만, 하위 작업을 위해 이러한 모델을 파인튜닝하는 것은 중요한 도전을 제기한다. 파인튜닝은 수백 개에서 수천 개의 예시가 필요하지만, 결과적인 일반화 패턴에는 제약이 있다.
RAG는 모델 재교육 없이 응답을 가능케 하지만, 현재의 평가 프레임워크는 답변 가능한 질문들에 대한 정확성과 관련성에 초점을 맞추고, 부적절하거나 답변할 수 없는 요청을 거부하는 중요한 능력을 간과한다. 이로 인해 실제 응용 프로그램에서 부적절한 응답은 오인 또는 피해로 이어질 수 있음.
Chain-of-Thought (CoT) 프롬프팅은 대형 언어 모델의 추론 과정을 개선하고 해석하는 인기 있는 방법이 되었다. 그러나 최근 Anthropics의 연구에 따르면, 이 방법은 AI의 추론을 완전히 이해하는 데 한계가 있을 수 있다.
최근 LLMs의 발전으로 복잡한 추론 작업을 수행하고 검색 엔진과 같은 외부 도구를 효과적으로 사용하는 잠재력이 드러났다. 그러나 내부 지식 대신 검색을 언제 의존해야 하는지 모델에 스마트한 결정을 내릴 수 있도록 가르치는 것은 여전히 중요한 과제다. 단순한 프롬프트 기반 방법은 모델이 도구를 활용하도록 안내할 수 있지만, LLMs는 여전히 어려움을 겪고 있다.
대규모 데이터셋으로 훈련된 언어 모델은 언어 이해 및 생성 도구로 두드러지며, 상호 작용 환경에서 의사 결정 요소로 작동할 수 있다. 그러나 행동 선택이 필요한 환경에 적용될 때 이러한 모델은 내부 지식과 추론을 활용하여 효과적으로 행동하기를 기대된다. 그러나 LLMs는 이를 실현하기 어렵다. Google DeepMind 연구원들은 강화 학습 세밀 조정을 사용하여 이러한 간극을 메우려고 한다.
LM 에이전트의 최근 발전은 복잡한 실제 과제 자동화에 유망한 잠재력을 보여주고 있음. 이러한 에이전트는 일반적으로 API를 통해 작업을 제안하고 실행하여 소프트웨어 공학, 로봇공학, 과학 실험 등의 응용 프로그램을 지원함. 이러한 과제가 더 복잡해지면 LM 에이전트 프레임워크는 다중 에이전트, 다단계 검색, 맞춤형 지원을 포함하도록 진화해왔음.
LightLab은 단일 이미지에서 미세한 빛 조절을 위한 새로운 AI 방법이다. 기존 방법은 여러 촬영으로부터 장면의 기하학과 속성을 재구성한 후 물리적 조명 모델을 사용하여 새로운 조명을 시뮬레이션하는 3D 그래픽 방법을 사용하는데, 이러한 기술은 빛 원본에 대한 명확한 제어를 제공하지만 단일 이미지로부터 정확한 3D 모델을 복원하는 것은 여전히 문제로 남아있다.
대화형 인공지능은 사용자 요구가 점진적으로 드러나는 동적 상호작용을 가능하게 하는데 초점을 맞추고 있습니다. Microsoft와 Salesforce 연구자들이 발표한 연구에 따르면, 대화형 인공지능 모델인 LLMs는 실제 대화에서 어려움을 겪고 멀티턴의 미정의 작업에서 39%의 성능 저하가 있습니다.
Windsurf가 SWE-1을 발표하며 AI와 소프트웨어 엔지니어링의 깊은 융합을 시사했다. SWE-1은 전체 소프트웨어 개발 수명주기를 위해 특별히 설계된 최초의 AI 모델 패밀리로, 전통적인 코드 생성 모델과는 달리 실제 소프트웨어 엔지니어링 워크플로우를 지원하며 미완성 코드 상태부터 다중 표면 처리까지 다룬다.
OpenAI가 ChatGPT에 통합된 클라우드 기반 소프트웨어 엔지니어링 에이전트 Codex를 소개했습니다. 기존의 코딩 어시스턴트와 달리 Codex는 자동 완성 도구뿐만 아니라 코드 작성, 디버깅, 테스트 실행 등의 프로그래밍 작업을 자율적으로 수행할 수 있는 클라우드 기반 에이전트 역할을 합니다.
DanceGRPO는 시각적 콘텐츠 생성을 위한 강화 학습에 대한 통합 프레임워크로, 여러 패러다임과 작업에 걸쳐 시각 생성을 혁신적으로 다룬다. 최근의 생성 모델 발전을 통해 시각적 콘텐츠 생성이 향상되었으며, 훈련 중 인간 피드백 통합이 중요하다.
Tsinghua 대학 및 ModelBest 연구진이 Ultra-FineWeb이라는 트리리언 토큰 데이터셋을 발표했다. 이 데이터셋은 LLM의 정확도를 향상시켜주며, 모델 기반 필터링을 통해 고품질 샘플을 식별하는 방법을 사용한다.
Rime은 사람들이 실제로 말하는 방식을 반영하는 음성 모델을 구축하고 있는데, 최근에 공개한 Arcana와 Rimecaster는 실용적인 도구로 설계되었다.
이 논문은 RLM이 복잡한 문제를 단순하게 분해하고 논리적 단계를 구축하여 답변에 도달하는 것을 시뮬레이션하는 데 사용되며, 다국어 능력을 향상시킴으로써 출력 품질을 향상시키는 것을 조사합니다.
LLM 사전 학습에서 훈련 데이터의 품질은 모델 성능에 중요하며 유해 콘텐츠를 필터링하여 유해한 출력을 최소화하는 전략이 일반적이지만 이는 트레이드오프를 도입한다. 이 기사는 LLM 사전 학습에서 유해 데이터 다루는 새로운 접근 방식을 소개한다.
LLMs를 외부 도구나 기능으로 장착하는 것이 인기를 끌며, 최소 감독과 최대 일반화로 LLMs의 도구 호출 능력을 향상시키기 위해 고급 언어 모델과 SFT를 통해 대량의 도구 사용 궤적을 종합하는 기존 연구가 있다. 그러나 존재하는 연구의 중요한 한계는 합성 데이터셋이 명시적 추론 단계를 포착하지 못하고 표면적인 도구 사용만 가능하다는 점에 있다.
최근 언어 모델들은 보상 기반 강화 학습을 통해 뛰어난 추론 능력을 갖추었다. 과거의 PPO 방식을 버리고 학습된 가치 함수 네트워크를 대신하여 경험적으로 추정된 반환값을 사용하는 현대 강화 학습 알고리즘들은 계산 요구와 GPU 메모리 소비를 줄여준다.
인공지능은 언어 중심 시스템을 넘어서 여러 입력 유형(텍스트, 이미지, 오디오, 비디오)을 처리할 수 있는 모델로 발전했습니다. 멀티모달 학습은 다양한 감각 데이터를 통합하고 해석하는 인간의 능력을 모방하는 것을 목표로 합니다. 단일 모달리티를 다루는 전통적 AI 모델과 달리, 멀티모달 종합주의자들은…
영상-LLMs은 전체 사전 녹화된 비디오를 한꺼번에 처리합니다. 그러나 로보틱스 및 자율 주행과 같은 응용 프로그램은 시간적으로 이해와 응답이 중요한 스트리밍 시나리오에서 작동하도록 설계되지 않은 현재 비디오-LLMs의 한계를 보여줍니다. 애플 연구자들이 StreamBridge를 소개하여 오프라인에서 실시간 스트림으로의 전환을 가능하게 했습니다.
INTELLECT-2는 32B의 추론 모델로, 분산 비동기 강화 학습을 통해 훈련되었다. 이 모델은 전통적인 중앙 집중식 훈련 파이프라인의 제약을 극복하고, 협업과 실험의 가능성을 확대한다.
LightOn AI가 GTE-ModernColBERT-v1을 발표했다. 이 모델은 토큰 수준의 의미 검색을 통해 장문 문서 검색에 탁월한 성능을 보여준다. 이는 키워드 기반 방법보다 더욱 효과적인 사용자 의도에 부합하는 결과를 제공한다.
Adala 프레임워크를 사용하여 의료 증상 분류를 위한 모듈식 활성 학습 파이프라인을 구축하는 방법을 배우고, Google Gemini을 사용하여 증상을 사전 정의된 의료 도메인으로 분류하는 방법을 통해 간단한 세 단계의 활성 학습 루프를 실행합니다.
이번 연구에서는 복잡한 3D 형상을 간단하고 해석 가능한 기하학적 단위로 분해하는 모양 기본 추상화가 소개되었습니다. 최근 3D 생성 방법들은 메쉬, 포인트 클라우드, 신경장 등의 표현을 사용하여 고품질 콘텐츠 생성을 가능케 했지만, 종종 의미적 깊이와 해석 가능성이 부족합니다.
알리바바의 ZeroSearch는 강화 학습과 시뮬레이션 문서를 활용하여 대형 언어 모델의 검색을 실시간 검색 없이 가르치는 방법을 제시하고 있다. 기존의 정적 데이터셋으로 훈련된 언어 모델은 시간이 지남에 따라 오래되어 문제가 발생하는데, ZeroSearch는 이를 극복하기 위해 새로운 방법론을 제시하고 있다.
Tsinghua 대학의 ‘Absolute Zero’는 외부 데이터 없이 LLM을 훈련시키는데 성공하였다. 현재의 RLVR 작업은 규모 확장 문제에 직면하고 있지만, ‘Absolute Zero’는 중간 추론 단계를 모방하는 대신 결과 기반 피드백에 의존하여 추론 능력을 향상시켰다.
AI 모델은 수학 문제 해결, 논리적 문장 해석, 기업 의사 결정 지원과 같은 복잡한 작업을 처리해야 합니다. 이를 위해 수학적 추론, 과학적 이해, 고급 패턴 인식을 통합하는 것이 필요합니다. 실시간 응용 프로그램에서 지능형 에이전트에 대한 수요가 계속되는 가운데, 코딩 보조 도구와 비즈니스 자동화 도구가 포함됩니다.
Hugging Face가 nanoVLM을 출시했다. 이는 750줄의 코드로 비전-언어 모델을 처음부터 학습할 수 있는 PyTorch 기반의 간결하고 교육적인 프레임워크다.
중국 연구진이 만든 LLaMA-Omni2는 실시간 음성 대화를 가능하게 하는 모듈식 프레임워크를 소개했다. 이 모델은 음성 지각과 합성을 언어 이해와 통합하여 이전의 계층적 시스템과 달리 실시간 대화를 가능케 한다.
Transformer 아키텍처를 기반으로 한 LLM은 긴 문맥 입력을 처리할 때 이차 복잡도로 인해 확장에 어려움을 겪는다. RWKV와 같은 선형 아키텍처는 이 문제를 해결하나, 긴 문맥을 이해하는 데 어려움을 겪는다. RWKV-X는 희소 어텐션과 순환 메모리를 결합하여 선형 복잡도로 1백만 토큰 디코딩을 효율적으로 가능케 한다.
MCP 이전에 LLM은 외부 도구에 액세스하기 위해 임시적이고 모델별 통합에 의존했다. ReAct, Toolformer, LangChain, LlamaIndex 등 다양한 접근 방식이 소개되었으며 MCP는 AI 에이전트 도구 호출을 모델 간에 표준화, 간단화하고 미래에 대비하는 역할을 한다.
대형 언어 모델이 다양한 작업에서 놀라운 추론 능력을 보여주고 있으며, 강화 학습은 그들의 심층 사고 능력을 개선하는 중요한 메커니즘으로 작용합니다. 이 연구는 수학적 추론 및 코딩 영역에서의 강화 학습 기술의 성공을 보여주었지만, 이를 넓은 추론 맥락으로 확장하는 것이 중요합니다.
IBM은 그랜ite 4.0 패밀리의 최소 구성원인 그랜ite 4.0 Tiny 미리보기를 소개했다. Apache 2.0 라이선스로 출시된 이 콤팩트 모델은 효율성, 투명성, 성능 사이의 균형을 잡아 긴 문맥 작업 및 지시 따르기 시나리오에 최적화되었다.
인공 일반 지능(AGI)으로 나아가는 최첨단 AI 기업들은 강력한 시스템이 조절 가능하고 유익하게 유지되도록 보장하는 기술이 필요하다. 이에 대한 주요 접근 방식은 Recursive Reward Modeling, Iterated Amplification 및 Scalable Oversight와 같은 방법을 포함한다. 이들은 약한 시스템이 강력한 시스템을 효과적으로 감독할 수 있도록 하는 것을 목표로 한다.
대형 언어 모델(LLMs)은 새로운 방식의 추론 능력을 갖고 있으며, UC 버클리 및 UCSF 연구진은 적응적 병렬 추론을 도입하여 추론을 효율적으로 확장하고 콘텍스트 창을 초과하지 않도록 했다. 현재 방법론은 긴 출력 순서를 생성하여 지연 시간과 효율성에 위험을 초래한다.
최근 LLMs의 발전으로 OpenAI-o1, DeepSeek-R1, Kimi-1.5 등이 복잡한 수학적 추론 작업에서 성능을 크게 향상시켰다. 규칙 기반 보상을 사용하는 강화 학습은 이러한 개선에 중요한 역할을 한다. 최종 결과물을 향상시키는 RLVR은 모델의 문제 해결 방법이 올바른지를 나타내는 바이너리 신호를 일반적으로 사용한다.
Google 연구원들은 REFVNLI를 소개하여 텍스트 프롬프트와 함께 참조 이미지를 통합하는 표준 T2I 모델을 강화하는 주제 중심의 방법을 통해 텍스트-이미지(T2I) 생성을 강화했다. 현재의 메트릭은 주로 텍스트 프롬프트에 초점을 맞추거나 주제 중심 T2I 생성에 대한 신뢰할 수 있는 자동 평가 방법이 부족한 도전에 직면하고 있다.
ELIZA의 간단한 규칙 기반 시스템에서 현재의 정교한 플랫폼으로 대화형 AI가 발전해왔다. 이 과정은 80년대부터 90년대의 스크립트 봇, 2010년대의 Rasa와 같은 ML-규칙 하이브리드 프레임워크를 거쳐 2020년대의 혁명적인 대형 언어 모델로 이어져 자연스러운 대화를 가능케 했다. 현재는 Parlant와 같은 최첨단 대화 모델링 플랫폼이 주류다.
MiMo-7B는 더 큰 모델보다 더 우수한 수학 및 코드 추론 능력을 갖추고, 사전 훈련과 강화 학습을 통해 개발되었다. 인간 지능에서 독점적으로 여겨졌던 추론 능력이 이제 보다 효율적이고 널리 사용 가능한 소형 모델에서도 활발히 연구되고 있다.
대형 언어 모델 에이전트가 기업 및 연구 생태계 전반에 걸쳐 주목을 받는 가운데, 에이전트들의 통신 역량을 제한하는 표준화된 프로토콜의 부재로 인해 커뮤니케이션 병목 현상이 발생했다. 이로 인해 에이전트들의 상호 조정 능력 및 외부 도구와의 인터페이스가 제약을 받고 있다.
DeepSeek-Prover-V2는 공식 이론 증명을 위해 설계된 대형 언어 모델로, 서브 골 분해와 강화 학습을 활용한다. 수학적 추론은 강력한 논리 일관성을 요구하는데, 이 모델은 Lean, Coq, Isabelle과 같은 증명 어시스턴트의 역할을 한다.
Meta가 Llama 4로 구동되는 새 AI 앱을 출시했다. 이 앱은 ChatGPT와 경쟁하기 위해 더 개인화된 AI 경험을 제공하며, 소셜적으로 통합된 기능을 갖추고 있다.
Meta AI가 ReasonIR-8B를 소개했다. 이는 효율성과 RAG 성능을 최적화한 추론 중심의 검색기다. 현재 대부분의 검색기는 짧은 사실성 질문 데이터셋으로 훈련되어 있어 복잡한 다단계 추론 작업에 대한 정보를 검색하는 것이 여전히 어려운 도전으로 남아있다.
알리바바가 Qwen2.5-Omni-3B를 발표했다. 이 모델은 텍스트, 이미지, 오디오, 비디오 등을 포함한 시스템을 가능하게 하는 다중 모달 기반 모델로, VRAM 사용량이 50% 감소하고 거의 7B 모델 성능을 보여준다.
대형 언어 모델은 정보를 유지하는 데 어려움을 겪지만, Mem0는 장기적인 참여가 필요한 응용 프로그램에 통합될 때 더욱 중요해집니다. Mem0는 구조적인 기억을 유지하며 여러 세션에 걸쳐 정보를 지속적으로 보관하는 확장 가능한 메모리 아키텍처입니다.
트랜스포머 기반 LLM의 능력 향상을 위해 희소 어텐션은 중요하며, 연구진들은 장기 시퀀스 다루기 위해 어텐션 메커니즘을 재고 중. 표준 자기 어텐션 메커니즘은 시퀀스 길이에 따라 계산 비용이 기하급수적으로 증가하는 문제를 개선하기 위한 노력 진행 중.
2025년, AI는 창업 기업이 구축, 운영 및 경쟁하는 방식을 혁신하고 있습니다. 구글의 ‘미래 AI: 창업을 위한 전망’ 보고서는 인프라 리더, 창업 창립자 및 벤처 캐피탈 파트너의 통찰을 바탕으로 종합적인 로드맵을 제시합니다. AI는 접근성이 높아지고 있지만 신중한 응용과 장기적인 관점이 속도보다 중요하다는 실용적인 메시지를 전합니다.
CLIP 프레임워크는 이미지-텍스트 검색과 같은 다중 모달 표현 학습에서 중요한 역할을 하고 있지만, 텍스트 입력에 제한이 있고 이미지와 텍스트 처리를 분리하는 이중 인코더 설계 등 몇 가지 한계가 있습니다. UniME는 이러한 한계를 극복하고 세분화된 표현을 캡처하는 데 효과적입니다.
LLMs와 추론 작업에 더 많은 계산을 활용하기 위해 고품질의 프로세스 보상 모델(PRMs)이 필요하다. 이 모델은 문제-해결 쌍에 점수를 매겨 해결책이 올바른지 나타내며, 판별적 분류기로 구현되어 왔다. 그러나 이러한 모델은 인간 주석, 골드 단계별 솔루션 등 많은 리소스를 필요로 한다.
AI 모델은 음성, 음악 및 기타 형태의 오디오 콘텐츠 생성에서 놀라운 발전을 이루어왔으며, 교류, 엔터테인먼트, 인간-컴퓨터 상호작용 분야에서 가능성을 확장시켰다. 그러나 이러한 모델이 성장함에 따라 평가가 더 중요해지고 있다.
알리바바의 Qwen 팀이 Qwen 시리즈의 최신 대형 언어 모델인 Qwen3을 공개했다. 이 모델은 Dense 및 Mixture-of-Experts (MoE) 모델의 포괄적인 스위트를 제공하며, 세밀한 추론, 다국어 능력, 계산 효율성에 대한 다양한 도전 과제를 해결하고 있다.
USC 연구진은 LoRA를 이용해 비용 효율적인 강화 학습을 위한 Tina를 소개했습니다. Tina는 강력한 다단계 추론을 달성함에 있어 중요한 역할을 합니다. 과학 연구와 전략 계획과 같은 복잡한 문제 해결 분야에서 이러한 추론이 중요합니다. 모델들이 단계별 추론 데모를 통해 학습하는 지도 미세조정(SFT)을 포함한 전통적인 추론 기술을 향상시키는 것이 주요 과제입니다.
LLM 기반의 다중 에이전트 시스템은 계획, 추론, 도구 사용, 기억 능력을 가지며 챗봇, 코드 생성, 수학, 로봇학 등 다양한 응용 프로그램의 기반을 형성한다. 그러나 수동으로 설계되어 고인적인 비용과 확장성 제약으로 인해 중요한 도전에 직면했다. 그래프 기반 방법은 워크플로 디자인을 자동화하기 위해 노력해왔다.
언어 모델은 다양한 작업에서 뛰어난 성능을 보이지만 복잡한 추론은 계산 리소스와 전문 기술이 추가로 필요하여 도전적이다. 이에 따라 추론 시간 계산(ITC) 스케일링 방법이 발전되었는데, 이는 모델 출력을 향상시키기 위해 추가 계산 리소스를 할당하는 방법이다.
지식 그래프 메모리 서버를 사용하여 Claude 데스크톱은 여러 채팅을 통해 사용자에 대한 정보를 기억하고 조직화할 수 있습니다. 이를 통해 Claude는 서로 다른 정보 간의 관계를 이해하고 개인화된 응답을 제공할 수 있습니다.
구글 클라우드가 세계 최고 기관들로부터 601가지 실제 세계 생성 AI 사용 사례 compendium을 공개했다. 지난해 구글 클라우드 넥스트 2024에서 공유한 101가지 사용 사례에서 6배로 확장된 이번 공개는 GenAI 기술이 폭발적인 속도로 발전하고 있음을 보여준다.
