이번 세대가 처음부터 출발했나?
이 보고서는 학습 가중치를 모두 무작위 값으로 초기화한 경우를 세대별 From Scratch로 봅니다. 이미 학습된 가중치를 조금이라도 옮겼다면 이 정의에는 해당하지 않습니다.
2차평가 진출 3개사 공개본 · 조사일 2026년 10월 12일
새 모델은
어디에서 출발했을까?
“From Scratch”를 확인하려면, 모델이 얼마나 잘 답하는지보다 어떤 가중치로 학습을 시작했는지를 살펴봐야 합니다.
현재 확인한 핵심
Solar Open 2와 K-EXAONE 2.0은 자체 선행 모델의 가중치를 이어받았습니다. A.X K2는 처음부터 학습했다고 밝혔고, 검사한 표본도 그 주장과 부합합니다. 다만 세 모델 모두 전체 학습 이력을 독립적으로 확인한 것은 아닙니다.
이 페이지는 공개본의 예비검증입니다. 실제 평가 제출본과의 동일성은 미확인입니다. 정부의 평가 결과나 사업 적격성을 판정하는 보고서가 아닙니다.
먼저, 두 질문을
구분합니다.
“새 모델”과 “처음부터 학습한 모델”은 같은 뜻이 아닙니다.
자체 기술의 계통을 이어갔나?
개발사가 직접 만든 선행 모델을 확장할 수도 있습니다. 자체 모델의 계승을 외국 모델 차용으로 해석해서는 안 됩니다. 선행 모델 자체의 기원은 별도로 확인해야 합니다.
모델별로 무엇이 달랐나
개발사의 설명과 우리가 직접 확인한 결과를 함께 읽습니다. 각 모델의 “검증 방법별 결과와 근거”를 펼치면 방법마다 확인한 근거와 해석을 볼 수 있습니다.
업스테이지
Solar Open 2
선택 가중치 계승Solar Open 1가중치 일부 이전
5.69B / 약 2.3%Solar Open 2
5.69B / 약 2.3%Solar Open 2
개발사는 이전 모델에서 호환되는 가중치를 옮기고, 나머지는 무작위로 초기화했다고 설명합니다. 전체 가중치를 처음부터 초기화한 모델은 아닙니다.
이전 세대와 비교한 단어 입력·출력 가중치 표본에도 유사성이 남아 있습니다. 공개된 계승 경로와 부합하는 신호입니다.
개발사 보고서 §3.1 읽기Solar Open 2: 검증 방법별 결과와 근거 보기
방법별로 확인한 것과 판단 이유
개발사 기술 보고서자료 검토
확인한 근거. Solar Open 1의 가중치 5.69B, 약 2.3%를 이전하고 나머지는 무작위 초기화했다고 공개했습니다.
해석. 개발사 설명 기준으로 이번 세대의 전체 무작위 초기화에는 해당하지 않습니다. 자체 선행 모델 계승이며 외국 모델 차용을 뜻하지 않습니다.
보고서 출처와 현재 판정토크나이저전체 비교
확인한 근거. 이전 세대와 BPE 병합 규칙 192,256개의 전체 순서가 일치합니다. 어휘 집합 유사도는 99.9542%이며 일부 문자열과 ID는 달라졌습니다.
해석. 문장을 나누는 규칙의 계승입니다. 같은 규칙을 써서 가중치를 새로 학습할 수 있으므로 가중치 계승의 단독 증거는 아닙니다.
토크나이저 비교와 원본 위치모델 구조·배포 형식config 확인
확인한 근거. 공개 config의 hidden size는 4,096, 층 수는 48, routed expert 수는 320이며 배포 가중치는 BF16입니다.
해석. 구조는 비교할 가중치의 위치와 형태를 정하는 자료입니다. 구조가 달라졌다는 사실만으로 가중치 이전을 배제하지 않습니다.
구조 실측과 고정 리비전BF16 가중치 표본일부 직접 비교
확인한 근거. 입력 embedding의 방향 유사도는 0.2751~0.5317, 출력 head는 0.5771~0.8231입니다. 각 시작·중간·끝에서 2,048개씩 읽었습니다.
해석. 선택 표본의 유사성은 공개된 계승 경로와 부합합니다. 수치는 재사용 비율이 아닙니다. byte가 달라도 추가 학습 후 계승 흔적은 남을 수 있습니다.
원본 표본·해시·계산값AWM 아이디어 적용GPU 확대 시범 완료
확인한 근거. 공통 토큰 2,048행 중 1,024행으로 좌표·부호를 맞추고, 나머지 1,024행에서 확인한 평균 cosine은 0.5481입니다. Solar Open 1과의 선택 embedding 상관이 정렬에 쓰지 않은 표본에서도 유지됐습니다. 같은 번호의 선택 4층에서 Q UCKA는 0.2324~0.4984, K는 0.3324~0.5580입니다.
해석. 공개된 자체 계승 설명과 부합합니다. 외부 비교 후보 Qwen의 선택 층 점수는 더 낮았지만, 후보 전체의 차용 여부를 배제한 결과는 아닙니다. 원 AWM의 전체 vocab·전체 층 재현이나 통계적으로 보정한 확정 판정은 아닙니다.
GPU 확대 수치·대조군·한계 · 전체 결과 JSONGhostSpec 아이디어 적용GPU 지문 수집 완료
확인한 근거. 이번 세대와 이전 세대에서 각각 선택한 GQA 4개 층의 QK 곱 스펙트럼을 수집했습니다. 실제 head 차원을 확인한 뒤 특이값을 계산했습니다.
해석. 여러 층의 지문 자료를 확보했습니다. VO 곱과 전체 층 정렬·최종 GhostSpec 점수는 계산하지 않아, 이 방법만의 계승 판정은 보류합니다.
수집 방법과 수행 범위 · 층별 스펙트럼 증거답변·내부 표현·학습 이력미수행
확인한 근거. REEF, LLMPrint, 출력 기반 계통 검사와 초기화·학습 기록 검증은 이 공개본에 실행하지 않았습니다.
해석. 초기 체크포인트, seed, 코드와 중간 기록을 공개본까지 연결해야 전체 무작위 초기화를 검증할 수 있습니다. 토큰 선호나 가중치 유사성만으로 대신할 수 없습니다.
미수행 방법과 필요한 자료 읽기LG AI연구원
K-EXAONE 2.0
확장 후 계속 학습K-EXAONE층과 expert 확장
이전 가중치 활용K-EXAONE 2.0
이전 가중치 활용K-EXAONE 2.0
개발사는 이전 모델의 층과 expert 수를 늘린 뒤 계속 사전학습했다고 설명합니다. 이를 upcycling이라고 부릅니다.
단어 입력·출력 가중치 표본에는 이전 세대와의 방향 유사성이 남아 있습니다. 모델의 구조가 바뀌어도 가중치를 이어받을 수 있음을 보여주는 사례입니다.
개발사 보고서 §2.2 읽기K-EXAONE 2.0: 검증 방법별 결과와 근거 보기
방법별로 확인한 것과 판단 이유
개발사 기술 보고서자료 검토
확인한 근거. K-EXAONE의 층과 expert 수를 늘린 뒤 계속 사전학습하는 upcycling 경로를 공개했습니다.
해석. 이전 가중치를 활용하므로 이번 세대의 전체 무작위 초기화에는 해당하지 않습니다. 자체 선행 모델의 기원과 외부 차용 여부는 별도 미확정 사항입니다.
보고서 출처와 현재 판정토크나이저전체 비교
확인한 근거. 이전 세대와 BPE 병합 규칙 152,982개의 전체 순서가 일치합니다. 어휘 집합 유사도는 99.9766%이며 일부 문자열과 ID는 달라졌습니다.
해석. 토크나이저 규칙 계승을 확인했습니다. 가중치를 새로 학습할 때도 재사용할 수 있어 가중치 계승과 구분합니다.
토크나이저 비교와 원본 위치모델 구조·배포 형식config 확인
확인한 근거. 공개 config의 hidden size는 6,144, 층 수는 78, routed expert 수는 256이며 배포 가중치는 BF16입니다. 선행 모델의 48층에서 깊이가 늘었습니다.
해석. 구조를 확장해도 이전 가중치를 이어받을 수 있습니다. 같은 층 번호가 실제 초기화 대응을 뜻하지 않으므로 층 매핑을 별도로 확인해야 합니다.
구조 실측과 고정 리비전BF16 가중치 표본일부 직접 비교
확인한 근거. 입력 embedding의 방향 유사도는 0.5726~0.7078, 출력 head는 0.6910~0.8845입니다. 각 시작·중간·끝에서 2,048개씩 읽었습니다.
해석. 선택 표본의 유사성은 공개된 upcycling 설명과 부합합니다. 전체 가중치의 검사나 가중치 재사용 비율 측정은 아닙니다.
원본 표본·해시·계산값AWM 아이디어 적용GPU 확대 시범 완료
확인한 근거. 공통 토큰 2,048행 중 1,024행으로 좌표·부호를 맞추고, 나머지 1,024행에서 확인한 평균 cosine은 0.6539입니다. 이전 K-EXAONE과의 선택 embedding 상관이 유지됐습니다. 지정한 4개 global attention 층 쌍의 Q UCKA는 0.6280~0.9774, K는 0.6143~0.9564입니다.
해석. 공개된 upcycling 설명과 부합합니다. 실제 초기화 layer 복사 원본을 복원한 것은 아니며, 선행 모델 자체의 기원은 별도로 확인해야 합니다. 원 AWM의 전체 vocab·전체 층 재현이나 통계적으로 보정한 확정 판정은 아닙니다.
GPU 확대 수치·대조군·한계 · 전체 결과 JSONGhostSpec 아이디어 적용GPU 지문 수집 완료
확인한 근거. 이번 세대와 이전 세대에서 각각 선택한 GQA 4개 층의 QK 곱 스펙트럼을 수집했습니다. 실제 head 차원을 확인한 뒤 특이값을 계산했습니다.
해석. 여러 층의 지문 자료를 확보했습니다. VO 곱과 전체 층 정렬·최종 GhostSpec 점수는 계산하지 않아, 이 방법만의 계승 판정은 보류합니다.
수집 방법과 수행 범위 · 층별 스펙트럼 증거답변·내부 표현·학습 이력미수행
확인한 근거. REEF, LLMPrint, 출력 기반 계통 검사와 초기화·학습 기록 검증은 이 공개본에 실행하지 않았습니다.
해석. 초기 체크포인트, seed, 코드와 중간 기록을 공개본까지 연결해야 전체 무작위 초기화를 검증할 수 있습니다. 토큰 선호나 가중치 유사성만으로 대신할 수 없습니다.
미수행 방법과 필요한 자료 읽기SK텔레콤
A.X K2
독립 확증 보류처음부터 학습개발사의 설명
초기화 이력 미확인A.X K2
초기화 이력 미확인A.X K2
개발사는 From Scratch 학습을 명시합니다. 검사한 단어 입력·출력 가중치 표본은 K1과 거의 상관이 없어 그 주장과 부합합니다.
전체 무작위 초기화를 증명한 것은 아닙니다. 표본 밖의 가중치, 외부 후보 모델, 초기 학습 기록까지 확인해야 합니다. 일부 attention 가중치는 FP8이어서 이번 BF16 검사에서 제외했습니다.
개발사 기술 보고서 읽기A.X K2: 검증 방법별 결과와 근거 보기
방법별로 확인한 것과 판단 이유
개발사 기술 보고서자료 검토
확인한 근거. 개발사는 A.X K2를 From Scratch로 사전학습했다고 명시했습니다.
해석. 개발사 주장과 독립 확증을 구분합니다. 공개된 최종 모델만으로 초기화부터 전체 학습 경로를 확인하지는 못했습니다.
보고서 출처와 현재 판정토크나이저전체 비교
확인한 근거. K1과 토크나이저 파일 SHA-256이 같습니다. 어휘 163,840개와 BPE 병합 규칙 163,399개의 전체 순서도 일치합니다.
해석. 토크나이저의 완전한 재사용입니다. 같은 토크나이저로 새 가중치를 학습할 수 있으므로 From Scratch 주장과 모순되지 않습니다.
토크나이저 비교와 원본 위치모델 구조·배포 형식config·헤더 확인
확인한 근거. hidden size 7,168, 61층, routed expert 256개입니다. FP8 양자화 설정이 있고 선택 attention은 실제로 F8_E4M3입니다. 선택 embedding/head는 BF16입니다.
해석. config의 BF16 표기만 보고 모든 가중치를 같은 방식으로 읽으면 안 됩니다. FP8은 scale 복원이 필요하고 MLA/SGA 구조에는 별도 매핑이 필요합니다.
구조·dtype 실측과 제외 이유BF16 가중치 표본embedding·head 비교
확인한 근거. K1 대비 입력 embedding 방향 유사도는 0.0004~0.0424, 출력 head는 −0.0526~0.0477입니다. FP8 attention의 수치 비교는 제외했습니다.
해석. 선택 좌표에서 K1과 강한 상관을 찾지 못해 개발사 주장과 부합합니다. 전체 무작위 초기화나 모든 외부 모델의 차용 부재를 증명하지 않습니다.
원본 표본·해시·계산값AWM 아이디어 적용GPU 확대 시범 완료
확인한 근거. 공통 토큰 2,048행 중 1,024행으로 좌표·부호를 맞추고, 나머지 1,024행에서 확인한 평균 cosine은 0.0119입니다. K1과의 embedding 표본은 좌표를 정렬해도 새 표본에서 낮은 상관을 보였습니다. MLA·FP8 attention은 이번 GPU 검사에서도 제외했습니다.
해석. 선택한 K1 embedding의 계승 신호를 찾지 못했다는 뜻입니다. 전체 가중치의 무작위 초기화나 모든 외부 모델의 차용 부재를 증명하지는 않습니다. 원 AWM의 전체 vocab·전체 층 재현이나 통계적으로 보정한 확정 판정은 아닙니다.
GPU 확대 수치·대조군·한계 · 전체 결과 JSONGhostSpec 아이디어 적용미수행
확인한 근거. MLA/SGA·FP8 attention의 구조 매핑과 scale 복원 adapter를 구현하지 않아 QK 스펙트럼을 계산하지 않았습니다.
해석. Solar·EXAONE의 결과를 A.X에 대입하지 않습니다. 미수행은 낮은 유사성이나 From Scratch의 증거가 아닙니다.
모델별 수행 범위와 미수행 사유답변·내부 표현·학습 이력미수행
확인한 근거. REEF, LLMPrint, 출력 기반 계통 검사와 초기화·학습 기록 검증은 이 공개본에 실행하지 않았습니다.
해석. 초기 체크포인트, seed, 코드와 중간 기록을 공개본까지 연결해야 전체 무작위 초기화를 검증할 수 있습니다. 토큰 선호나 가중치 유사성만으로 대신할 수 없습니다.
미수행 방법과 필요한 자료 읽기우리가 직접 확인한 증거
개발사의 주장과 별도로, 공개 파일에서 읽고 계산한 값입니다.
세 모델 모두
이전 토크나이저의 규칙을 계승
토크나이저는 문장을 작은 조각으로 나누는 도구입니다. 세 모델 모두 이전 세대의 전체 BPE 병합 순서가 일치했습니다.
같은 토크나이저로 새 가중치를 학습할 수 있습니다. 따라서 토크나이저의 재사용만으로 가중치까지 재사용했다고 판단하지 않습니다.
가중치는 전체가 아닌
24개 대응 표본을 비교
같은 위치의 가중치 2,048개씩을 시작·중간·끝에서 읽었습니다. 전체 모델의 극히 작은 일부입니다.
비교한 표본의 원본 byte가 완전히 같은 경우는 없었습니다. 추가 학습으로 이전 가중치도 바뀔 수 있어, 해시가 달라도 계승을 배제할 수 없습니다.
실측 수치와 비교 방법 보기
아래 값은 이전 세대와 비교한 centered cosine입니다. 각 표본의 평균을 뺀 뒤 방향 유사도를 계산했습니다. −1~1 범위의 값이며 가중치 재사용 비율이나 판정 확률이 아닙니다. 세 값은 시작·중간·끝 순서입니다.
| 모델 ↔ 이전 세대 | 입력 embedding | 출력 head |
|---|---|---|
| Solar 2 ↔ Solar 1 | 0.4626 / 0.5317 / 0.2751 | 0.6233 / 0.8231 / 0.5771 |
| A.X K2 ↔ K1 | 0.0004 / 0.0047 / 0.0424 | −0.0097 / −0.0526 / 0.0477 |
| EXAONE 2 ↔ EXAONE 1 | 0.5726 / 0.6384 / 0.7078 | 0.8845 / 0.6910 / 0.8550 |
고정 리비전, 파일 해시, 원본 표본과 계산 방법은 상세 검증 보고서에 있습니다. 보정된 판정 임계값은 설정하지 않았습니다.
아직 확인하지 못한 것
- 평가 제출본과 공개본의 동일성. 정확히 같은 체크포인트인지 연결할 자료가 필요합니다.
- 무작위 초기화부터의 전체 학습 이력. 초기 체크포인트, seed, 학습 코드와 중간 기록이 필요합니다.
- 전체 가중치의 기원. 일부 표본으로 모든 가중치나 모든 외부 후보를 검사하지는 못합니다.
- 새 방법의 전체 재현과 대조군 검증. AWM·GhostSpec 아이디어의 제한된 CPU 시범은 수행했지만, 전체 방법과 독립 모델 대조군 검증은 미수행입니다.
따라서 지금의 결론은 공개 자료와 표본이 어디까지 뒷받침하는가에 대한 판단입니다. “검사에서 찾지 못함”은 “존재하지 않음의 증명”과 다릅니다.
Spot GPU로 확대해 확인한 결과
공통 토큰 표본과 선택 층을 늘리고, 알려진 Qwen Base→Instruct 쌍과 외부 비교 후보를 추가했습니다.
| 모델 쌍 | 결과 | 이 수치의 의미 |
|---|---|---|
| Solar 2 ↔ Solar 1 | 0.5481 | 선택 표본에서 자체 계승과 부합하는 상관 |
| EXAONE 2 ↔ EXAONE 1 | 0.6539 | 선택 표본에서 자체 계승과 부합하는 상관 |
| A.X K2 ↔ K1 | 0.0119 | 선택 표본에서 K1 계승 신호를 찾지 못함 |
| Qwen Instruct ↔ Base | 0.9999 | 알려진 후속 학습 쌍의 양성 대조 |
8개 모델, 7개 모델 쌍을 검사했습니다. 호환되는 6개 모델의 선택 4층씩에서 QK 스펙트럼을 모았고, 총 80개 층 쌍의 Q/K UCKA를 계산했습니다. 관련 없는 비교 후보가 한 family뿐이라 통계 판정 기준은 설정하지 않았습니다. 전체 무작위 초기화의 확증은 여전히 보류합니다.
GPU 결과·모든 비교군·비용 기록 읽기GPU 확대 검사는 EC2 Spot에서 완료했고 인스턴스·임시 자원을 정리했습니다. 계산 구간은 약 5분 19초였고, 시작부터 종료 관측까지 포함한 인스턴스 비용의 보수적 추산은 약 $1.23입니다. 부대비용·세금이 제외된 추산이며 확정 청구액은 아닙니다. 모델별 방법 해설에는 GPU 추가 결과를 반영했습니다. 작업 범위와 비용 조건
이전 CPU 시범 기록
AWM·GhostSpec의 아이디어를 적용한 제한된 CPU 시범입니다. 전체 논문 재현은 아닙니다.
정렬할 때 쓰지 않은
새 표본에서도 확인
단어 입력 가중치 512행 중 절반으로 좌표를 정렬하고 나머지 절반으로 확인했습니다. 정렬 후 새 표본의 평균 cosine은 Solar 0.5859, EXAONE 0.6550, A.X 0.0059였습니다.
A.X는 맞추는 데 쓴 표본의 점수만 보면 더 비슷해 보이지만, 새 표본에서는 상관이 낮았습니다. “맞춰 낸 유사성”을 계승 증거로 오해하지 않아야 합니다.
선택한 attention 층의
가중치와 스펙트럼도 검사
Solar·EXAONE의 선택 Q/K 행렬 전체를 비교했습니다. A.X의 MLA·FP8 attention은 구조 매핑이 필요해 이번 검사에서 제외했습니다.
관련 없는 실제 모델 대조군과 전체 층 정렬은 아직 수행하지 않았습니다. 이 수치만으로 From Scratch를 확정할 수는 없습니다.
다음에는 어떻게 확인할까
Exa로 조사한 연구 방법입니다. 위의 로컬 시범과 전체 방법 재현은 구분합니다.
가중치의 순서가 달라도 비교
AWM은 좌표를 정렬한 뒤 가중치를 비교합니다. GhostSpec은 attention 가중치의 스펙트럼과 층의 대응을 살핍니다. 단순 cosine이 놓칠 수 있는 변형을 다루는 후보입니다.
답변과 내부 표현을 함께 비교
REEF는 같은 입력에 대한 내부 표현을 비교합니다. LLMPrint는 특화된 질문으로 모델의 token 선호를 드러냅니다. 독립 모델 대조군과 오탐 통제가 필요합니다.
학습 시작부터의 기록을 검증
Proof-of-Learning과 Proof-of-Training-Data는 개발사의 학습 기록을 검사하는 접근입니다. 초기 상태와 학습 경로를 함께 확인해야 합니다.
원문과 재현 자료
판단의 근거를 직접 확인할 수 있도록 공개합니다.