텐센트 훈위안 Hy4 preview 경량판: 1.5TB를 214GB로 — 중국에서 온프레미스 AI 도입 비용은 얼마나 낮아졌나

2026년 9월 1일, 텐센트 훈위안 팀이 Hy4 preview 경량판을 공개했다. 모델 가중치를 약 1.5TB에서 약 214GB로 — 86% 감축 — 압축하면서도 장문 이해와 멀티턴 장문맥 검색을 BF16 원본과 1~2점 차이 안에 유지했다. 양자화된 GGUF, 베이스 모델, AngelSlim 코드 저장소가 모두 공개됐다.

이것은 성능의 이야기가 아니라 하드웨어의 이야기다. 그리고 중국 안에서 마케팅과 콘텐츠 제작을 돌리는 브랜드에게, 발목을 잡아온 것이 바로 이 하드웨어 쪽이었다.

1. 나흘 만에 달라진 것: 1.5TB에서 214GB로

2026년 8월 28일, 텐센트는 Hy4 preview를 공개하고 오픈소스화했다. 총 파라미터 7,700억, 토큰당 활성 파라미터 490억, 컨텍스트 길이 100만 토큰을 넘는 Mixture-of-Experts 모델로, Apache 2.0을 채택했고 월간 활성 사용자 상한이나 자체 커뮤니티 라이선스도 두지 않았다. 호스팅 API는 텐센트 클라우드 TokenHub와 OpenRouter를 통해 입력 100만 토큰당 6위안, 출력 18위안, 캐시 입력 0.3위안으로 책정됐다.

나흘 뒤 경량판이 나왔다. 원본 공개 이후 커뮤니티의 지적은 한결같았다. BF16 체크포인트가 너무 커서 대부분의 팀은 아예 불러올 수 없다는 것이었다. 텐센트의 답은 원래 크기의 약 7분의 1에 들어가는 양자화 빌드였다.

이 압축률이 의미 있는 까닭은 그것이 의사결정에서 제거하는 것 때문이다. 질문은 "GPU 클러스터를 살 수 있는가"에서 "사무실에 이미 있는 장비를 돌려쓸 수 있는가"로 바뀌었다.

2. 압축의 원리: Sherry와 MIX-STQ1_0

두 기술이 겹쳐 쓰였고, 각각 문제의 서로 다른 절반을 푼다.

Sherry 희소 삼진 양자화. Sherry는 라우팅 전문가 레이어에 적용되는 삼진 방식이다. 가중치 네 개를 한 그룹으로 묶어 {-1, 0, +1}로 양자화하고, 그중 정확히 하나를 0으로 고정한다. 이 제약으로 그룹당 32가지 조합이 나오고 5비트 인덱스로 인코딩할 수 있어, 산술 평균은 가중치당 1.25비트가 된다. 블록 공유 스케일 계수 등 추가 오버헤드를 반영하면 실제 디스크 비용은 약 1.31 bpw에 정착한다. 텐센트는 이 포맷을 실제로 돌리기 위해 llama.cpp 안에 STQ1_0 추론 커널을 구현했다. 자사 측정에 따르면 속도는 IQ1_M과 비슷하고 IQ1_S보다 빠르다.

MIX-STQ1_0 혼합 정밀도. 비트 폭을 일괄 적용하면 정밀이 필요 없는 레이어에 낭비가 생기고 필요한 레이어는 부족해진다. MIX-STQ1_0은 캘리브레이션 데이터로 레이어별 민감도를 판정한 뒤 레이어마다 비트 폭을 배정한다. 민감한 레이어는 2.06비트의 IQ2_XXS를 유지하고, 민감하지 않은 레이어는 더 공격적인 1.31비트 STQ1_0을 쓴다. 그 결과 평균 비트 예산을 늘리지 않고도 양자화 오차를 낮추며, 일괄 적용 방식인 UD-IQ1_M 대비 5GB 이상의 저장 공간을 추가로 절약한다.

숫자가 흥미로워지는 지점은 이 둘의 조합이다. 압축의 본체를 맡는 것이 Sherry, 손상을 어디에 허용할지 정하는 것이 MIX-STQ1_0이다.

3. 무엇을 잃는가: 86% 압축의 벤치마크 비용

텐센트는 성능 저하를 구체적인 수치로 제시했는데, 이는 양자화 릴리스치고 이례적인 투명성이다.

개별 숫자(모두 벤더 공표치)가 아니라 이 표의 형태를 읽어야 한다. 검색 중심·문서 중심 작업은 거의 움직이지 않는다. 툴 호출과 코드는 1~2점을 잃는다. 수학이 가장 뚜렷한 하락을 보이는데, 이는 공격적인 저비트 양자화에서 예상되는 패턴이다. 반올림 오차의 누적은 가장 먼저 추론 연쇄에서 드러난다.

텐센트는 경량판이 일상적인 코딩 보조, 툴 호출, 장문서 처리, 일반 질의응답을 커버한다고 밝혔다. 이 목록에 없는 것에 주의해야 한다. 중간 계산이 틀려도 조용히 지나쳐버리는 종류의 작업이다.

솔직한 규정. 이것은 정밀도를 위한 모델이 아니라 처리량을 위한 모델이다. 쓰임새가 "제품 문서 400쪽을 읽히고 로컬라이제이션 초안을 뽑는 것"이라면 이 거래는 매우 훌륭하다. 그것이 "12개 마켓의 미디어 예산 배분을 정확히 계산하는 것"이라면 BF16 또는 FP8 빌드를 기준으로 남겨두고, 경량판은 스크리닝 용도로만 써야 한다.

4. 이미 가진 장비로 돌린다: 이기종 연합 추론 테스트

더 중요한 발표는 분산 클러스터 추론 프레임워크 prima.cpp와 함께 진행한 도입 실험이다.

구성은 RTX 4090 한 장을 단 노트북 한 대와, A4000 네 장을 단 서버 한 대다. 합산 VRAM 80GB, 시스템 메모리 64GB — 총 144GB. 두 대는 서로 다른 로컬 네트워크에 있었다. 214GB 모델에 대해 70GB가 부족하다.

그런데도 돌아갔다. prima.cpp의 이기종 스케줄러가 MoE 레이어를 두 장비에 나눠 배치하고 연산과 가중치 로딩을 겹쳐 실행해, 214GB 경량판이 1.02 token/s에 도달했다. 노트북 단독 오프로드 대비 약 6배 빠른 속도다.

1.02 token/s가 실무에서 뜻하는 것. 대화형 채팅에는 쓸 수 없다. 배치 작업에는 충분히 실용적이다. 시간당 약 3,700 토큰, 밤새 돌리면 약 88,000 토큰. 12,000 토큰짜리 로컬라이즈된 랜딩 페이지 초안이면 3시간, 주말에 제품 설명 30개를 뽑는 정도는 아무것도 아니다. 질문은 "빠른가"가 아니라 "내 워크로드가 지연에 민감한가"다.

숫자보다 이기종 구성 자체가 중요한 이유. 기업의 AI 도입 논의는 대개 한 줄 항목에서 멈춘다. 동일 구성의 클러스터를 살 것인가, 아무것도 하지 않을 것인가. 이 실험은 세 번째 길을 보여준다. 이미 가진 제각각의 장비를 묶고, 처리량 저하를 받아들이며, 자본 지출을 미룬다. 상하이의 리저널 마케팅 팀이 워크스테이션 몇 대와 여분의 서버를 갖고 있다면, 이것은 "이번 분기에 파일럿을 돌린다"와 "영영 못 돌린다"의 차이다.

5. 왜 중국에서는 온프레미스가 더 중요한가

여기서 기술 릴리스는 상업적 논점으로 바뀌고, 이것이 본건을 엔지니어링이 아니라 마케팅 의제에 올려야 할 이유다.

중국의 데이터 제도는 국경 간 이전을 기본값이 아닌 예외로 다룬다. 개인정보보호법(PIPL) 제38~40조는 개인정보가 국외로 나가기 전에 안전 평가, 인증, 또는 표준계약 조항 신고를 요구한다. 데이터안전법은 데이터 분류·등급화 제도와 '중요 데이터'의 국내 보존 원칙을 더한다. 2024년 3월 「데이터 국경 간 이동 촉진 및 규범에 관한 규정」이 물량 기준선을 정했다.

중국에서 사업하는 외자 브랜드에게 이는 글로벌 마케팅 기술의 일반적인 구성과 충돌한다. CRM 내보내기는 글로벌 인스턴스로, 캠페인 브리프는 미국이나 유럽에 엔드포인트를 둔 호스팅 LLM으로, 고객 명단은 유사 오디언스 툴로 향한다. 각각이 이전이고, 각각에 절차가 필요하다.

온프레미스 추론은 이 방정식을 계약이 아니라 구조에서 바꾼다. 모델 가중치, 벡터 스토어, 추론 프로세스가 모두 중국 내 인프라 위에 있으면 평가해야 할 국경 간 이전이 존재하지 않는다. 이는 텐센트가 외자 광고주에게 랜딩 페이지에 대해 늘 해온 조언과 같은 논리다. 글로벌 사이트가 중국 분석·전환 코드를 실을 수 없다면 통합과 싸우지 말고 랜딩 페이지를 중국 호스팅 기반으로 옮겨라. 둘은 같은 한 수다. 데이터를 연산이 있는 곳으로 옮기는 게 아니라, 연산을 데이터가 있는 곳으로 가져가는 것이다.

다만 로컬화해도 남는 의무가 둘 있고, 팀은 흔히 둘 다 놓친다. 「생성형 인공지능 서비스 관리 잠정 조치」(2023년 8월 15일 시행)은 생성물이 사용자에게 닿는 한 계속 적용된다. 그리고 「AI 생성 합성 콘텐츠 표시 조치」(2025년 9월 1일 시행)는 AI 생성물에 대한 명시적·잠재적 표시 부여를 계속 요구한다. 모델을 로컬에서 돌린다고 브랜드가 공개하는 콘텐츠의 표시 의무가 면제되지는 않는다.

6. 콘텐츠 제작과 마케팅 팀에 주는 의미

구체적으로 세 가지 변화가 있다.

코퍼스 전체가 한 번에 들어간다. 100만 토큰 컨텍스트 윈도는 약 75만 단어에 해당한다. 제품 매뉴얼 전체, 최근 4개 분기 캠페인 성과 보고서, CRM 메모 내보내기, 경쟁사 크리에이티브 라이브러리까지 — 이것을 프롬프트 하나에 담을 수 있다. 과거 브랜드 로컬라이제이션 작업은 문서를 쪼개고, 상호 참조 맥락을 잃고, 청크마다 갈라진 용어를 나중에 맞추는 일이었다. 코퍼스 전체가 컨텍스트에 있으면 100쪽 분량 산출물에서도 용어가 일관된다.

미공개 자료를 처리할 수 있게 된다. 론칭 전 캠페인 크리에이티브, 가격표, 대리점 조건, 발표 전 제품 사양 — 이는 글로벌 AI 정책이 서드파티 호스팅 엔드포인트로의 전송을 금지하는 바로 그 종류의 입력이다. 자사 사무실 장비에서 도는 모델에는 그런 제약이 없다. 중국의 브랜드 팀에게 이는 흔히 "AI를 초안 작성에 쓸 수 있느냐"와 "아예 못 쓰느냐"의 차이다.

비용 구조가 물량에서 뒤집힌다. 입력 100만 토큰 6위안, 출력 18위안이라는 호스팅 API 가격은 경쟁력 있고 자본도 들지 않는다. 그러나 비용은 사용량에 비례해 영원히 늘어난다. 셀프 호스팅은 이를 고정 자산과 전기료로 바꾼다. 손익분기점은 전적으로 가동률에 달려 있고, 전용 장비에서의 1.02 token/s는 높은 천장이 아니다. 그러나 고정된 코퍼스를 상대로 매일 밤 배치를 돌리는 팀이라면 첫 달 이후 한계 비용은 거의 0에 가까워진다.

해당하지 않는 영역. 실시간 고객 서비스, 캠페인 규모로 시간 압박을 받는 광고 카피 생성, 잘못된 숫자가 고객에게 닿을 수 있는 모든 작업. 이것들은 호스팅 API를 쓰고, 로컬 빌드는 그 뒤의 배치 작업에 돌려야 한다.

7. 실무 도입 체크리스트

결론

텐센트는 8월에 플래그십급 모델을 공개하고 9월에 하드웨어 핑계를 없앴다. Apache 2.0 라이선스가 법적 마찰을, 214GB 풋프린트와 이기종 스케줄링이 자본 측면의 마찰을 없앴다. 남은 것은 애초에 실제로 존재했던 유일한 마찰뿐이다. 자사 워크로드 가운데 무엇이 정말 로컬 인프라에 있어야 하는지 결정하는 일이다.

중국에 있는 대다수 브랜드에게 그 답은 과장된 기대보다 좁고, 0보다는 넓다. 배치형 콘텐츠 제작, 고정된 브랜드 코퍼스에 대한 로컬라이제이션, 그리고 합법적으로 국경을 넘길 수 없는 자료의 처리 — 이것들이 로컬 워크로드의 문제이며, 9월 1일 현재 실행 가능한 답을 갖고 있다.

출처: 텐센트 훈위안 Hy4 preview 경량판 발표(2026년 9월 1일, IT즈자/지둥시/펑황왕 커지/콰이커지); 텐센트 Hy4 preview 공개(2026년 8월 28일); Hugging Face tencent/Hy4-preview 및 AngelSlim/Hy4-preview-GGUF; GitHub Tencent/AngelSlim; prima.cpp 이기종 추론 프레임워크. 법령 참조: 개인정보보호법 제38~40조, 데이터안전법, 데이터 국경 간 이동 촉진 및 규범에 관한 규정(2024년 3월), 생성형 인공지능 서비스 관리 잠정 조치(2023년), AI 생성 합성 콘텐츠 표시 조치(2025년).