AI 생성 곡은 왜 지지직거리는가 — 원인과 AI 노이즈 제거법
2026-09-069분
수노(Suno)나 유디오에서 받은 곡을 헤드폰으로 들으면 고역에 쉬- 하는 바닥이 깔리고, 심벌 근처에 금속성 링이 붙습니다. 특정 모델의 버그가 아니라 생성 구조에서 나오는 현상이고, 원인이 하나가 아니라 둘입니다. 둘을 갈라야 제거법이 갈립니다.
짧은 답
- AI 음악 아티팩트는 서로 다른 두 기전입니다. 하나는 코덱의 잔차 벡터 양자화(RVQ)가 남기는 고역 잡음 바닥, 다른 하나는 디코더의 전치 합성곱이 만드는 정지 스펙트럼 라인입니다.
- 귀에 들리는 치- 소리의 주성분은 라인이 아니라 잡음 바닥입니다. 호네누키 실측으로 8~12 kHz에 몰려 있고, 사람 목소리라면 디지털 무음일 구간에도 상존합니다.
- 광대역 디노이저는 이 바닥을 지우면서 심벌과 자음도 함께 지웁니다. 노치 필터는 라인을 잡을 수 있지만, 도구 대부분이 그 대역까지 도달하지 못합니다.
- 마스터링으로 덮으면 오히려 커집니다. 메이크업 게인이 신호와 함께 잡음 바닥도 올리고, 에어밴드 부스트는 히스가 가장 센 대역 바로 위를 때립니다.
- 호네누키는 두 갈래를 각각 다른 경로로 처리합니다. 6~14 kHz 잡음 게이트(최대 −40 dB)와 정지 라인 노치(최대 −20 dB)를 곱하지 않고 max로 결합해, 한쪽이 세게 걸려도 다른 쪽이 그것을 증폭하지 않습니다.
1. AI 생성 곡의 노이즈는 왜 생기는가
생성 모델은 파형을 직접 만들지 않습니다. 압축된 내부 표현을 만들고, 신경 코덱의 디코더가 그것을 파형으로 펼칩니다. 아티팩트는 이 두 단계에서 각각 다른 성질로 남습니다.
먼저 잔차 벡터 양자화(RVQ) 쪽입니다. RVQ는 내부 표현을 여러 단계로 나눠 양자화하고, 각 단계는 남은 오차를 가장 많이 줄이는 성분부터 집어갑니다. 그런데 음악의 에너지는 압도적으로 저역에 있습니다. 단계를 늘려도 코드북은 저역 잔차를 더 정밀하게 다듬을 뿐 고역으로 올라가지 않습니다. 신경 코덱에는 MP3 같은 대역별 비트 배분이 아예 없습니다 — SoundStream 논문은 비트 예산을 각 양자화 단계에 균등 분배한다고 명시합니다.
학습 손실함수도 고역에서는 눈이 어둡습니다. 코덱들이 쓰는 mel 스펙트로그램은 고역으로 갈수록 한 밴드가 넓은 구간을 뭉뚱그립니다. 44.1 kHz·80밴드 기준으로 1 kHz 부근에서는 한 밴드가 약 74 Hz를 덮지만 10 kHz에서는 약 466 Hz를 덮습니다. 그 대역의 총에너지만 맞으면 손실이 줄어들기 때문에 미세 구조는 구속되지 않습니다.
그 결과가 논문에 기록된 실패 양상입니다. DAC 논문은 생성 오디오의 스펙트로그램이 여전히 흐릿하고 고역에서 과도한 평활화가 나타난다고 적습니다. 디코더는 확신이 없는 고역을 무음으로 두지 않고 그럴듯한 잡음 텍스처로 채우도록 학습됩니다. 우리가 듣는 쉬- 하는 바닥이 그것입니다.
다음은 전치 합성곱 쪽입니다. 디코더는 내부 표현을 업샘플링으로 펼치는데, 전치 합성곱은 그 과정에서 값 사이에 0을 끼워 넣습니다. 이 영 삽입이 스펙트럼을 주기적으로 복제해 규칙적인 피크를 만듭니다. 2025년 논문 A Fourier Explanation of AI-music Artifacts가 이것을 수학적으로 증명했고, 중요한 점은 이 피크가 학습 데이터나 가중치가 아니라 구조만으로 결정된다는 것입니다.
그래서 이 라인들은 곡의 조성이나 화성과 무관한 절대 주파수에 고정됩니다. 조를 옮겨도, 곡이 바뀌어도 같은 자리에 있습니다. 이 성질이 제거 전략을 가릅니다. 움직이지 않는 표적은 정지 필터로 잡을 수 있습니다.
두 기전을 섞으면 안 됩니다. RVQ 양자화 오차는 신호에 따라 변하는 광대역 현상이라 등간격 라인을 만들지 못하고, 전치 합성곱은 선을 만들지 광대역 바닥을 만들지 못합니다. 한 가지 원인으로 뭉뚱그리면 제거법도 하나로 뭉뚱그리게 되고, 그게 고역이 무너지는 이유입니다.
2. 엔지니어들은 이걸 어떻게 없애는가
기존 도구로도 상당 부분 잡을 수 있습니다. 다만 이 문제를 겨냥해 만들어진 도구가 아니라서, 각 방법마다 구조적인 한계가 따라옵니다.
| 방법 | 동작 | 한계 |
|---|---|---|
| 험 제거 | 기본 주파수와 그 배음 위치에 노치를 놓는다 | 노치 위치가 기본 주파수의 정수배에 고정된다. 배음 상한이 16개(플러그인 판은 7개)라 200 Hz에 걸면 3.4 kHz에서 끝나 6 kHz 이상의 히스 대역에 도달 자체를 못 한다 |
| 스펙트럼 디노이즈 | 잡음 프로파일을 추정해 감산한다 | 설정을 낮추면 뮤지컬 노이즈(물소리 같은 잔향), 높이면 광대역 게이팅이 된다. 벤더 문서도 이 트레이드오프를 명시한다 |
| 스펙트럼 리페어 | 선택 영역을 주변과 비슷하게 만든다 | 모드에 따라 선택 길이가 4~10초로 제한된다. 3분 곡이면 수십 번 반복해야 하고, 주변을 기준으로 삼는 방식이라 상시 존재하는 바닥에는 기준이 될 주변이 없다 |
| 디에서 | 치찰음 대역을 동적으로 누른다 | 치찰음은 간헐적이고 코덱 바닥은 상시적이다. 디에서 하나로는 상시 성분에 임계가 걸리지 않아 별도 경로가 필요하다 |
| 다이내믹 EQ · 멀티밴드 | 좁은 대역만 조건부로 누른다 | 정지 라인에는 잘 맞는다. 다만 표적 주파수를 사람이 찾아 지정해야 하고, 곡마다 생성기마다 다시 해야 한다 |
| 재생성 · 리마스터 | 새 모델로 곡을 다시 만든다 | 복원이 아니라 재생성이라 마음에 들던 테이크가 바뀔 수 있다. 그리고 결과물도 같은 신경 코덱을 거치므로 같은 종류의 잔여물이 다시 남는다 |
| 마스터링으로 덮기 | 음압을 올려 묻는다 | 메이크업 게인이 잡음 바닥도 함께 올린다. 에어밴드 부스트는 히스가 가장 센 9~12 kHz 바로 위를 때려 오히려 부각시킨다 |
정리하면 잡음 바닥과 정지 라인은 서로 다른 도구를 요구합니다. 바닥은 통계적 추정과 게이팅이 필요하고, 라인은 위치를 특정한 정지 노치가 필요합니다. 한 도구로 둘 다 하려 들면 한쪽이 과해지고, 두 도구를 직렬로 걸면 감쇄가 곱해져 고역이 무너집니다.
그리고 수동으로 하면 오래 걸립니다. 표적을 찾고, 대역을 지정하고, 스템마다 반복하고, 결과를 원본과 대조하는 과정을 곡마다 되풀이해야 합니다.
3. 호네누키는 이걸 어떻게 제거하는가
호네누키(Honenuki by Volta)는 AI 음악 전용 노이즈 제거 도구입니다. 위의 두 갈래를 각각 다른 경로로 처리하고, 그 둘을 결합하는 방식에 규칙을 둡니다.
| 경로 | 표적 | 동작 | 상한 |
|---|---|---|---|
| 히스 게이트 | 고역 잡음 바닥 | 시간축 하위 백분위로 잡음 프로파일을 잡고 SNR 램프로 부드럽게 게이팅한다. 시간 스무딩으로 뮤지컬 노이즈를 억제한다 | 6~14 kHz, 최대 −40 dB |
| 정지 라인 노치 | 비배음 정지 피크 | 시간에 걸쳐 움직이지 않고 배음 구조에 속하지 않는 라인만 확정해 상시 노치를 건다 | 최대 −20 dB |
| 디에서 | 치찰음 | 고역과 중역의 에너지 비로 검출한다. 절대 임계가 아니라 비율이라 곡 레벨에 흔들리지 않는다 | 별도 경로 |
설계 규칙
- 마스크는 곱하지 않고 max로 결합합니다. 강도와 디에서와 히스를 순차로 곱하면 감쇄가 세 번 누적돼 고역이 무너집니다. 가장 큰 감쇄 하나만 적용합니다.
- 잔차는 복원 단계 전에 계산합니다. 새추레이션이나 에어를 더한 뒤 빼면 무엇을 덜어냈는지가 오염됩니다. 제거한 것만 정확히 들려줘야 판단할 수 있습니다.
- 청취와 다운로드가 같은 경로입니다. 웹에서 듣는 소리가 서버 렌더 결과 그대로이고, 프리뷰 전용 처리를 두지 않습니다.
- 같은 입력과 같은 설정이면 비트 단위로 같은 결과가 나옵니다. 재생성이 아니라 감산이라 마음에 들던 테이크가 바뀌지 않습니다.
판정은 표시 전용입니다. 스템별로 아티팩트 정도를 보여 주지만 그 판정이 처리를 게이트하지 않습니다. 사람이 만든 음원에 잘못된 판정이 나와도 처리를 막지 않는다는 뜻입니다.
강도 노브의 기본 표시는 40으로 고정돼 있습니다. 여기서 시작해 잔차를 들으면서 올리거나 내리면 됩니다.
질문
수노 자체 리마스터로 충분하지 않나요?
하는 일이 다릅니다. 리마스터는 새 모델로 곡을 다시 생성합니다. 음질이 올라갈 수는 있지만 연주와 보컬 테이크가 바뀔 수 있고, 결과물도 같은 신경 코덱을 거치므로 고역 잔여물이 다시 남습니다. 이미 마음에 드는 테이크가 있다면 다시 만들지 말고 그 파일을 고치는 쪽이 맞습니다.
스템으로 분리하면 없어지나요?
없어지지 않습니다. 아티팩트는 생성 단계에서 이미 파형에 찍히고, 분리는 그 이후에 적용됩니다. 분리기는 성분을 나눌 뿐 이미 들어간 잔여물을 되돌리지 못합니다.
고역을 깎으면 답답해지지 않나요?
고역 전체를 내리는 방식이 아닙니다. 검출된 피크 주변의 좁은 대역과 잡음 바닥만 골라 줄이고, 복원 단계가 질감과 밝기를 되돌립니다. 드럼 스템은 감쇄 상한을 낮추고 트랜지언트 부근의 감쇄량을 줄여 어택과 심벌을 지킵니다.
커널을 잘 고르면 애초에 안 생기게 할 수 없나요?
논문은 어렵다고 봅니다. 아주 특정한 커널 선택이 피크를 완화할 수는 있지만 커널의 파라미터 수가 제한적이라 아티팩트를 전부 없애기는 어렵다고 적고 있습니다. 생성 쪽에서 완전히 해결되기를 기다리기보다 후처리가 현실적인 경로입니다.
마스터링 전에 해야 하나요, 후에 해야 하나요?
전에 하세요. 코덱 잔여물과 고역 히스는 음압을 올릴수록 함께 커집니다. 먼저 정리하고 마스터링하는 순서를 권합니다. 호네누키 자체는 마스터링 도구가 아니며 리미팅이나 라우드니스 정규화를 하지 않습니다.
가입만 하면 0원으로 바로 쓸 수 있습니다.
출처와 단서
- 기전 설명은 Afchar, Meseguer-Brocal, Akesbi, Hennequin (2025), A Fourier Explanation of AI-music Artifacts, arXiv:2506.19108 과 Zeghidour et al. (2021), SoundStream: An End-to-End Neural Audio Codec, arXiv:2107.03312 을 따릅니다.
- 고역 과평활화 서술은 Kumar et al. (2023), High-Fidelity Audio Compression with Improved RVQGAN, arXiv:2306.06546 의 기술을 따릅니다.
- 논문들은 비공개 상용 모델의 내부 구조를 확인할 수 없다고 명시합니다. 이 글에서 논문은 기전의 근거로만 인용했고, 특정 생성기의 격자 간격 같은 수치는 논문에 없습니다.
- 히스 대역(6~14 kHz), 감쇄 상한(−40 dB / −20 dB), 잡음 바닥이 8~12 kHz에 몰린다는 관측은 호네누키 엔진의 자체 측정값입니다. 논문에서 온 수치가 아닙니다.
- 본문에 적은 도구별 한계는 각 벤더의 공식 문서에 기술된 사양을 따릅니다. 제품의 우열을 말하는 것이 아니라, 이 문제에 대해 각 설계가 갖는 구조적 제약을 적은 것입니다.
이어 읽기