샘플링과 모델링 가상악기: 디지털 피아노 음원의 원리

1. 디지털 피아노 음원 제작 방식

우리가 듣는 어쿠스틱 피아노 소리는 해머가 현을 때리는 타격음만으로 이루어지지 않음. 해머가 현을 움직이면 현의 진동이 브리지를 거쳐 향판으로 전달되고, 향판이 넓은 면적으로 공기를 움직이면서 피아노다운 소리가 남.

타건 속도에 따라 현의 진동과 해머의 접촉 방식이 달라지며, 소리의 크기뿐 아니라 음색도 함께 바뀜. 빠르게 움직인 해머는 펠트가 더 단단하게 압축되면서 높은 주파수 성분을 비교적 강하게 만들고, 느리게 움직인 해머는 높은 성분을 덜 자극해 부드럽게 들림. 모든 배음이 같은 비율로 강해지는 것은 아님.

중·고음역에서는 한 음에 두세 줄을 같은 음높이로 맞춰 씀. 이 유니즌 현들은 브리지를 통해 서로 영향을 주고 미세한 조율 차이로 맥놀이를 만듦. 처음에는 함께 움직이는 성분이 향판으로 에너지를 빠르게 보내고, 뒤에는 천천히 감쇠하는 성분이 남아 피아노 특유의 이중 감쇠와 긴 여운을 만듦.

디지털 피아노 음원은 이 변화를 얼마나 자연스럽게 재현하느냐가 중요함. 소리를 만드는 방식은 크게 샘플링과 모델링으로 나눌 수 있음.

1. 샘플링(Sampling)

샘플링은 실제 피아노를 연주해 소리를 미리 녹음하고, 연주 중 들어온 MIDI 신호에 맞는 샘플을 재생하는 방식임. 각 음을 여러 타건 세기와 주법, 페달 상태로 나누어 녹음함.

진짜 피아노를 녹음하므로 원 악기와 마이크의 질감이 자연스럽게 담김. 녹음된 파형 안에는 기본음과 배음도 함께 들어 있음. 문제는 모든 타건 속도와 페달 위치, 직전에 울리던 현의 상태를 빠짐없이 녹음할 수 없다는 점임. 미세한 차이는 샘플 사이를 섞거나 실시간 처리로 이어 줌.

제작할 때는 타건 세기를 나눈 벨로시티 레이어, 같은 음을 반복할 때 바꿔 재생하는 라운드 로빈, 건반을 놓을 때의 릴리즈 샘플, 페달 업·다운 공명, 우나 코르다와 반페달 샘플 등을 따로 준비함. MIDI 1.0의 일반적인 노트 온 벨로시티는 1~127이지만 모든 단계를 녹음하는 것은 아니므로, 실제 제품은 제한된 레이어 사이를 음량과 음색 처리로 연결함. 연속식 페달은 CC64 값으로 중간 위치를 보내며 음원 엔진이 이를 샘플과 스크립트에 대응시킴.

2. 모델링(Modeling)

모델링은 피아노 구조를 수학적으로 구현해 현, 해머, 댐퍼, 향판 등 소리에 관여하는 요소를 계산하고 실시간으로 소리를 만듦. 타건 강약과 페달, 이미 울리고 있는 현의 상태에 따라 소리를 계속 바꿀 수 있음.

수식이 정교하다고 실제 피아노와 완전히 같은 소리가 저절로 나오는 것은 아님. 해머와 현의 접촉, 현의 강성, 브리지 결합, 향판의 방사, 댐퍼 상태 가운데 무엇을 어떻게 모델에 넣었는지와 측정값·매개변수 설정에 따라 결과가 달라짐. 음별 편차를 만들 때 난수를 쓸 수도 있지만 무작위성은 여러 요소 가운데 하나일 뿐이며, 모델링의 중심은 이런 물리적 관계를 자연스럽게 이어 주는 데 있음.

Pianoteq의 개발 언어는 제작사가 공식적으로 밝히지 않았으므로 C++로 개발했다고 단정할 근거는 없음. 모델링 음원이라는 사실과 구현 언어는 별개의 문제임.

2. 배음(harmonics)

어쿠스틱 피아노뿐 아니라 모든 악기는 여러 진동 성분을 함께 냄. 같은 C4라도 바이올린과 피아노가 다르게 들리는 까닭은 각 부분음의 세기와 지속시간, 공명 양상이 다르기 때문임.

피아노에서 C4를 누르면 C4를 중심으로 여러 부분음이 동시에 울림. 기본음까지 포함하면 부분음(partial), 기본음 위의 성분만 가리키면 배음(overtone)이라고 구분함. 아래는 이상적인 줄에서 나타나는 C4의 부분음임.

1. 1번 — 1× — 기본음 — C4
2. 2번 — 2× — 1옥타브 위 — C5
3. 3번 — 3× — G5, 평균율보다 약 2센트 높음
4. 4번 — 4× — 2옥타브 위 — C6
5. 5번 — 5× — E6, 평균율보다 약 14센트 낮음
6. 6번 — 6× — G6, 평균율보다 약 2센트 높음
7. 7번 — 7× — B♭6보다 약 31센트 낮음
8. 8번 — 8× — 3옥타브 위 — C7
9. 9번 — 9× — D7, 평균율보다 약 4센트 높음
10. 10번 — 10× — E7, 평균율보다 약 14센트 낮음
11. 11번 — 11× — F7과 F♯7 사이
12. 12번 — 12× — G7, 평균율보다 약 2센트 높음
13. 13번 — 13× — A♭7과 A7 사이
14. 14번 — 14× — B♭7보다 약 31센트 낮음
15. 15번 — 15× — B7보다 약 12센트 낮음
16. 16번 — 16× — 4옥타브 위 — C8
17. 17번 — 17× — C♯8보다 약 5센트 높음
18. 18번 — 18× — D8보다 약 4센트 높음
19. 19번 — 19× — E♭8보다 약 3센트 낮음
20. 20번 — 20× — E8보다 약 14센트 낮음

몇 번째 부분음까지 들리는지는 고정할 수 없음. 기본음의 높이와 각 부분음의 세기, 감쇠 시간, 주변 소음과 듣는 사람의 청력에 따라 달라짐. “사람은 10~15배음까지만 듣는다”는 식으로 경계를 정하면 안 됨.

피아노 앞에서 확인하려면 서스테인 페달을 밟지 않은 채 C5나 G5 같은 건반을 소리가 나지 않도록 천천히 눌러 둠. 그 상태에서 C4를 짧고 세게 친 뒤 먼저 눌러 둔 건반의 현이 울리는지 들어 보면 됨. 처음부터 페달을 밟으면 모든 댐퍼가 올라가 특정 현의 반응을 구별하기 어려움.

현실의 피아노 줄은 물리학에서 가정하는 이상적인 줄이 아님. 실제 현에는 굵기와 강성이 있고 휘어짐에도 저항함. 그래서 높은 부분음일수록 이상적인 정수배보다 조금 높은 쪽으로 벌어지는데, 이 현상을 비조화성(inharmonicity)이라고 함. 비조화성은 피아노의 조율과 음색에 영향을 줌.

조율사는 이 벌어진 부분음이 옥타브에서 자연스럽게 맞물리도록 저음은 조금 낮추고 고음은 조금 높이는 스트레치 튜닝을 적용함. 그래서 실제 피아노의 옥타브는 전 음역에서 수학적으로 정확한 2:1 비율만을 따르지 않음. 음원에서도 원 악기의 비조화성과 스트레치 튜닝을 함께 재현해야 피아노다운 음정 관계가 남음.

🔗 Fundamental Frequency and Harmonics

Each natural frequency that an object or instrument produces has its own characteristic vibrational mode or standing wave pattern. These patterns are only created within the object or instrument at specific frequencies of vibration. These frequencies are known as harmonic frequencies, or merely harmonics. At any frequency other than a harmonic frequency, the resulting disturbance of the medium is irregular and non-repeating.

https://www.physicsclassroom.com/class/sound/lesson-4/fundamental-frequency-and-harmonics

1. 샘플링(Sampling)

샘플링은 자연스러운 비조화성과 배음이 섞인 완성된 파형을 녹음함. 실제 피아노의 배음을 몇 개만 골라 저장하는 방식이 아님.

한계는 배음을 녹음하지 못한다는 데 있지 않음. 유한한 벨로시티 레이어와 주법으로 연속적인 터치 변화를 나누어 담아야 하므로, 레이어 사이에서 음색이 튀거나 크로스페이드의 위상 간섭이 생길 수 있음. 레이어 수를 늘리고 스크립트나 일부 모델링 처리를 섞어 이런 틈을 줄임.

2. 모델링(Modeling)

모델링은 현의 길이와 굵기, 장력, 타건 속도 등을 바탕으로 부분음 구조를 계산함. 타건 강약과 페달, 댐퍼, 공명 상태가 달라지면 계산 결과도 실시간으로 바뀜.

계산 방식이라고 배음이 완벽해지는 것은 아님. 실제 악기의 모든 구조를 모델에 넣을 수는 없고, 어떤 요소를 생략했는지와 매개변수를 어떻게 맞췄는지가 소리를 좌우함. 음별 편차나 악기의 마모 상태를 표현하려고 불규칙성을 더할 수는 있지만, 해머·현·브리지·향판·댐퍼의 관계를 제대로 계산하는 일이 먼저임.

샘플링과 모델링 가운데 어떤 방식이 남을지는 배음 하나만으로 정해지지 않음. 공명과 페달 반응, 연주 상태의 연결, 원 악기의 질감, 저장 공간과 연산량을 함께 봐야 함.

3. 공명(resonance)

배음은 한 음 안에 이미 들어 있는 여러 진동 성분을 말함. 공명은 그 진동이 다른 현이나 구조물에 전달돼 함께 울리는 현상임.

피아노에서 어떤 음을 치면 같은 주파수나 가까운 배음 성분을 지닌 다른 현이 반응할 수 있음. C를 쳤다고 E와 G의 현이 언제나 정해진 크기로 울리는 것은 아님. 공유하는 부분음과 조율, 댐퍼 상태, 감쇠에 따라 반응이 달라짐.

현간 공명

한 현의 진동이 관련된 주파수를 지닌 다른 현을 움직이는 현상임. 두 와인잔의 고유 주파수가 충분히 가까울 때 하나를 쳐서 다른 잔도 울릴 수 있는 것과 비슷함.

페달 공명(댐퍼 공명)

오른쪽 페달을 밟으면 대부분의 댐퍼가 현에서 떨어짐. 여러 현이 자유롭게 반응하면서 한 음의 울림이 악기 전체로 넓어짐. 가상악기에서는 페달 공명 또는 댐퍼 공명이라고 부르지만, 물리적으로는 페달을 밟아 댐퍼가 열린 상태에서 넓어진 공감 공명으로 보는 편이 정확함.

향판의 반응

현에서 나온 진동은 브리지를 거쳐 향판으로 전달됨. 향판은 넓은 면적으로 공기를 움직여 현의 에너지를 소리로 방사함. 향판 자체의 진동 모드와 감쇠 특성도 피아노의 음색에 영향을 줌. 전자 증폭기처럼 단순히 음량만 키우는 과정은 아님.

건반 조합을 숫자로 세어 보면

C4를 고정하고 다른 건반을 최대 아홉 개까지 동시에 누른다고 가정해 볼 수 있음. C4만 누르는 한 가지 경우까지 포함하면 계산은 아래와 같음.

1 + C(87,1) + C(87,2) + … + C(87,9) = 577,737,983,152가지

누르는 순서까지 구분하면 아래와 같음.

1 + P(87,1) + P(87,2) + … + P(87,9) = 188,513,108,337,656,020가지

첫 계산은 동시에 누르는 건반 조합만 셌고, 두 번째 계산은 아르페지오처럼 누르는 순서까지 구분한 것임. 페달과 정확한 시간 간격, 타건 세기는 아직 들어가지 않았음.

이 숫자는 연주 입력의 경우가 매우 많다는 점을 보여 주는 예시임. 실제 공명 상태의 수나 필요한 샘플 수와 일대일로 대응하지는 않음. 타건 세기와 시간, 페달 위치는 연속적으로 변하고, 서로 다른 입력이 항상 서로 다른 소리로 들리는 것도 아니기 때문임.

1. 샘플링(Sampling)

VSL Synchron Concert D-274는 실제 피아노를 여러 타건 세기와 주법, 마이크 위치로 녹음한 샘플링 가상악기임. 현재 제품 정보에 적힌 샘플 수는 Standard Library 99,735개, Full Library 219,417개임.

원글처럼 88건반 × 건반당 4,000샘플 × 마이크 위치를 곱해 총량을 만들면 안 됨. 예전 제품 설명의 건반당 샘플 수와 현재 페이지의 전체 Sample Amount는 계산 기준이 명확히 연결돼 있지 않음. 서로 다른 기준의 홍보 수치를 다시 곱하지 말고 현재 제조사가 밝힌 전체 수량만 쓰는 편이 안전함.

앞에서 센 건반 조합 수와 제품의 샘플 수를 나눠 샘플링의 재현율을 계산할 수도 없음. 하나의 샘플이 한 가지 건반 조합만 담당하는 구조가 아니며, 공감 공명과 페달 반응은 별도 샘플과 실시간 엔진 처리로 보완하기 때문임.

Synchron Pianos의 공감 공명은 조용히 눌러 둔 건반과 뒤에 친 음의 관계를 재현하며 가까운 마이크 신호에 적용됨. 기본값은 꺼져 있고, 이 기능을 켜면 프로세서 사용량이 늘어날 수 있음. 반페달은 연속식 CC64를 받는 페달이 있어야 작동함.

2. 모델링(Modeling)

모델링은 해머와 현, 향판, 페달의 구조를 수식으로 만들고 현재 연주 상태에 맞춰 공명을 계산함. 이미 눌린 건반과 댐퍼 위치가 달라지면 뒤에 들어오는 음의 반응도 바꿀 수 있음.

모델링도 현실의 모든 요소를 계산하지는 않으며 결과가 완벽하다고 볼 수 없음. 계산량과 음질은 내부 샘플레이트, 폴리포니, 오디오 버퍼와 컴퓨터 성능에 따라 달라짐. M2 이상에서 언제나 CPU 10% 이내로 동작한다는 수치는 확인할 근거가 없어 제외함.

현재 Pianoteq에는 악기의 상태와 음별 편차를 조절하는 Condition과 Random seed 같은 항목이 있음. 이 기능은 8 이전 버전에도 있었으므로 Pianoteq 8에서 새로 생겼다고 볼 수는 없음. 자연스럽게 들리는지는 모델과 설정, 연주 방식에 따라 달라짐.

피아노는 피타고라스에서 시작해 피티코라스로 끝나는 것 같음.

4. 샘플링과 모델링 믹싱

지금까지의 내용을 보면 샘플링 음원으로 직접음을 만들고 모델링 음원으로 공명을 보충하는 방법을 생각할 수 있음. 실제로 이런 시도와 사례가 있으며, 아래 파일은 VI Labs Modern D를 주 음원으로 쓰고 Pianoteq 8을 보조한 예제임.

🔗 Modern D + Pianoteq 예제 파일

https://drive.google.com/file/d/1296ynhUD5oULGVRaZYGz6A57LmC8ZFEm/view?usp=drivesdk

파일의 구조는 아래와 같음.

[MIDI 입력]

• 트랙 1: VI Labs Modern D(UVI Workstation) — 실제 피아노 음색 담당, 샘플 기반
• 트랙 2: Pianoteq 8 — 공감 공명과 릴리즈 같은 성분을 보조

연주의 중심 소리는 Modern D에서 나오고, Pianoteq은 같은 MIDI와 페달 정보를 받아 공명 반응을 작게 섞는 방식임. 샘플 피아노의 어택과 마이크 질감을 살리면서, 현재 눌린 건반과 페달 상태에 따라 달라지는 모델링 반응을 더하려는 구성임.

Modern D 자체에도 34,615개의 샘플과 완전 샘플 기반의 공감 공명·페달 공명, 반페달, 리페달, 음별 릴리즈가 들어 있음. Pianoteq을 더하는 작업은 Modern D에 없는 공명을 단순히 채우는 과정이 아님. 서로 다른 두 공명 엔진을 겹치는 실험에 가까우며, 설정에 따라 울림이 과해지거나 릴리즈가 중복될 수 있음.

VSL과 Pianoteq으로 구현할 때도 단순히 두 피아노를 같은 음량으로 겹치기보다 VSL을 중심에 두고 Pianoteq의 직접음이 최대한 덜 들리도록 조절해야 함. Pianoteq의 외부 오디오 입력은 8에서 공식적으로 추가된 기능이지만, 공명 성분만 별도 출력하는 방식과 플러그인 연결법은 버전과 DAW에 따라 다름.

DAW가 Pianoteq 플러그인의 외부 오디오 입력을 받을 수 있다면 VSL 오디오로 Pianoteq의 공감 공명을 구동할 수 있음. Cubase처럼 이펙트로 불러오는 호스트도 있고 Logic처럼 사이드체인으로 연결하는 호스트도 있음. 이 공식 기능으로 확인되는 대상은 공감 공명이며, 외부 음원에 맞는 릴리즈·듀플렉스·향판 성분까지 모두 자동으로 분리해 준다고 볼 수는 없음. 입력 연결을 지원하지 않는 DAW에서는 하나의 MIDI를 두 악기에 보내는 병렬 방식으로 구성함.

Pianoteq의 공명 소리는 음소거 상태에서 조금씩 올리는 편이 좋음. 별개의 피아노가 한 대 더 들리지는 않지만 빼면 울림이 달라지는 정도를 찾음. -18~-30dB 같은 고정값은 음원과 프리셋마다 결과가 달라 기준으로 삼을 수 없음.

보조 트랙을 켜면 전체 음량이 커지는 것만으로도 소리가 좋아진 듯 느끼기 쉬움. 켠 상태와 끈 상태의 체감 음량을 먼저 맞춘 뒤 번갈아 들어야 공명 반응이 실제로 나아졌는지 판단할 수 있음.

저역이 부풀면 공명량을 먼저 줄이고 필요한 범위에만 EQ를 씀. 100~200Hz 아래를 무조건 잘라 내면 저음 현의 공명까지 사라질 수 있음.

Pianoteq을 무조건 2~5ms 늦추는 식의 고정값도 피하는 편이 좋음. 공명은 별도의 딜레이 효과가 아니라 현과 향판이 연주와 함께 반응하며 성장하고 감쇠하는 현상임. 위상을 억지로 맞추기보다 두 악기의 직접음이 겹쳐 어택이 두 번 들리는지 먼저 확인함.

세팅이 끝난 뒤 실시간 연산이 부담되면 Pianoteq 보조 트랙을 오디오로 바운스해 Modern D 위에 얹을 수 있음. 이때는 리버브와 딜레이를 빼고 공명 신호를 먼저 확인하는 편이 조절하기 쉬움.

샘플링은 실제 피아노의 어택과 음색, 마이크 질감을 담는 데 강함. 모델링은 현재 눌린 건반과 페달 위치, 앞에서 울리던 현의 상태를 이어서 계산하기 좋음. 현대의 샘플 음원도 공명 스크립트와 실시간 계산을 쓰고, 모델링 음원도 임펄스 응답과 후처리를 함께 사용하므로 실제 제품은 두 방식 사이의 연속선에 가까움.

내 생각에는 한 음의 음색 차이보다 페달을 움직였는데 공명이 맞지 않거나, 눌린 건반과 관계없는 현이 울리거나, 릴리즈가 직전 연주 상태와 이어지지 않을 때 더 빨리 어색함을 느끼게 됨. 모델링은 이런 상태 변화를 매 순간 계산할 수 있다는 장점이 있음.

장기적으로는 실제 피아노를 측정한 데이터와 샘플, 실시간 물리 모델링, 마이크와 악기의 질감을 보완하는 IR을 함께 쓰는 형태로 합쳐질 가능성이 높다고 봄. Modern D와 Pianoteq을 섞은 예제도 이 방향을 개인이 DAW에서 시험한 사례로 볼 수 있음.

이 글에 관련해 의견을 나누기 위해 dcinside digital piano gallery에도 게시하고 있습니다. 질문이나 토론은 갤러리를 방문해주세요.