측정기 분해능이란? 소수점이 많다고 정확한 측정기는 아닌 이유

측정기 분해능은 측정 시스템이 얼마나 작은 값의 차이를 구분하여 표시하거나 감지할 수 있는지를 이해할 때 중요한 개념입니다.

디지털 측정기를 보면 10.1mm, 10.01mm, 10.001mm처럼 표시되는 소수점 자릿수가 장비마다 다릅니다.

그래서 화면에 소수점이 더 많이 표시되는 측정기가 무조건 더 정확하다고 생각하기 쉽습니다.

하지만 반드시 그렇지는 않습니다.

0.001mm까지 표시되는 측정기라도 실제 값과 지속적으로 차이가 나거나 반복 측정값이 크게 흔들린다면 좋은 측정 결과를 얻기 어렵습니다.

반대로 표시 자릿수는 상대적으로 적더라도 사용하려는 제품 공차와 측정 목적에 충분한 성능을 가지고 있다면 적절한 측정기가 될 수 있습니다.

따라서 측정기를 선택할 때는 표시되는 숫자의 자릿수만 볼 것이 아니라 측정기 분해능과 정확도, 반복성, 측정범위, 제품 공차 등을 함께 확인해야 합니다.

측정기 분해능이란 무엇인가?

분해능은 영어로 Resolution이라고 합니다.

쉽게 말하면 측정 시스템에서 서로 다른 두 값을 얼마나 세밀하게 구분할 수 있는지를 나타내는 개념입니다.

예를 들어 디지털 측정기 A와 B가 있다고 가정해보겠습니다.

측정기	표시 예	작은 변화 표현
측정기 A	10.1mm	0.1mm 단위
측정기 B	10.01mm	0.01mm 단위
측정기 C	10.001mm	0.001mm 단위

표시만 보면 C가 가장 작은 단위까지 구분할 수 있습니다.

NIST의 공학·통계 용어집에서도 계측 분야의 resolution을 측정 시스템에서 의미 있게 해석할 수 있는 유효 자릿수와 관련된 개념으로 설명합니다. NIST

국제 계측용어인 VIM에서도 측정 시스템의 분해능과 단순한 표시장치의 분해능을 구분할 필요가 있음을 설명합니다. 즉 화면에서 숫자가 더 세밀하게 바뀐다는 사실만으로 전체 측정 시스템의 성능을 판단해서는 안 됩니다. BIPM

소수점이 많으면 더 정확한 측정기일까?

이 부분이 가장 중요한 오해입니다.

분해능과 정확도는 같은 개념이 아닙니다.

예를 들어 실제 기준값이 10.000mm라고 가정해보겠습니다.

두 측정기가 다음과 같은 결과를 표시합니다.

구분	측정기 A	측정기 B
표시 단위	0.01mm	0.001mm
기준값	10.000mm	10.000mm
반복 측정값	10.00mm	10.083mm
표시 자릿수	적음	많음

측정기 B는 더 많은 소수점을 표시합니다.

하지만 실제 기준값에서 크게 벗어나 있다면 단순히 자릿수가 많다는 이유로 더 정확하다고 할 수 없습니다.

국제 계측용어 VIM에서는 측정 정확도를 측정값이 측정하고자 하는 참값에 얼마나 가까운지와 관련된 개념으로 정의합니다. jcgm.bipm.org

따라서 다음 두 문장은 다른 의미입니다.

0.001mm까지 표시할 수 있다.

실제 값을 정확하게 측정할 수 있다.

첫 번째는 분해능과 관련된 내용이고 두 번째는 측정 정확성과 관련된 내용입니다.

분해능과 정확도는 무엇이 다를까?

두 개념을 표로 비교하면 이해하기 쉽습니다.

비교 항목	분해능	정확도
주요 의미	작은 값의 차이를 구분하는 능력	실제 값에 얼마나 가까운가
관련 질문	얼마나 작은 단위까지 구분하는가?	측정결과가 실제 값과 얼마나 가까운가?
소수점 자릿수	관련 있음	자릿수만으로 판단 불가
기준값 비교	직접적인 의미는 아님	중요
교정과 관계	별도 확인 필요	기준값과 비교가 중요

측정기 분해능이 좋아도 정확도가 부족할 수 있습니다.

반대로 정확도는 사용목적에 충분하지만 필요 이상의 높은 분해능은 실제 업무에서 큰 의미가 없을 수도 있습니다.

분해능과 정밀도도 같은 개념일까?

정밀도 역시 분해능과 다릅니다.

정밀도는 같은 제품을 반복해서 측정했을 때 결과가 서로 얼마나 가깝게 나타나는지와 관련된 개념입니다.

VIM은 측정 정밀도를 동일하거나 유사한 대상에 반복 측정을 수행했을 때 얻어진 측정값들이 서로 얼마나 잘 일치하는지를 나타내는 개념으로 설명합니다. jcgm.bipm.org

예를 들어 동일한 제품을 다섯 번 측정했다고 가정해보겠습니다.

측정 횟수	측정기 A	측정기 B
1	10.01mm	10.001mm
2	10.01mm	10.084mm
3	10.02mm	9.947mm
4	10.01mm	10.072mm
5	10.01mm	9.958mm

측정기 B는 더 많은 자릿수를 표시하지만 측정값이 크게 흔들립니다.

반대로 측정기 A는 표시 자릿수는 적지만 반복 측정값이 서로 비슷합니다.

따라서 소수점 자릿수와 측정 정밀도를 같은 의미로 보면 안 됩니다.

측정기 분해능이 너무 낮으면 어떤 문제가 생길까?

제품에서 발생하는 작은 차이를 측정기가 구분하지 못할 수 있습니다.

예를 들어 제품의 실제 치수가 다음과 같다고 가정해보겠습니다.

10.01mm

10.03mm

10.04mm

10.07mm

그런데 측정기가 0.1mm 단위로만 표시한다면 여러 제품이 모두 10.0mm 또는 10.1mm처럼 표시될 수 있습니다.

실제로는 제품 사이에 차이가 있는데 측정 시스템이 그 차이를 충분히 보여주지 못하는 것입니다.

이런 데이터를 이용해 관리도나 공정능력을 분석하면 실제 제조공정의 작은 변화를 놓칠 수 있습니다.

제품 공차와 측정기 분해능은 어떤 관계일까?

제품 공차가 작을수록 일반적으로 더 세밀한 측정 시스템이 필요합니다.

예를 들어 다음 두 제품을 생각해보겠습니다.

제품	허용 공차
제품 A	±1.0mm
제품 B	±0.01mm

두 제품에 동일한 측정기를 사용하는 것이 항상 적절한 것은 아닙니다.

제품 A처럼 허용범위가 넓은 경우에는 매우 높은 분해능이 필요하지 않을 수 있습니다.

하지만 제품 B처럼 허용범위가 매우 좁다면 작은 치수 차이를 충분히 구분할 수 있는 측정 시스템이 필요합니다.

따라서 측정기 선정에서 중요한 것은 가장 많은 소수점을 가진 측정기를 고르는 것이 아닙니다.

관리하려는 품질특성과 공차에 적합한 측정기를 선택하는 것입니다.

공차의 10분의 1 규칙은 무조건 지켜야 할까?

현장에서 흔히 측정기 분해능은 제품 공차의 1/10 이하로 선택해야 한다는 말을 접할 수 있습니다.

이를 이른바 10:1 Rule이라고 부르는 경우도 있습니다.

예를 들어 전체 공차폭이 1.0mm라면 0.1mm 이하의 분해능을 가진 장비를 고려하는 방식입니다.

하지만 이 규칙을 모든 측정 상황에 적용되는 절대 법칙으로 이해해서는 안 됩니다.

실제 측정기 선정에서는 제품의 허용공차뿐 아니라 측정불확도, 반복성, 공정변동, 측정방법, 고객 요구사항 등을 함께 검토해야 합니다.

따라서 공차 ÷ 10만 하면 측정기 선정이 끝난다고 생각하기보다 초기 판단을 위한 참고 개념으로 사용하는 것이 적절합니다.

디지털 측정기는 표시값이 많을수록 좋은가?

디지털 측정기는 숫자가 직접 표시되기 때문에 매우 편리합니다.

하지만 화면에 표시되는 마지막 자리까지 실제 측정정보가 충분히 신뢰할 수 있는지는 별도의 문제입니다.

예를 들어 장비가 다음처럼 표시한다고 가정해보겠습니다.

25.12345mm

숫자가 다섯 자리까지 표시되기 때문에 매우 정밀해 보입니다.

하지만 실제 측정 시스템의 반복성이 ±0.05mm 수준이라면 마지막 몇 자리는 실제 제품 차이를 의미 있게 표현한다고 보기 어려울 수 있습니다.

따라서 디지털 장비를 사용할 때는 화면에 표시되는 숫자 전체를 무조건 유효한 정보로 받아들이지 않는 것이 중요합니다.

분해능이 지나치게 높아도 문제가 될까?

높은 분해능 자체가 나쁜 것은 아닙니다.

하지만 필요 이상의 숫자를 사용하면 현장에서 오히려 혼란이 생길 수 있습니다.

예를 들어 제품의 허용범위가 매우 넓은데 측정결과를 불필요하게 0.0001mm 단위까지 관리한다면 작은 환경변화나 측정변동에도 사람들이 과도하게 반응할 수 있습니다.

실제 제품 기능에는 아무런 영향이 없는 작은 차이까지 품질문제로 받아들일 수도 있습니다.

또한 높은 분해능의 정밀 측정장비는 장비 비용과 유지관리, 환경조건 등의 요구수준이 높아질 수 있습니다.

따라서 무조건 가장 세밀한 측정기를 사용하는 것보다 필요한 수준의 장비를 선택하는 것이 중요합니다.

측정기 분해능과 MSA는 어떤 관계일까?

MSA는 측정 시스템이 실제 제품 간 차이를 충분히 구분할 수 있는지를 평가하는 데 중요한 역할을 합니다.

측정기 분해능이 부족하면 서로 다른 제품들이 같은 값으로 기록되는 현상이 나타날 수 있습니다.

예를 들어 제품의 실제 치수가 조금씩 다른데 데이터가 다음처럼 반복된다고 가정해보겠습니다.

10.0

10.0

10.0

10.1

10.1

10.1

측정값이 몇 가지 숫자에만 지나치게 몰려 있다면 측정 시스템의 분해능이 실제 제품변동을 충분히 표현하지 못하는지 확인할 필요가 있습니다.

하지만 분해능이 높다고 MSA 결과가 자동으로 좋아지는 것도 아닙니다.

측정자와 측정방법, 장비 반복성 등 다른 변동요인이 존재하기 때문입니다.

MSA의 전체적인 개념은 앞에서 작성한 MSA란? 측정 시스템을 먼저 검증해야 하는 이유와 연결하면 좋습니다.

측정기 분해능과 Gage R&R은 어떤 관계일까?

Gage R&R은 측정 시스템에서 반복성과 재현성이 어느 정도인지 분석합니다.

분해능이 부족하면 제품 간 실제 차이가 측정 데이터에 충분히 나타나지 않을 수 있습니다.

반대로 분해능이 매우 높아도 측정자가 바뀔 때마다 값이 크게 달라진다면 측정 시스템을 신뢰하기 어렵습니다.

따라서 다음 요소를 함께 봐야 합니다.

항목	확인하는 내용
분해능	작은 제품 차이를 구분할 수 있는가
반복성	같은 조건에서 비슷한 값이 나오는가
재현성	측정자가 달라도 결과가 일관적인가
정확성	기준값과 얼마나 가까운가
교정상태	측정기가 기준과 적절하게 연결되는가

반복성과 재현성에 대한 자세한 내용은 Gage R&R이란? 측정자가 바뀌어도 같은 결과가 나와야 하는 이유에서 확인할 수 있습니다.

측정기 교정과 분해능은 같은 문제가 아니다

교정을 받은 측정기라고 해서 분해능이 자동으로 높아지는 것은 아닙니다.

교정은 측정기의 표시값과 기준값의 관계를 확인하는 활동입니다.

분해능은 측정 시스템이 얼마나 작은 차이를 구분할 수 있는지와 관련된 개념입니다.

예를 들어 0.1mm 단위로 표시되는 측정기를 매우 정확하게 교정한다고 하더라도 0.001mm 단위의 제품 변화를 표현할 수 있게 되는 것은 아닙니다.

반대로 0.001mm 단위로 표시되는 측정기라도 기준값에서 지속적으로 벗어나 있다면 교정이나 상태 확인이 필요할 수 있습니다.

따라서 교정과 분해능은 서로 다른 관점에서 측정기를 평가하는 요소입니다.

측정기 선택 시 무엇을 확인해야 할까?

측정기 선택은 단순히 카탈로그의 Resolution 항목만 비교해서는 부족합니다.

다음 요소를 함께 확인하는 것이 좋습니다.

확인 항목	주요 내용
제품 공차	얼마나 작은 범위를 관리해야 하는가
측정범위	실제 제품 크기를 측정할 수 있는가
분해능	필요한 제품 차이를 구분할 수 있는가
정확도 사양	요구되는 측정수준에 적합한가
반복성	같은 제품을 반복 측정했을 때 안정적인가
측정방법	제품을 일정한 방법으로 측정할 수 있는가
환경	온도·진동 등의 영향을 받는가
교정	필요한 기준과 소급성이 확보되는가
MSA	실제 현장에서 측정 시스템이 적합한가

이런 요소를 함께 확인해야 실제 제조현장에서 사용할 수 있는 측정 시스템을 구성할 수 있습니다.

관리도에서도 측정기 분해능이 중요한 이유

관리도는 시간에 따른 작은 공정변화를 확인하는 도구입니다.

그런데 측정 시스템이 제품의 작은 변화를 구분하지 못하면 관리도에서도 충분한 정보가 나타나지 않을 수 있습니다.

예를 들어 실제 치수가 다음과 같이 서서히 변화하고 있다고 가정해보겠습니다.

10.01mm

10.02mm

10.03mm

10.04mm

10.05mm

측정 시스템이 0.1mm 단위로만 구분한다면 이 변화가 모두 비슷한 숫자로 표시될 수 있습니다.

공정에서 실제 변화가 진행되고 있는데 데이터에서는 그 변화를 늦게 발견할 가능성이 생깁니다.

따라서 SPC와 관리도를 제대로 활용하기 위해서도 측정 시스템이 필요한 수준의 변화를 구분할 수 있어야 합니다.

Cp와 Cpk에도 영향을 줄 수 있을까?

Cp와 Cpk는 측정된 데이터의 산포와 평균을 이용합니다.

측정기 분해능이 충분하지 않으면 실제 연속적인 제품값이 몇 개의 숫자로 뭉쳐 기록될 수 있습니다.

그 결과 실제 공정분포를 충분히 표현하지 못할 수 있습니다.

반대로 측정 시스템 자체의 반복성이 나쁘다면 측정오차가 공정의 산포처럼 나타날 수 있습니다.

따라서 공정능력을 분석할 때는 계산식만 확인하는 것이 아니라 그 계산에 사용한 데이터가 신뢰할 만한지를 함께 확인해야 합니다.

측정기 분해능에서 자주 하는 실수

첫 번째는 소수점이 많이 표시될수록 무조건 더 정확하다고 생각하는 것입니다.

두 번째는 제품 공차를 고려하지 않고 회사에 있는 측정기를 그대로 사용하는 것입니다.

세 번째는 분해능만 확인하고 반복성과 정확성을 확인하지 않는 것입니다.

네 번째는 고가의 측정기이므로 모든 치수에 적합하다고 생각하는 것입니다.

다섯 번째는 측정기 교정을 받았으므로 측정 시스템의 분해능과 MSA를 별도로 검토하지 않는 것입니다.

여섯 번째는 필요 이상으로 높은 자릿수의 측정값을 기록하여 실제로 의미 없는 숫자까지 품질판정에 사용하는 것입니다.

측정기 분해능은 측정 시스템을 판단하는 중요한 요소지만 하나의 숫자만으로 전체 측정성능을 판단해서는 안 됩니다.

측정기 선정의 기본적인 흐름

순서	확인 내용
1	측정하려는 품질특성 확인
2	도면 공차 확인
3	필요한 측정범위 확인
4	필요한 분해능 검토
5	측정기 정확도 및 사양 확인
6	실제 측정방법 검토
7	반복성과 재현성 확인
8	교정 및 소급성 확인
9	MSA를 통한 적합성 평가
10	실제 생산 데이터에 적용

측정기 선택에서 중요한 것은 가장 좋은 사양의 장비를 고르는 것이 아니라 사용목적에 적합한 측정 시스템을 구성하는 것입니다.

측정기 분해능에 대한 자주 묻는 질문

측정기 분해능이 높으면 정확도도 높은가?

반드시 그렇지는 않습니다. 분해능은 작은 값의 차이를 구분하는 능력과 관련되고 정확도는 측정값이 실제 값에 얼마나 가까운지와 관련됩니다.

소수점이 세 자리면 0.001mm까지 정확하다는 뜻인가?

아닙니다. 화면이 0.001mm까지 표시된다는 사실만으로 해당 자리까지 측정 정확도가 보장되는 것은 아닙니다. 장비의 정확도 사양과 반복성 등을 함께 확인해야 합니다.

공차가 작으면 무조건 고분해능 장비가 필요한가?

공차가 작을수록 더 세밀한 측정이 필요할 가능성이 높지만 분해능뿐 아니라 정확도와 측정불확도, 반복성, 측정방법 등을 함께 고려해야 합니다.

측정기 분해능과 교정은 같은 개념인가?

아닙니다. 분해능은 작은 차이를 구분하는 특성이고 교정은 측정기의 표시값과 기준값의 관계를 확인하는 활동입니다.

MSA를 하면 분해능도 확인할 수 있나?

MSA에서는 측정 시스템이 실제 제품변화를 충분히 구분할 수 있는지까지 함께 검토할 수 있습니다. 다만 분해능만으로 MSA 전체의 적합성을 판단할 수는 없습니다.

결론

측정기 분해능은 측정 시스템이 작은 값의 차이를 얼마나 세밀하게 구분할 수 있는지를 이해하기 위한 중요한 요소입니다.

하지만 측정기 화면에 소수점이 많이 표시된다고 해서 자동으로 더 정확한 측정기가 되는 것은 아닙니다.

분해능과 정확도, 정밀도, 반복성은 서로 관련되어 있지만 같은 의미가 아닙니다.

제품 공차가 작다면 작은 제품변화를 구분할 수 있는 측정 시스템이 필요하지만 표시 자릿수만 보고 장비를 선택해서는 안 됩니다.

측정기의 정확도와 반복성, 교정 상태, 측정방법, 사용환경, MSA 결과까지 함께 확인해야 실제 품질판정에 사용할 수 있는 데이터를 얻을 수 있습니다.

결국 좋은 측정은 숫자를 더 많이 표시하는 것이 목적이 아닙니다.

제품과 공정에서 실제로 의미가 있는 차이를 안정적으로 구분하고 그 데이터를 신뢰할 수 있도록 만드는 것이 핵심입니다.

공식적인 계측 용어에서 분해능·정확도·정밀도가 각각 다른 개념이라는 점은 국제도량형국의 VIM 자료에서도 확인할 수 있습니다. BIPM

BIPM 국제 계측용어 VIM 공식 자료