AI에 넣을 데이터 정리법: 엑셀 중복 제거와 TRIM 함수, 지나친 정리가 역효과인 이유

핵심 요약
중복·오타·불필요한 공백처럼 명백한 오류는 엑셀의 중복된 항목 제거와 TRIM·CLEAN 함수로 먼저 정리하고, 목적과 상관없는 완벽주의 정리는 멈추는 것이 AI에 쓸 데이터를 다루는 기본입니다.

 

폴더 하나에 '보고서_최종.xlsx', '보고서_진짜최종.xlsx', '보고서_최종_v3.xlsx'가 뒤섞여 있고, 어느 것이 진짜 최신본인지 본인도 헷갈리는 순간이 있습니다.

 

이렇게 정리되지 않은 파일과 데이터를 그대로 챗GPT 같은 AI에 맡기면 결과도 뒤죽박죽이 되기 쉽습니다. IT 전문 매체 CIO는 'AI를 위한 데이터 관리' 기사에서 깨끗한 데이터의 중요성을 짚으면서도, 지나치게 다듬으면 오히려 쓸모 있는 정보가 사라진다고 지적했습니다. 아래에서는 엑셀에서 중복과 공백을 걷어내는 기본 방법과, 어디까지 정리하면 되는지 기준을 함께 정리합니다.

 

 

1. 지저분한 데이터가 AI를 헤매게 하는 이유

AI는 입력된 데이터를 기준으로 답을 만듭니다. 같은 내용이 조금씩 다르게 적힌 사본이 여러 개 섞여 있으면, 어떤 값이 맞는지 판단할 근거가 흐려집니다.

 

CIO 기사에 소개된 한 사례에서는 기존 프로젝트의 동일한 사본이 수백 개나 있었지만 무엇이 중요한지 구분할 방법이 없었다고 합니다. 또 다른 사례에서는 제품 데이터베이스의 무게 입력란에 일련번호가 들어가는 바람에 장난감 하나가 5톤으로 기록되기도 했습니다. 이런 값이 그대로 분석에 쓰이면 엉뚱한 결과로 이어집니다.

 

많은 기업이 보유한 데이터의 상당 부분을 제대로 활용하지 못한다는 지적도 같은 맥락입니다. 데이터가 흩어져 있고 형식이 제각각이면, 사람이든 AI든 쓰기 어렵습니다.

 

2. 엑셀에서 중복과 공백부터 정리하기 (중복된 항목 제거, TRIM)

가장 먼저 할 일은 명백한 중복과 불필요한 공백을 걷어내는 것입니다. 엑셀에서는 리본의 데이터 탭에서 중복된 항목 제거를 누르면 완전히 같은 행을 한 번에 지울 수 있습니다. 눈에 보이지 않는 앞뒤 공백이나 단어 사이 여러 칸의 공백은 TRIM 함수로 정리합니다.

=TRIM(A2)
=CLEAN(A2)

 

TRIM은 단어 사이 한 칸만 남기고 나머지 공백을 없애고, CLEAN은 줄바꿈처럼 눈에 안 보이는 제어 문자를 지웁니다. 중복 여부만 표시하고 싶을 때는 COUNTIF를 씁니다.

=COUNTIF($A$2:$A$100, A2)>1

 

이 수식은 같은 값이 두 번 이상 나오면 TRUE를 돌려줍니다. 중복을 지우지 않고 고유한 값만 뽑고 싶다면 UNIQUE 함수를 쓸 수 있는데, 이 함수는 마이크로소프트 365와 엑셀 2021 이상에서만 동작합니다.

=UNIQUE(A2:A100)

입력 값(A2)	수식	결과
서울·····(뒤에 공백)	=TRIM(A2)	서울
김··영··희(사이 두 칸)	=TRIM(A2)	김 영 희
사과(목록에 2회)	=COUNTIF($A$2:$A$100,A2)>1	TRUE

 

주의할 점은 중복된 항목 제거가 되돌리기 전까지 원본을 바꿔 버린다는 것입니다. 작업 전 사본을 따로 저장하고, 어떤 열을 기준으로 중복을 판단할지 먼저 정하는 편이 안전합니다.

 

3. 지나치게 정리하면 오히려 신호가 사라진다

CIO 기사의 핵심은 '지나친 깨끗함은 더러움만 못하다'는 경고입니다. 모든 데이터를 반듯하게 다듬다 보면, 실제로는 의미가 있는 값까지 지워 버릴 수 있다는 것입니다.

 

스탠퍼드대 의대의 악사이 스와미나탄은 "한 사람의 쓰레기가 다른 사람의 보물일 수 있다"고 말했습니다. 음수 가격이나 200세가 넘는 나이처럼 불가능한 값은 안전하게 고쳐도 되지만, 튀는 값이라고 해서 무조건 이상치로 보고 지우면 진짜 신호를 잃을 수 있습니다.

 

도미노 데이터 랩의 켈 칼슨은 말끝을 흐리거나 한숨, 망설임 같은 표현을 기계적으로 지우는 것을 예로 들었습니다. 통화 기록에서는 이런 부분이 구매 의향을 읽는 단서가 되기도 합니다. 피싱 메일의 어색한 오타나 문법 오류도, 그대로 둬야 가짜를 가려내는 근거가 됩니다.

 

4. 어디까지 정리할지 정하는 기준

정리의 목표는 '완벽한 데이터'가 아니라 '쓸 목적에 맞는 데이터'입니다. 칼슨은 깨끗한 데이터란 늘 사용 목적에 따라 상대적이라고 설명했습니다. 같은 직원 명부라도 급여 처리에 쓸 때와 사내 안내 메일에 쓸 때 요구되는 품질이 다릅니다.

 

비용도 따져야 합니다. 컬럼비아대 겸임교수 하워드 프리드먼은 완벽한 데이터를 얻는 데 25만 달러가 드는 경우와, 몇 시간과 수천 달러로 모델 가치의 90%를 얻는 경우를 비교하며, 남은 10%를 위해 큰돈을 더 쓰는 것은 그만한 가치가 없을 수 있다고 했습니다. 정리에 드는 수고가 그 데이터로 얻을 이득보다 크다면 멈추는 편이 낫습니다.

 

파일 이름 규칙을 정해 두는 것도 방법입니다. '최종', '진짜최종' 대신 '2026-10-06_보고서_v1'처럼 날짜와 버전을 정해진 형식으로 붙이면, 나중에 사람도 AI도 최신본을 찾기 쉽습니다. 한 번에 모든 데이터를 연결하기보다 믿을 수 있는 최근 자료부터 조금씩 늘려 가며 문제가 생기는 지점을 확인하는 방식이 안전하다고 전문가들은 조언합니다.

 

정리의 순서는 단순합니다. 중복·공백·명백한 오타처럼 누가 봐도 잘못된 값은 엑셀에서 먼저 걷어내고, 목적과 상관없는 완벽주의는 접습니다. 튀는 값은 지우기 전에 그것이 오류인지 신호인지부터 구분합니다.

 

지금 쓰는 엑셀 파일에서 중복된 항목 제거와 TRIM부터 적용해 보고, 파일 이름에 날짜와 버전 규칙을 붙이는 것으로 시작해 보시기 바랍니다.

 

참고 자료

• 지나친 깨끗함은 더러움만 못하다?!··· AI 위한 데이터 관리 체크포인트 - CIO

 

※ 더 보기

엑셀 빈칸 없애기 함수: 효율적인 데이터 정리 방법

제미나이로 보고서 썼다가 반려? AI 업무 활용 똑똑하게 하는 법 (표절/검증 통과 꿀팁)