[DB, Oracle] 대용량 csv를 import할 때 데이터가 누락되는 현상

어제 약 3GB의 csv데이터를 옮기는데 이상한 현상이 있었다.

 

Export한 데이터와 import된 테이블의 데이터 row수가 달랐던 것.

 

전체 데이터가 약 1050만건인데,

 

처음에 Import할때는 1040만건이 입력되어 다시 해보니 

 

두번째는 1045만건

 

세번째는 1047만건이 입력됐다.

 

특이한건 데이터의 차이가 정확히 10만, 5만, 3만 이런식으로 만단위였다는 것이다.

 

처음엔 데이터 안에 개행문자가 포함되어 있어서 그런가 싶었는데, 

 

시도 마다 결과가 달라지는것을 보니 다른문제 같았다.

 

우선 데이터를 나눠서 이관했더니 해결됐다.

 

환경은 폐쇄 네트워크망, DB는 Oracle이었고

 

Export, Import 할때 사용툴은 DBeaver에서 UTF-8 인코딩 방식을 사용했다.