최근 생성되는 데이터는 이미지, 영상, SNS 메시지처럼 복잡하고 용량도 클 뿐만 아니라 구조화돼 있지 않아 빠른 검색이나 분석이 쉽지 않은 비정형 데이터들이 다수를 차지하고 있다. 오브젝트 스토리지는 해마다 급격하게 늘어나는 비정형 데이터를 안전하게 저장하고 관리하기 위해 등장한 방식으로, 스토리지 운영에 있어서 근본적으로 다른 접근 방식을 제공한다.

파일 스토리지가 데이터를 파일 규칙에 따라 관리하고, 블록 스토리지가 특정 영역과 구간을 나눠 데이터를 블록 단위로 관리하는 것과 달리, 오브젝트 스토리지는 파일에 대한 구체적인 정보를 포함한 메타데이터를 자동으로 생성·보관·관리하는 것이 특징이다.

기업들이 데이터베이스(DB)를 사용한다는 것은 필요한 정보를 추출해서 활용하기 위해서다. 그러나 비정형 데이터는 전통적인 레거시 스토리지로 관리하기가 어렵다.

영화 파일을 예로 들어보면, 이용자들마다 해당 파일을 저장하는 방식이 다양한 것을 확인할 수 있다. 누군가는 영화 이름을 기준으로 저장할 수 있지만, 다른 사람은 출시연도를 기준으로 저장할 수 있다. 또 다른 사람은 장르, 주연배우 등 자신만의 방법으로 파일을 저장하고 관리하게 된다. 기업에서도 마찬가지다. 제품 중심으로 가든지 날짜를 중심으로 가든지 각각 방법이 다르다.

이렇게 저장된 파일을 찾는 것 또한 일이다. 평소 자주 사용하던 파일이라면 그 위치를 기억해서 쉽게 찾아내겠지만, 그렇지 않은 파일이라면 저장된 위치를 일일이 찾아보거나 검색을 해야 한다. 만약 저장된 파일이 많지 않고 저장소 자체도 크지 않다면 금방 찾게 되겠지만, 개체 수가 많아지고 사이즈 역시 커진다면 이 또한 오랜 시간이 걸릴 수밖에 없다. 결국 어디에 저장하고 어떻게 꺼내야 하는지가 중요한데, 이를 쉽게 하고자 등장한 것이 오브젝트 스토리지다.

메타데이터 활용해 효율적인 데이터 저장·관리
오브젝트 스토리지는 문서, 영상, 이미지 파일 각각에 대한 속성 태그를 별도로 관리할 수 있는데, 파일을 저장할 때 오브젝트 스토리지에서 자동으로 속성 값을 만들어 해당 파일과 메타데이터를 생성해 함께 관리하는 형태로 작동한다.

이렇게 되면 비정형 데이터라도 메타데이터를 이용해 신속한 파일 검색·분석이 가능해져 인사이트를 얻거나, 링크 주소를 통한 파일 공유 등 새로운 서비스를 할 수 있게 된다.

스토리지 저장장치에서 오브젝트는 '파일+시스템 메타데이터+사용자 메타데이터'로 구성돼 있으며, 비정형 데이터에 DB와 같은 정형성을 부여함으로써, 훨씬 많은 양의 콘텐츠를 보다 효율적이고 지능적인 방식으로 저장·관리할 수 있다.

오브젝트 스토리지의 개념을 설명하기 위해 자주 이용되는 비유가 발렛 파킹이다. 일반적인 주차라면 운전자가 직접 주차장에 차를 대고 해당 주차장의 위치를 기억했다가, 차량이 필요하면 주차된 위치에 가서 이용하는 방식이다.

그러나 발렛 파킹은 담당자에게 키를 넘겨주고 확인 종이만 받으면 끝이다. 차량은 발렛 파킹 담당자가 알아서 주차한다. 차를 회수할 때도 담당자에게 확인 종이만 전달하면 발렛 파킹 담당자가 운전자에게 차를 전해준다.

또 다른 예로 스마트폰을 들 수 있다. 스마트폰으로 직접 사진을 찍기도 하지만 인터넷에서 사진을 다운받기도 하고, 친구가 메신저를 통해 보내준 사진을 받기도 한다. 이들 사진은 스마트폰 저장소 내 각각 다른 공간에 저장되지만, 사진 앱을 실행시키면 모든 사진들을 앱 내에서 한 눈에 확인이 가능하다.

이처럼 오브젝트 스토리지의 가장 큰 특징은 파일 관리에서의 강점이다. 파일 태그를 객체화시켜 DB없이도 동영상이나 사진 등의 파일을 보관하고 불러올 수 있다. 특히 파일명이 아닌 메타데이터만으로도 DB처럼 검색이 가능하다.

NAS는 단순히 파일을 계층형 디렉토리로 구분해 관리했는데, 이 경우 많은 대용량 비정형 데이터를 효율적으로 관리하는데 한계가 있다. 오브젝트 스토리지는 이러한 문제들을 해결할 수 있으며, 개별 파일에 대한 메타데이터를 자동으로 생성하고 사용자 부가정보를 별도로 추가할 수 있다. 또한 메타데이터가 자동으로 생성돼 데이터 관리 효율성을 높일 수 있고, 별도로 사용자 부가정보를 저장하면 업무 특성에 맞게 파일 관리를 최적화할 수 있다.

EC 기술로 용량 절감…클라우드 환경에 최적
그러나 오브젝트 스토리지가 비정형 데이터 관리에 최적화돼 있다 하더라도 기본적으로 증가하는 데이터를 수용하기 위해서는 그만큼의 저장 공간을 필요로 한다. 아무리 스토리지 비용이 저렴해져도 폭증 수준의 데이터를 수용하기에는 비용과 공간 문제가 발생하게 된다.

기본적으로 오브젝트 스토리지는 SAN 또는 NAS와 달리 별도의 통신 방식 없이 HTTP나 레스트풀(Restful) API를 통해 데이터에 접근하며, 대용량 저장을 위한 스케일-아웃(Scale-Out) 구조로 손쉬운 확장이 가능하다. 이에 더해 이레이저 코드(EC: Erasure Code) 기술로 데이터 용량 절감을 구현, 적은 용량으로도 많은 데이터를 수용할 수 있도록 한다.

EC 코드는 정보 분산 알고리즘으로, 스토리지에 저장된 데이터를 쪼개 논리 디스크에 분산 저장시키는 기술이다. 이때 쪼개진 데이터는 복제된 더미(Dummy)도 포함하고 있기 때문에 일부가 소실되더라도 원 데이터를 이용하는 것에는 문제가 없다. 데이터 자체를 복제해 보관하는 것이 아니라 분할 보관하기 때문에, 실제적으로 소요되는 물리 디스크도 적게 든다는 장점이 있다. 이는 곧 비용 절감뿐만 아니라 데이터 가용성을 높이는 역할까지 수행한다.

그뿐만 아니라 오브젝트 스토리지는 멀티테넌시(Multi-Tenancy) 기능이 제공되기 때문에 여러 사용자 그룹의 데이터를 별도로 운영할 수 있다.

이 같은 특징들을 보면 오브젝트 스토리지는 클라우드 시스템에 최적화돼 있다는 것을 확인할 수 있다. 실제로 오브젝트 스토리지를 가장 잘 활용하고 있는 곳은 클라우드 서비스 업체들이다. 아마존웹서비스(AWS), 마이크로소프트 애저(MS Azure) 등은 이미 오브젝트 스토리지로 서비스를 제공하고 있으며, 페이스북, 카카오톡 등 콘텐츠 서비스 업체들도 고객들의 대용량 비정형 데이터를 수용하고자 오브젝트 스토리지를 구축해 서비스하고 있다.

비정형 데이터 분석 환경 구현
오브젝트 스토리지는 확장성이 뛰어나면서도 고성능, 고효율 및 고가용성이 요구되는 기업 환경에서 주로 활용된다. 따라서 클라우드 인프라 워크로드, 리치 미디어 및 아카이브 스토리지 분야에 매우 적합하다. 또한, 대규모 데이터 세트 및 아카이브 데이터의 효율적인 관리, 비디오 콘텐츠 배포, 빅데이터 워크로드를 위한 로그 아카이브 및 IoT 워크로드 분야에서도 많이 도입되고 있다.

오브젝트 스토리지 기술이 출시된 것은 이미 10여년도 더 됐지만, 최근 들어 비정형 데이터 분석을 위한 솔루션으로 부상하고 있다.

기업들은 데이터센터에 저장하는 데이터의 아키텍처에 맞춰 데이터센터를 설계해 왔으며, 대부분 정형 시스템 환경에서 데이터를 관리했다. 이러한 정형 데이터 운영을 위한 기반 인프라로 고성능·복원성에 대한 요구사항을 충족시키기 위해 블록 스토리지를 사용했다.

그러나 비정형 데이터의 양이 급격하게 늘어나고 있는 지금, 기업들은 기존의 블록 스토리지 기반의 정형 시스템에서 DB의 잦은 교체 및 성능 저하 문제를 해결해야하는 문제에 처했다. 예를 들어 웹 기반 협업 플랫폼에서는 점점 더 많은 수의 사용자들이 비정형 데이터 파일을 업로드하기에 DB의 용량이 매우 빠른 속도로 포화됐으며, 이는 파일 부하로 인한 시스템 성능 저하를 비롯해 더 많은 DB 라이선스를 취득해야 하는 결과를 낳고 있다.

파일 계층 또는 블록을 규정하는 다른 스토리지 시스템과 비교해 오브젝트 스토리지 플랫폼은 파일을 플랫(Flat) 구조로 동등하게 배치해 저장하므로 효율적인 고성능을 제공한다. 아울러 파일 단위의 정책 기반 관리를 통해 불필요한 데이터의 복제 또는 보존 기간이 만료돼 필요 없게 된 파일을 자동으로 정리해 줌으로써 스토리지 관리를 위한 인원과 절차를 간소화할 수 있다.

이러한 오브젝트들은 인터넷 기반의 HTTP 프로토콜을 포함한 산업 표준 프로토콜을 활용해 접근 가능하며, 인터넷 프로토콜로 언제 어디서든 간단한 설정만으로 데이터를 이동시키고 저장할 수 있다. 결과적으로 오브젝트 스토리지는 비정형, 반정형, 정형 데이터를 포함한 모든 형태의 데이터를 통합한 데이터 레이크(Data Lake) 구현이 가능해 기업이 빅데이터 분석을 할 수 있는 환경을 구축하도록 돕는다.