▲ 마이크로스트레티지코리아 프리세일즈한인상 이사     ©대한금융신문

최근 상상조차 하기 어려웠던 데이터들이 쏟아지고 있다.

데이터웨어하우스(DW), 실시간 센서 데이터, 공간정보 등이 새로운 이슈로 떠오르고 소셜네트워킹서비스(SNS)와 모바일을 통해 기업과 고객이 공유하는 데이터가 점차 폭증하고 있다. 데이터량은 테라바이트 수준을 넘은지 오래며 이미 페타바이트 시대로 접어들고 있다. 본격적인 빅데이터(Big Data) 시대로 접어든 것이다.

기업들은 모든 비즈니스 부문에서 조 단위 바이트의 데이터를 저장하고 있으며 이 데이터에는 엄청난 가치의 소비자 정보와 시장 정보가 포함돼 있다. 빅데이터는 이 시대 기업들에게 새로운 기회이자 위기가 되고 있다. 빅데이터를 효과적으로 관리한다면 엄청난 정보의 보고를 자본화할 수 있지만 반대의 경우 빅데이터 관리 부재로 인한 엄청난 손해를 감수해야 한다.

빅데이터를 위한 여러 신기술과 솔루션들이 시장에 소개되고 있는 지금 이를 효과적으로 분석·관리할 수 있는 방법과 기술은 무엇일까? 해답은 ‘인메모리(In-Memory)’ 기술이라고 본다.

아직도 대부분 기업들의 분석 데이터들은 전통적인 디스크 방식으로 저장돼 있기 때문에 폭증하는 데이터에 대한 느린 응답속도가 가장 큰 문제점으로 지적되고 있다. 이는 궁극적으로 생산성 저하로까지 연결될 수 있다.

전통적인 BI 기술이 디스크에 저장된 데이터를 대상으로 한다면 인메모리 기술은 메모리상에 색인을 로드해 필요한 모든 정보를 색인을 통해 빠르게 검색하기 때문에 검색시간을 크게 줄일 수 있다. 이 기술을 적용하면 사용자의 불만인 응답속도 문제를 해소하고 원하는 결과를 빠른 속도로 얻을 수 있으며 셀프서비스 기능을 통해 현업 사용자들이 스스로 데이터에 기반한 분석과 의사결정을 내릴 수 있다.

마이크로스트레티지의 BI 솔루션 ‘마이크로스트레티지 9(MicroStrategy 9)’도 이러한 인메모리 기술 및 멀티소스 기능을 제공하고 있다. 인메모리 가속화 엔진을 통해 미리 산출된 계산과 결과값을 입력함으로써 실시간 쿼리 성능을 크게 높였으며 이는 응답속도가 빨라야 하는 모바일 애플리케이션이나 엑스트라넷 등 BI 애플리케이션에 상당한 장점으로 작용할 수 있다.

기업의 비즈니스 사용자들은 매일, 매주, 매달 비슷한 리포트를 작성하는 경우가 많다. 인메모리 기술은 이러한 리포트 작성 및 분석에 필요한 응답 속도를 10배 가까이 높여주며 비정형 쿼리에 대한 성능을 개선해 3초 미만의 속도로 중요한 리포트 및 분석 결과를 제시해주고 있다.

현재 D램 가격이 1년 전보다 80% 가까이 떨어지면서 인메모리 기술 확산의 걸림돌로 작용했던 메모리 가격 부담도 크게 줄어들고 있다. 인메모리 기술은 기업의 초대용량 데이터를 메모리에 저장하고 수 초 만에 처리함으로써 진정한 실시간(Real Time) 기업을 구현할 수 있도록 해준다. 최근 급증하는 데이터의 신속한 처리, 실시간 기업 실현 요구가 커지고 있는 상황에서 국내에서도 인메모리 방식은 더욱 확산될 것으로 보인다.

올해는 빅데이터 시대가 본격적으로 도래할 것으로 전망된다. 본격적인 빅데이터 시대에 경쟁력을 확보하기 위해선 기업들은 장기적인 관점에서 인메모리 기술과 같은 각 기업에 가장 적합하고 시대적 흐름에 민첩하게 대응할 수 있는 분석 시스템을 빠르게 도입해 적용해야 할 것이다.