기업이 빅 데이터 시장을 이해하는 방법

기업은 인프라가 얼마나 효율적으로 운영되고 있는지 또는 수집 한 모든 빅 데이터를 얼마나 많이 쌓을 수 있는지에 대해 아무런 소용이 없습니다. 중요한 것은 데이터가 생성하는 분석 및 인텔리전스의 품질입니다.

지난 몇 년 동안 하둡은 데이터 수집, 처리 및 변환과 가장 동의어가되었습니다. 분산 데이터 스토리지 및 처리를위한이 오픈 소스 프레임 워크는 자체 엔터프라이즈 공간을 만들어 모든 주요 클라우드 플랫폼에 통합했습니다. 하둡은 이야기 할 가치가있는 유일한 빅 데이터 기술과는 거리가 멀지 만, 다른 많은 사람들이 만들어 낸 기술이되었습니다.

비즈니스의 문제는 하둡 공간에 배포 및 툴링 옵션이 가득하다는 것입니다. 가트너 (Gartner) 리서치 디렉터 인 Nick Heudecker가 설명했듯이 이들 중 상당수가 동일하게 보입니다. 빅 데이터 및 NoSQL 공간을 포함한 정보 관리에 대한 연구를 수행하는 허 데커는 일반적인 데이터 처리 옵션을 살펴보면 많은 공급 업체가 매우 유사한 기능을 제공한다고 말했다.

시장 세분화

Cloudera, Hortonworks 및 MapR과 같은 3 가지 주요 순수 게임 Hadoop 신생 기업이 있으며 2015 년에 꾸준히 성장했습니다. 전 세계 2, 100-2, 400 개의 하둡 고객. 세 가지 모두 하둡 배포판의 프리 티어 및 엔터프라이즈 티어를 모두 제공하며 각각 ASF (Apache Software Foundation) 배너 아래 프로젝트에 상당한 오픈 소스 기여를합니다.

"우리의 데이터에 따르면 하둡 사용의 44 %가 현재 지불되지 않은 것으로 나타났습니다."라고 Heudecker는 말했습니다. "명확한 리더가 있는가? 나는 그렇게 생각하지 않는다. 그들은 새로운 공간이기 때문에 모두 시장 점유율을 차지하고있다."

지난 몇 개월 동안이 세 가지 간의 경쟁은 실시간 데이터 스트림에서 기계 학습에 이르기까지 사용 사례가있는 오픈 소스 빅 데이터 처리 엔진 인 Apache Spark를 통합하는 창의적인 방법과 데이터 분석 기능에 대한 경쟁으로 이어졌습니다.. MapR은 최근 Hadoop, Spark 기반 스트림 처리 및 분석을 통합하는 "컨 버지 드 데이터 플랫폼"의 일부로 MapR Streams를 발표했습니다. Hortonworks는 메모리 내 Spark 분석을 통해 Hortonworks Data Platform (HDP)에 대한 업데이트를 발표했으며 Cloudera는 One Platform Initiative를 통해 다양한 오픈 소스 Spark 통합과 Spark 교육 클래스를 제공합니다.

허드 커커는 "정보 관리 및 정보 인프라 분야에서 많은 일이 일어나고 있으며, 이것이 전부 하둡 인 것은 아니다"고 설명했다. 스파크의 개발은 아직 초기 단계이지만 스파크의 속도와 메모리 중심의 데이터 처리 모델에는 엄청난 추진력이있다. 스파크는 오늘날 SQL과 매우 유사한 데이터 처리 분야의 또 다른 언어가 될 것이다. 점점 더 많은 회사들이 투자하고 있습니다."

Heudecker는 또한 Big Data에서 클라우드 플레이어의 중요성을 강조했습니다. Hadoop 및 기타 빅 데이터 기술을 기존 IaaS (Infrastructure-as-a-Service) 제품에 통합 한 기술 거인.

AWS (Amazon Web Services)는 클라우드 기반 Hadoop 오케스트레이션에 Amazon Elastic MapReduce (EMR) 서비스를 사용합니다. Microsoft는 Azure 클라우드 플랫폼 내에서 전체 빅 데이터 서비스를 제공하며 SQL 기반 Azure Data Lake 및 Azure Data Analytics와 함께 Apache Hadoop, Spark, HBase 및 Storm을 관리하기위한 HDInsight 서비스에서 Hortonworks와 파트너 관계를 맺고 있습니다. IBM은 Bluemix 클라우드에서 관리 형 Hadoop 및 Apache Spark-as-a-Service와 함께 Hadoop을위한 온 프레미스 IBM Open Platform 오퍼링과 그 위에 실행되는 분석 패키지 인 IBM BigInsights를 제공합니다. 목록이 계속되고 기업은 클라우드에서 더 적합한 사용 사례를 찾습니다.

Heudecker는 "AWS만으로도 약 5, 000 명의 고객이있는 것으로 추산되며 이는 순수 재생 고객 기반의 두 배 이상인 것"이라고 말합니다. "클라우드로 전환 할 경우 얻을 수있는 장점 중 하나는 생태계를 확보한다는 것입니다. IaaS 오퍼링에서 순수한 Hadoop 배포를 얻을 수 있습니다. MapR은 IBM 이외의 모든 클라우드에서 사용할 수 있습니다. 벤더와 클라우드 벤더 중 하나를 선택할 때 클라우드 가용성이 그다지 중요한 요소가되지는 않았습니다."

엔터프라이즈 데이터 전략 선택

Heudecker는 데이터 처리 및 분석 솔루션에 투자 할 때 중소기업 (SMB)과 성장하는 엔터프라이즈 비즈니스 모두에게 어떤 플랫폼이 가장 높은 수준의 서비스를 제공 할 수 있는지 결정한다고 말했다. 가트너에 따르면 기업이 직면 한 가장 큰 과제는 플랫폼을 설치하고 배포 한 후 누가 관리 할 것인지를 파악하는 기술 격차이다.

"기업이 데이터 플랫폼 파트너를 찾고 있다면 데이터 수집을 도와주는 사람은 누구입니까? 분석 응용 프로그램을 구축하는 데 누가 도움이 되겠습니까? 3 명의 순수한 Hadoop-er는 평가 기준이 관리 도구 및 콘솔의 성숙도, 데이터 거버넌스 도구 및 성능."

Hadoop 플랫폼을 선택하는 또 다른 흥미로운 측면은 충성도가 부족하다는 것입니다. 회사는 공간이 얼마나 빠르게 변화하고 있으며 빅 플레이어가 자신을 차별화했는지에 따라 데이터 처리 구성 요소가 여전히 적합한 지 확인하기 위해 6-12 개월마다 자주 Hadoop 플랫폼을 재평가합니다. Heudecker는 자신이 이야기 한 회사의 20 %가 데이터 센터 또는 클라우드에서 여러 Hadoop 배포를 실행하고 있으며, 다른 팀이 선택 플랫폼을 선택하거나 하나의 Hadoop 배포 만 고집하지 않도록 의도적으로 다각화 할 수 있다고 말했습니다.

이러한 다양한 플랫폼 포트폴리오는 디지털 전략에 중점을 둔 가트너 (Gartner) 연구 부사장 겸 Distinguished Analyst 인 Frank Buytendijk가 "정보로서의 자산"이라고 부르는 내용에 반영됩니다. Buytendijk는 자본, 인력, 자재 및 물리적 또는 가상 시설 없이는 사업을 운영 할 수없는 것처럼 정보 없이는 사업을 운영 할 수 없다고 말했습니다.

"우리는 3 가지 흐름의 관점에서 비즈니스를 살펴 보았습니다. 1 차 흐름은 상품, 2 차 흐름은 돈, 3 차 흐름은 상품과 돈이 일치하도록하는 정보였습니다. 이제 대부분의 사업에서는 다른 방식입니다 주요 흐름은 식별 및 구성에서 컨텐츠 마케팅에 이르기까지 정보입니다. 빅 데이터라고 부르든 상관없이 중요한 정보입니다."

"빅 데이터"가 오래되었습니다

Buytendjik은 Big Data를 비즈니스를위한 별도의 기술로 보지 않고 전반적인 디지털 전략 내에서 하나의 주제 나 사고 방식으로 본다고 말했습니다.

Buytendjik은 "빅 데이터 전략을 믿지 않는다"고 말했다. "더 이상 디지털 구성 요소가없는 비즈니스 전략은 없기 때문에 모든 종류의 기술이 중요한 기능을 제공하는 디지털 전략을 가지고 있다고 생각합니다. 여기에는 모바일, 소셜, 클라우드, IoT, 스마트 머신 및 빅 데이터가 포함됩니다."

Heudecker는 "빅 데이터"에 대해 점점 더 이야기 할 것이라고 믿습니다. 이제는 데이터 일뿐입니다. 사업이 이루어지는 방식입니다. 대량의 데이터와 빠른 속도의 데이터는 더 이상 어려운 일이 아닙니다.

허드 커커는 "빅 데이터는 정보와 분석에 의해 다시 한번 더 많이 소비되고있다"고 말했다. "빅 데이터 카테고리는 솔직히 차별화되지 않습니다. 우리는 항상 빅 데이터 시장의 규모에 대해 질문을받습니다. 그 의미는 무엇입니까? 빅 데이터는 실제로 시장이 아니라 개념입니다. 비즈니스의 경우 빅 데이터를 다음과 같이 생각합니다. 이전에 해왔 던 것과 근본적으로 다른 독특하고 특별한 무언가는 실수입니다.이 시점에서 데이터는 정상입니다."