비디오: [ë¤ìë³´ë 맥ìë]ì¤í°ë¸ì¡ì¤ ì(å¼) í리ì í ì´ì ìê³ëª (십월 2024)
어제 블룸버그 엔터프라이즈 기술 서밋 (Bloomberg Enterprise Technology Summit)에서 내게 인상을 준 한 가지는 새로운 방식으로 데이터를 처리하는 데 중점을 두었습니다. 즉, 종종 "빅 데이터"를 다루는 것입니다.
일부 대화는 빅 데이터의 가치와 그것이 실제로 "조 달러의 기회"인지 여부를 다루는 반면, 다른 대화는 이러한 새로운 기술을보다 광범위하게 배치하는 데있어 개별 조직과 업계 전체가 직면 한 특정 과제를 처리했습니다.
Bloomberg LP의 Bloomberg Enterprise Solutions 글로벌 책임자 인 Gerard Francis는 회사가 할 수있는 가장 중요한 일은 "데이터를 사용하여 데이터의 가치를 자본화하고"데이터의 액세스, 품질 및 흐름에 집중하는 것입니다. 조직 내 데이터. 이후 패널에서는 데이터를 다루는 새로운 도구와 데이터를 다루는 사람을 저장, 관리 및 찾는 데있어 특정 문제에 대해 많은 이야기가있었습니다.
MongoDB의 회장 겸 공동 창립자 인 Dwight Merriman은 엔터프라이즈 트렌드에 대한 일반적인 패널에서 애플리케이션 트랙의 데이터 계층에 "25 년 동안 가장 큰 혼란과 변화가 있었다"고 말했다. 그는 기업들이 관계형 데이터베이스를 25 년 이상 사용해 왔으며, 스택에서 가장 오래된 기술을 만들어 냈다고 말했다. 그러나 이제는 Hadoop과 같은 파일 기반 스토리지 및 새로운 데이터베이스 기술 ("NoSQL"로 그룹화 됨)과 관련된 상황이 발생합니다. 그는 빅 데이터는 "빅"이 아니라 데이터의 형태, 데이터 유형 및 실시간 데이터 처리로의 전환이라는 점을 지적했습니다.
Google의 최고 정보 책임자 Benjamin Fried는 대부분의 기업에 "빅 데이터"문제가 없다는 데 동의했습니다. HR 데이터 및 재무 데이터와 같은 많은 데이터 세트는 그리 크지 않다고 그는 말했다. 중요한 것은 데이터를 올바르게 처리하는 데 필요한 유연성입니다.
어쨌든 빅 데이터 란 무엇입니까?
유연성은 데이터 크기만큼 중요하다는 개념이 하루 후반에 다른 패널에 반영되었습니다. 거기에서 참가자들은 회사가 오랫동안 데이터가 많은 응용 프로그램을 다루고 있다는 데 동의했지만 최근 규모가 바뀌 었습니다. 예를 들어, Neustar의 수석 부사장 겸 최고 기술 책임자 인 Mark F. Bregman은 일부 회사는 현재 가치있는 것으로 기대하기 위해 "모든 것을 저장"하고 있다고 지적했습니다.
MarkLogic의 CEO 인 Gary Bloom에 따르면 "Big은 복잡성으로 더 잘 정의됩니다." 그는 많은 소위 "빅 데이터"응용 프로그램에는 많은 다른 종류의 데이터가 포함되어 있지만 "빅 데이터"응용 프로그램에서 일반적으로 듣는 볼륨은 아닙니다.
그는 날씨 데이터, 공항 데이터, 지리 공간 데이터, 비행 데이터, 항공사 예약 데이터 및 소셜 데이터를 결합한 항공 교통 사례를 인용했습니다. 그는 이기종 데이터를 다루는 것은 전통적인 관계형 데이터베이스와는 실제로 어려운 일이며, MongoDB의 Merriman의 초기 의견은 메인 프레임에서 관계형 데이터베이스의 시대로 이동 한 이후 "25 년 만에 데이터베이스의 첫 번째 세대 전환"이었다고 언급했습니다.
그는 많은 사람들이 소셜 미디어 데이터에 대해 이야기하지만 실제로 활용할 수있는 무언가를 갖기 위해서는 다른 데이터와 결합되어야한다고 지적했습니다. 이 데이터를 결합하는 것은 "실제 가치"입니다.
물론 일부 응용 프로그램에는 많은 정보가 포함되어 있으며 Bregman은 이질성이 한 요소 일 뿐이라고 말합니다. 그는 하루에 8TB의 정보를 쉽게 생성 할 수있는 DNS 데이터와 이러한 정보를 Hadoop에 저장해야한다는 DNS 데이터를 인용했습니다. Bregman과 다른 사람들은 "데이터 자본화"와 관련하여 실제 가치는 원시 데이터가 아니라 사용할 수있는 것이 될 때 분석에 있다고 언급했다. 패널의 다른 사람들은 동의했다.
스트림베이스의 마크 팔머 (Mark Palmer)는 많은 양의 데이터를 스트리밍 분석과 결합하는 것이 많은 애플리케이션에서 중요하다고 말했다. 전통적인 분석과 실시간 분석을 결합하여 창출 할 수있는 추가 가치에 대해 이야기했습니다.
그러나 그는 데이터의 복잡성이 문제라는 데 동의했다. 그는 Tibco (현재 Streambase를 소유하고 있음)를 운영하는 Vivek Ranadivé가 어떻게 기술이 어떻게 팬의 경험을 향상시킬 수 있는지 알아 내기 위해 농구 팀을 구입했는지 언급했습니다. 그는 다시 트위터 스트림에서 시작하여 다른 종류의 데이터를 활용하는 "다른 유형의 데이터 매시"에 대해 이야기했습니다.
블룸은이 모든 것이 애플리케이션에 달려 있으며 "대기 시간은 보는 사람의 눈에 달려있다"고 말했다. 일부 응용 프로그램은 데이터베이스에 도달하기 전에 데이터를 분석해야하지만 다른 응용 프로그램은 그렇지 않습니다.
Bregman은 컴퓨팅 리소스를 이동하기가 아니라 데이터를 이동하기가 점점 더 어려워지는 문제를 제기했습니다. 그는 많은 애플리케이션에서 "잠금"이 데이터의 위치라고 지적했다. 퍼블릭 클라우드에 데이터를 저장하면 이동하기가 매우 어렵습니다. 그 결과 많은 조직이 자신의 위치에 방대한 양의 데이터를 저장하고 컴퓨팅 기능을 위해 다른 제공 업체로 이동할 수 있기를 원한다고 그는 말했습니다. MarkLogic의 Bloom에서 한 용어를 빌려서 조직에 방대한 양의 데이터를 보관하는 장소로 "데이터 센터 데이터 센터"가 필요한 방법에 대해 이야기했습니다.
빅 데이터는 '조 달러 기회'입니까?
다른 패널은 MediaTech Capital Partners의 관리 파트너 인 Porter Bibb의 의견을 반영하여 빅 데이터로 인한 기회와 과제에 대해 논의했습니다. Bibb은 새로운 기술을 사용하는 기업들에게 실제로 1 조 달러 이상의 혜택이 있다고 말했다. 그는 현재까지 "이 기술이 제공하는 잠재력을 활용하기 시작하지도 않았다"고 말했다.
Bibb은 조직이 데이터 전략을 비즈니스 전략에 맞추는 것이 얼마나 중요한지에 대해 이야기했으며 대부분의 기업 및 정부 시스템이 잘못 정렬 될까 걱정했습니다.
첫 번째 세션에서 Andreessen Horowitz의 Scott Weiss는 "Hadoop은 극저온 저장과 같습니다."라고 Bloomberg Link의 Jason Kelly 중재자는 처음 Hadoop 제작자 중 한 사람인 Cloudera 수석 건축가 Doug Cutting에게 다음과 같이 말했습니다. 그.
하둡은 사람들이 더 많은 데이터를 처리 할 수있게 해주 었다고 말했다. 그는 조직이 테이프에서 데이터를 가져 와서 온라인에서 사용 가능하게 만들고 있다고 말했다. 고객은 "활성 아카이브"에서 90 일 간의 데이터 작업에서 5 년 또는 10 년의 데이터로 이동하고 있습니다.
이 패널에서이 모든 데이터를 다루는 여러 가지 특정 문제가 다시 제기되었습니다. Snaplogic CEO 인 Gaurav Dhillon은 "데이터 중력"에 대해 이야기하면서 Hadoop의 온 프레미스 데이터를 클라우드로 옮기는 것은 이치에 맞지 않습니다. 그러나 동시에 클릭 스트림 분석과 같은 데이터가 클라우드에 있으면 온 프레미스로 이동하는 것은 의미가 없습니다. 결과적으로, 그는 데이터 이동에서 "국경 간 기회"가 매우 적다는 것을 알았습니다.
Cutting은 실제로 데이터 과학자가 부족하다고 믿지 않았다고 말했다. 그는 수학과 비즈니스를 이해하는 사람들이 많지만 도구 만 가지고 있지 않다고 말했다. 그는 도구의 기본 사항과 몇 주 안에 수행하는 작업을 배울 수 있지만 비즈니스를 이해하는 데는 몇 년이 걸립니다. 그러나 그것을 이해하는 사람들이 많이 있습니다.
Dhillon은 또한 어떤 정보를 어디에 저장할 수 있는지에 관한 법률에 대한 우려를 반영했습니다. 그는 일부 수직 시장에서는 정보를 온-프레미스에 저장해야하지만 데이터를 원산지 국가 밖으로 옮기지 않아야하는 등의 문제에 대해 걱정하고 있다고 말했습니다. 이 중 상당수는 스노 든 계시와 데이터 유출과 같은 것들에 대한 과잉 반응이며, "제정에 대한 서두름은 결코 좋지 않다"고 지적했다.
Snowden 및 Target 위반으로 인해 고객이 데이터를 두려워하는 것에 대해 걱정하는지 물었습니다. Cutting은 많은 사람들이 걱정하고 있다고 걱정했습니다. 그는 많은 사람들이 기술에 무서워하며 데이터를 사용하지 않는다는 개념으로 고객을 편안하게 만드는 것은 업계의 실패라고 말했다. "당신은 오싹 할 필요가 없다"고 말했다.
결국 Bibb은 최근 Cloudera에 대한 인텔의 투자가 회사의 활동을 검증함에 따라 "큰 문제"라고 제안하면서 밸류에이션에 대한 많은 토론이있었습니다. 그는 Oracle, IBM, Microsoft 및 Amazon과 같은 다른 대기업이 예측 분석 회사를 중심으로 움직이고 있다고 말했습니다. "골드 러쉬가 막 시작되었습니다."
Dhillon은이 평가는 배관 회사가 빅 데이터 시장에 가져 오는 것을 반영한다고 말했다. 그는 이러한 "픽 앤 삽 (pick and shovel)"사람들이 좋은 평가를받는 것을 보게되어 기쁘다 고 말했지만, 그 평가가 시장보다 앞서고 있다는 약간의 두려움이 있다고 말했다.
Bibb는 빅 데이터가 미디어에 과다 노출 될 수 있다고 생각했지만 "c- 스위트"(CEO, CFO 및 기타 최고 경영진을 의미)에서는 과소 노출되었다고 밝혔다."
