NSA의 xkeyscore의 기술

정치가 아닌 테러리스트를 막기 위해 NSA가 사용하는 정부 프로그램 인 XKeyscore의 기술에 잠시 집중한다면 실제로는 정말 가슴이 벅차다. 일부 보고서에 따르면 XKeyscore 프로그램은 최대 410 억 개의 레코드를 처리 할 수 ​​있다고 추정합니다.

XKeyscore의 핵심에는 빅 데이터와 데이터 분석이라는 두 가지 주요 기술 트렌드가 있습니다. 이러한 유형의 기술을 간절히 수용하는 것은 정부 만이 아닙니다. 정보는 가장 인기있는 상품입니다. 다음은 동일한 대용량 데이터 세트를 수집 및 분석하는 회사가 사용하는 데이터와 해당 회사가 해당 데이터를 이동시키는 데 도움이되는 공급 업체의 의견을 기반으로 XKeyscore와 같은 프로그램을 사용하여 기술 사양에 관한 내용을 살펴 봅니다.

놀라운 기술

빅 데이터 란 정보를 수집, 분석 및보고하는 데 전용 기술이 필요하도록 너무 큰 데이터 세트를 수집하는 것을 말합니다. 간단히 말해서 Data Analytics는 해당 정보를 깔끔한 구획으로 분류하여 추가로 조사 할 수있는 프로세스입니다.

이 방대한 데이터 수집 및 분석은 주로 어디에 사용됩니까? 민간 산업에서. 기업이 대량의 데이터에 액세스하고 이동할 수 있도록 도와주는 솔루션 회사 인 Attunity의 마케팅 커뮤니케이션 담당 이사 인 Melissa Kolodziej는 소매 업계에서 기업은 고객의 습관을 분석하기 위해 대량의 데이터를 모두 수집하고 "모두 넣습니다"라고 말했습니다. "이 사람이 샴푸를 구매 한 경우 매장에있는 동안 고객에게 휴대 전화로 관련 쿠폰을 제공 할 수 있습니다." Kolodziej는 기업들이 이러한 대규모 데이터 세트를 분석하고 정보를 최대한 빨리 수집하기를 원할 때 "실시간 기능 근처"를 원하고 가질 수 있다고 말했다.

유망한 기술 사양

XKeyscore와 함께 사용할 수있는 특정 기술에 대한 자세한 정보는 전 세계에 700 개의 Linux 서버가 있다는 사실을 제외하고는 없습니다. 그러나 이러한 대규모 데이터 세트를 집계하고 관리하는 데 필요한 하드웨어 유형을 추측 할 수 있습니다. 놀라운 처리 능력과 같이 처리 할 수있는 머신 유형을 만드는 벤더는 거의 없습니다. Oracle, HP, IBM 및 EMC가 가장 염두에 두는 벤더입니다.

물론 방대한 양의 데이터를 수집하고 분석 할 수있는 것은 데이터 센터 아이언 브랜드 만이 아닙니다.

바이런 뱅크스에 따르면 "하드웨어 (메모리 용량 및 속도, 멀티 코어, 멀티 CPU) 및 소프트웨어 (컬럼 데이터베이스, 클러스터 파일 시스템 등)의 기술 혁신으로 거의 무제한의 데이터를 '저장'할 수있게되었습니다." SAP의 데이터베이스 및 기술 사장

병렬 처리, 원시 컴퓨팅 성능의 향상 및 상대적으로 저렴한 비용으로 큰 스토리지 용량으로 인해이 유형의 데이터 마이닝이 정부, 기업 및 중소 기업에 더 쉬워졌습니다. Attunity의 마케팅 부사장 Lawrence Schwartz는 오늘날의 데이터웨어 하우스는 "일반적으로 테라 바이트의 데이터를 지원하기 위해 구축되었습니다"라고 말했습니다.

너무 많은 데이터 소스가 서로 얽혀 있다는 사실은 또한 큰 데이터 세트를 분석하고 수집하여 산업에 매력을 느끼는 데 도움이되었습니다. "저는 사람들이 항상 데이터로 무엇을 파악하고 싶었다고 생각합니다. 지난 10 년 동안 정보 소스가 너무 많았고 이제는 더 많은 정보가 서로 연결되어 있습니다. 슈 와츠는 이제 기회가 있다고 말했다.

미해결 과제와 명백한 논쟁

기술이 빅 데이터를 지원하고 이러한 데이터를 분석하는 데있어 급속한 발전이 계속되고 있지만 여전히 과제는 남아 있습니다.

Schwartz에 따르면 엔티티가 처리 할 수있는 것보다 많은 데이터를 수집하는 경우가 종종 있습니다. 이 수집 된 데이터를 이해하는 데 사용할 수있는 "데이터 과학자 부족"도 있습니다.

"많은 기존 솔루션 및 기술의 과제는 이러한 대규모 0 및 1 풀에 유용한 정보가 무엇인지 이해하고 파악할 수 없으며, 이를 적시에 비용 효율적인 방식으로 분석 및 활용할 수 없다는 것입니다. SAP에서는 SAP 's Banks는 IT 환경에서 복잡성을 없애고 '데이터'를 유용한 '정보'로 전환하여 최종 사용자 또는 애플리케이션에 제공 할 수있는 속도와 유연성을 개선하는 혁신에 중점을두고 있습니다.

그런 다음 보안 문제가 있습니다. CipherCloud의 부사장 인 Paige Leidig는“과도한 데이터 회사와 소비자가 계속 클라우드에 밀고 저장하기 때문에 클라우드는 개인 정보를 보유한 회사의 정보 보안 관행에 대해 우려해야합니다. "PRISM이 특정 클라우드를 통해 흐르는 정보를 모니터링하고 모니터링하는 반면, XKeyscore는 방문한 웹 사이트에서 소셜 미디어 게시물로 교환 된 이메일을 통해 인터넷을 통해 특정 사용자를 적극적으로 추적합니다. 두 경우 모두 누군가 데이터 소유자의 동의없이 개인 식별 데이터를보고 컴파일합니다. 동기 부여가 국민의 복지를위한 국가 안보 인 경우에도 개인 정보 보호 문제입니다."

Leidig에 따르면, 이러한 인터넷 감시 프로그램은 "기업과 소비자 수준에서 클라우드에 대한 우리의 의존성을 강조합니다." Leidig는 데이터를 안전하게 유지하거나 해커 또는 IT 직원의 데이터 도난을 방지하는 한 "깨끗한 암호화를 사용하여 클라우드 (및 기업이 필요로하는 킬러 앱과 소비자가 선호하는 킬러 앱)를 스크램블하는 것이 좋습니다 정보 기관, 사이버 도둑 등의 권한이없는 사용자가 데이터를 사용할 수없는 경우 추가적인 제어 수단으로 클라우드 제공 업체가 아닌 기업에 암호화 / 암호 해독 키를 제공합니다.

정보 요청 (우리가 많이 들었던 NSA 서한)이있는 경우, 기업은 우회하지 않고 정부와 직접 협력하여 고객 데이터에 동의없이 접근 할 수 있습니다. 클라우드 제공 업체가 키를 보유하고 데이터를 양도하며 법률에 의해 정보 요청이 기업에 공개되는 것을 막는 모델입니다."

분명히, 대중의 현재 큰 논의는 기술이 방대한 데이터를 수집하고 분석 할 수 있기 때문에 정부와 기업이 시민과 고객에게 그러한 기술을 사용할 수 있도록 허가 하는가? 꽤 오랜 시간 동안 계속 될 논쟁입니다.

자세한 내용은 Xkeyscore가보고 있지 않습니다. NSA의 Google 가로 채기 데이터입니다.