콘텐츠 도둑으로부터 웹 사이트를 보호하십시오

중고 전자 제품을 온라인으로 구매한다고 가정 해보십시오. 당신의 사업은 당신의 훌륭한 가격을 찾는 중고 iPad를 원하는 사람에 달려 있습니다. 그러나 경쟁 업체가 가격을 충분히 능가하기 위해 전체 가격표를 캡처했다면 그렇게 기뻐하지 않을 것입니다. 컨텐츠의 대량 스크래핑을 방지하면서 사용자가 어떻게 액세스 할 수 있습니까? 오늘 출시 된 클라우드 기반 스크래핑 방지 솔루션 인 ScrapeDefender를 사용할 수 있습니다. ScrapeDefender의 CEO 인 Robert Kane과 제품의 작동 방식에 대해 이야기했습니다.

누가 필요합니까?

케인은“우리는 이미 항공사, 가전, 금융 시장 등 베타 고객과 협력하고있다. "중요한 콘텐츠, 가격표, 부동산 등을 게시하는 모든 웹 사이트는 모든 콘텐츠를 대량으로 수집 할 수 있습니다." 케인은 일부 스크레이퍼는 간단한 스크립트를 사용하지만 다른 스크레이퍼는 사이트를 더 느리게 캡처하거나 여러 봇을 사용하여 사람으로 가장하려고합니다. 케인은“소유자들에게 도전은 세상을 어떻게 허가하고 무단 봇을 차단 하는가하는 것”이라고 말했다.

"ScrapeDefender가 등장한 곳입니다. 모니터는 Google 웹 로그 분석과 같은 수동 도구입니다."라고 Kane은 말했습니다. "사이트에 24 시간 연중 무휴로 모니터링 할 수있는 한 줄의 코드를 삽입합니다. 웹 페이지 헤더에 한 줄의 코드 만 있습니다. 수동적이므로 프로덕션 네트워크에는 영향을 미치지 않습니다."

온라인 대시 보드

ScrapeDefender 고객은 차단 된 모든 스크래핑 활동의 개요를 볼 수 있지만 자세한 내용을 자세히 알아볼 수도 있습니다. 케인 (Kane)은이 시스템을 시연하여 적기를 올리는 활동의 종류를 보여 주었다. 많은 사람들이 매우 간단합니다. 스크레이퍼의 IP 주소는 사람보다 훨씬 더 많은 사이트를 방문하고 페이지를 방문하는 경향이 있으며 매우 짧은 시간 동안 모든 페이지에 머무르는 경향이 있습니다. 그들이 느리게 가고 감지를 피하려고 할 때에도 패턴이 보입니다. 인간의 방문은 대개 리퍼러 필드와 함께 제공됩니다. 봇을 스크래핑하여 방문하지 마십시오. 이러한 모든 기준은 전체 위험 점수에 기여합니다. 충분히 높은 점수는 거의 항상 스크래핑 활동을 식별합니다.

"정교한 스크레이퍼는 여러 개의 IP 주소를 사용합니다"라고 Kane은 말합니다. "하지만 IP가 다른 경우에도 관련 세션을 일치시키기 위해 디지털 지문을 사용합니다. 다른 컴퓨터 또는 다른 가상 컴퓨터에서 실행되는 스크립트 일 수 있지만 지문은 동일합니다.

스크레이퍼, 스크래핑 금지!

스크레이퍼가 확인되면 어떻게되는지 물었습니다. 케인은“우리는 두 가지 방법으로 그렇게한다. "저희는이를 차단할 수있는 보안 모듈을 제공하지만, 함께 일하는 조직에 자체 방화벽이 있다는 것을 알게되었습니다. 따라서 의심스러운 IP 주소를 방화벽으로 보낼 수있는 API가 있습니다."

비용은 얼마입니까? 가격은 한 달에 $ 79부터 시작하여 모든 규모의 웹 사이트로 확장됩니다. 케인은 "누군가 지난 주에 연락을했으며, 하루에 2, 500 만 페이지 뷰를 가진 웹 사이트에 대해…

이 회사는 신규 고객에 대해 약 150 개의 긁힘 관련 취약점에 대한 스캔을 실행하지만 누구나 해당 서브셋을 확인하는 무료 스캔을 실행할 수 있습니다. ScrapeDefender 웹 사이트를 방문하여 도메인 이름을 입력하십시오. 몇 분 안에 답을 얻을 수 있습니다.

미래

케인은 "제 생각에 안티 스크래핑은 초기 안티 바이러스 비즈니스와 유사합니다. 엄청난 기회입니다. 모두가 그것을 가져야합니다."라고 말했습니다. 그는 Snapchat이이 기술을 사용하여 460 만 명의 사용자 데이터 수집을 방지함으로써 Snapchat 스팸의 최근 급증을 막을 수 있다고 지적했습니다.

케인은“CAPTCHA는 해결책이 아니다. "효과가 있어도 CAPTCHA 농장에 대해 들어 보지 못했습니까? 실제 해결책은 행동을보고 긁는 행동을 차단하는 것입니다."

충분한 웹 사이트 소유자가 스크래핑 방지 솔루션에 대한 비용을 지불 할 것인지 여부는 여전히 남아 있습니다. 나는 이것이 어떻게 작동하는지 지켜 볼 것입니다.