콘텐츠 스크래핑이란? | 웹 스크래핑

콘텐츠 스크래핑이란 무엇인가요?

콘텐츠 스크래핑 또는 웹 스크래핑은 웹 사이트 소유자의 의사와 상관없이 봇이 웹 사이트에 있는 콘텐츠의 대부분 또는 전체를 다운로드하는 경우를 말합니다. 콘텐츠 스크래핑은 데이터 스크래핑의 한 형태입니다. 원본 웹 그래픽부터 전문적인 이력서, 식당 리뷰까지 모든 것을 대상으로 하는 콘텐츠가 포함됩니다. 대부분의 경우 스크래핑은 정보를 대량으로 신속하게 수집할 수 있는 자동화된 봇에 의해 수행됩니다.

콘텐츠 스크래핑은 검색 엔진 최적화를 위한 데이터 집계와 같은 정당한 목적으로 사용될 수 있습니다. 그러나 스크래핑 봇은 저작권 위반, 공격자가 소유한 웹 사이트에서의 검색 엔진 최적화를 위한 콘텐츠 복제, 유기적 트래픽 도용 등 악의적인 목적으로 콘텐츠의 용도를 변경하는 데 사용되는 경우가 많습니다. 이러한 봇은 사용량 분석을 왜곡하고 서버 리소스를 소진시키는 결과를 초래할 수도 있습니다.

봇이 콘텐츠를 스크래핑하는 방법은?

웹 사이트 스크래퍼 봇은 일반적으로 일련의 HTTP GET 요청을 보낸 다음 웹 서버가 응답으로 보내는 모든 정보를 복사 및 저장하여 모든 콘텐츠가 복사될 때까지 웹 사이트의 계층 구조를 탐색합니다.

더 정교한 스크래퍼 봇은 JavaScript를 사용하여 예를 들어 웹 사이트의 모든 양식을 작성하여 게이트 콘텐츠에 액세스한 다음 다운로드할 수 있습니다. '브라우저 자동화' 프로그램 및 API는 웹 사이트의 서버를 속여 인간 사용자가 콘텐츠에 액세스하고 있다고 생각하도록 하기 위해 기존 웹 브라우저를 사용하는 것처럼 웹 사이트 및 API와의 자동화된 봇 상호 작용을 허용합니다.

물론 개인이 대신 전체 웹 사이트를 수동으로 복사하여 붙여 넣을 수 있지만, 봇은 수백 개 또는 수천 개의 개별 제품 페이지가 있는 대규모 전자 상거래 사이트의 경우에도 웹 사이트의 모든 콘텐츠를 몇 초 만에 크롤링하고 다운로드할 수 있습니다.

스크래핑 봇은 어떤 종류의 콘텐츠를 겨냥할까요?

봇은 텍스트, 이미지, HTML 코드, CSS 코드 등 인터넷에 공개적으로 게시된 모든 것을 스크래핑할 수 있습니다. 그런 다음 공격자는 스크래핑한 데이터를 다양한 목적으로 사용할 수 있습니다. 한 가지 예로 다른 웹 사이트에서 텍스트를 재사용하여 첫 번째 웹 사이트의 검색 엔진 순위를 훔치거나 사용자를 속이는 경우가 있습니다. 공격자는 웹 사이트의 HTML 및 CSS 코드를 사용하여 합법적인 웹 사이트의 외관이나 다른 회사의 브랜드를 복제할 수도 있습니다. 사이버 범죄자는 훔친 콘텐츠를 사용하여 다른 웹 사이트의 실제 버전처럼 보이도록 사용자를 속여 개인정보를 입력하도록 하는 피싱 웹 사이트를 만들 수 있습니다.

웹 스크래핑으로 인한 비즈니스 어려움

웹 스크래핑의 결과로 몇 가지 비즈니스 피해가 발생할 수 있습니다.

• 가격 할인 - 경쟁업체에서 내 가격을 스크래핑해서 자체 가격을 더 낮춘 다음 내 영업 대상을 빼앗아 갑니다. 이는 제품이든 서비스든 무언가를 판매하는 모든 고객에게 영향을 미칩니다.
• 비즈니스 분석이 왜곡되면 계획에 영향이 미칩니다. 기업에서는 특히 마케팅, 프레젠테이션, 추가 리소스를 투입할 위치와 관련하여 사용 메트릭을 비즈니스 의사 결정의 요소로 고려합니다. 스크래퍼는 이러한 사용 데이터를 오염시킵니다.
• 웹 사이트 성능 저하 - 스크래퍼가 실행하는 과도한 작업으로 인해 웹 사이트가 느려질 수 있습니다. 스크래핑이 심한 경우 고객의 서버에서 트래픽을 처리하지 못하여 정상적인 사용자가 사이트에 액세스하지 못할 수 있습니다. 이로 인해 판매에 방해가 되므로 온라인 소매업체에 특히 유해합니다.
• 운영 비용 추가 - 스크래퍼가 사용하는 대역폭으로 인해 비용이 크게 증가할 수 있습니다.
• 사용자들은 자기 정보를 얻으려고 다른 곳으로 이동합니다. 최종 사용자는 AI 챗봇이나 다른 사이트를 통해 동일한 정보를 찾을 수 있으므로 원래 정보의 소스에서 트래픽이 손실됩니다. 이는 유료 구독이나 광고 수익에 의존하는 비즈니스 모델을 가진 회사, 특히 구독한 사용자에게만 무제한 액세스 권한을 부여하는 뉴스 웹 사이트나 광고 시청에 크게 의존하는 엔터테인먼트 웹 사이트에 유해합니다.

다른 종류의 웹 스크래핑으로는 무엇이 있을까요?

가격 스크래핑

가격 스크래핑은 웹 사이트의 모든 가격 정보를 다운로드하는 것을 말하며, 이는 경쟁업체에서 수행하는 경우가 많습니다. 경쟁업체에서 더 유리하게 가격을 조정하여 소비자로 하여금 원래의(스크래핑된) 웹 사이트가 아닌 경쟁업체에서 구매하도록 유도하는 경우 이는 유해할 수 있습니다.

연락처 스크래핑

연락처 스크래핑은 웹 사이트에서 전화번호, 이메일 주소 등의 연락처 정보를 스캔한 다음 해당 정보를 다운로드하는 것을 말합니다. 이러한 종류의 스크래핑은 스팸의 새로운 대상을 찾을 목적으로 자주 발생합니다.

데이터 스크래핑이란?을 참조하여자세히 알아보세요.

기업에서 웹 스크래핑을 방지하는 방법은?

봇 관리 솔루션은 봇 행동 패턴을 식별하고 봇 스크래핑 활동을 완화할 수 있으며, 이는 머신러닝의 도움을 받는 경우가 많습니다. 레이트 리미팅은 콘텐츠 스크래핑을 방지하는 데도 도움이 될 수 있습니다. 실제 사용자는 몇 초 또는 몇 분 안에 수백 페이지의 콘텐츠를 요청하지 않을 가능성이 높으며 그처럼 빠르게 요청하는 '사용자'는 봇일 가능성이 큽니다. 또한 봇이 해결할 수 없는 추가적인 질문을 도입하면 실제 사용자와 봇을 구분하는 데 도움이 될 수 있습니다.

Cloudflare를 이용하여 웹 스크래핑으로부터 보호

Cloudflare Bot Management는 콘텐츠 스크래핑 봇을 저지하도록 설계된 악의적인 봇 트래픽으로부터 웹 사이트를 보호합니다. 머신 러닝 기반 Cloudflare Bot Management는 행동 패턴을 기반으로 봇을 식별할 수 있으므로 사용자의 마찰과 긍정 오류가 줄어듭니다. 스크래핑에 대한 강력한 완화 접근법의 경우, 봇 감지는 레이트 리미팅 요청 및 Turnstile을 통한 인증 질문 관리와 함께 작동할 수 있습니다.

소규모 조직에서는 Cloudflare Pro 및 Business 요금제에서 제공되는 Super Bot Fight Mode를 사용하여 스크래핑 공격을 차단하고 봇 트래픽에 대한 가시성을 확보할 수도 있습니다.

FAQ

콘텐츠 스크래핑이란 무엇인가요?

콘텐츠 스크래핑(웹 스크래핑이라고도 함)은 봇이 웹사이트의 일부 또는 전체 콘텐츠를 자동으로 다운로드하는 과정입니다. 검색 엔진을 위한 데이터 수집처럼 합법적인 용도로 사용될 수도 있지만, 실제로는 악의적인 목적으로 사용되는 경우가 더 많습니다.

봇이 웹사이트에서 콘텐츠를 스크래핑하는 방법은 무엇입니까?

스크래퍼 봇은 보통 웹사이트 서버에 연속적으로 HTTP GET 요청을 보내고, 그에 대한 응답으로 전달된 모든 정보를 복사해 저장합니다. 더 정교한 봇은 브라우저를 사용하는 사람처럼 웹사이트와 상호작용할 수 있어, 폼을 작성해 접근이 제한된 콘텐츠까지 열람하고 다운로드할 수 있습니다.

공격자가 콘텐츠를 스크래핑하는 이유는 무엇입니까?

공격자는 저작권 침해, 텍스트를 재활용해 웹사이트의 검색 엔진 순위를 가로채는 행위, 사이트의 HTML과 CSS를 그대로 복제해 그럴듯한 피싱 사이트를 만드는 행위, 스팸 캠페인을 위한 연락처 정보 탈취 등 다양한 악의적인 목적으로 콘텐츠를 스크래핑합니다.

콘텐츠 스크래핑이 비즈니스에 미치는 부정적인 영향은 무엇입니까?

콘텐츠 스크래핑은 여러 가지 방식으로 기업에 피해를 줄 수 있습니다. 경쟁업체가 가격 정보를 스크래핑해 가격을 낮추고 매출을 빼앗을 수 있습니다. 스크래퍼 활동은 사용 분석 수치를 왜곡하고, 서버 자원을 고갈시켜 웹사이트 성능을 저하시킬 수 있으며, 대역폭 비용을 크게 증가시킬 수 있습니다.

콘텐츠 스크래핑과 가격 스크래핑의 차이점은 무엇입니까?

가격 스크래핑은 웹사이트의 모든 가격 정보를 다운로드하는 데 초점을 맞춘 특정 유형의 콘텐츠 스크래핑입니다. 이는 종종 경쟁업체가 수행하며, 이후 자사 가격을 조정해 소비자에게 더 매력적으로 보이도록 합니다.

웹사이트에서 콘텐츠 스크래핑을 어떻게 방지할 수 있습니까?

콘텐츠 스크래핑은 여러 가지 방법으로 방지할 수 있습니다. 봇 관리 솔루션은 스크래핑 활동을 식별하고 완화할 수 있으며, 종종 머신러닝을 활용해 봇의 행동을 감지합니다. 레이트 리미팅을 적용하면 짧은 시간에 비정상적으로 많은 페이지 요청을 하는 ‘사용자’를 차단해 스크래핑을 방지하는 데도 효과적입니다.