추출

추출은 클러스터에 속한 모든 사이트의 페이지를 읽어, 표현식과 일치하는 부분을 뽑아내는 기능입니다. 사이트 클러스터가 전화번호, 소셜 계정, 주소, 플러그인 이름 등 패턴이 캡처한 내용의 표로 바뀝니다.

읽는 범위

검색에서 일치한 메인 페이지뿐 아니라, PublicWWW가 해당 사이트에서 인덱싱한 내부 페이지까지 모두 읽습니다. ‘회사 소개’ 페이지에만 있는 연락처도 찾아냅니다.

프리셋과 직접 만든 패턴

이메일 주소, 전화번호처럼 가장 많이 찾는 항목은 프리셋으로 제공되며, 대신 어떤 정규 표현식이든 사용할 수 있습니다. 표현식은 검색에서 쓰는 snipexp:와 똑같이 작동합니다. 캡처 그룹이 잡아낸 내용이 열에 들어가며, 캡처 그룹이 없는 표현식은 빈 결과를 돌려줍니다.

|/wp-content/plugins/([\w\d\-\.\_]+)/|

먼저 작은 클러스터로 테스트하세요. 추출할 레코드 수에 상한을 두고 표현식을 시험하고, 고치고, 다시 시험할 수 있으므로 패턴이 틀려도 비용이 거의 들지 않습니다. 이것이 왜 중요한지는 제한을 참고하세요.

결과 받기

추출한 표는 파일로 다운로드해 스프레드시트에서 열 수 있습니다. 각 행은 사이트 하나와 그 사이트에서 찾은 내용입니다. 아무것도 일치하지 않은 사이트도 목록에 남기 때문에, 빈 부분이 소리 없이 사라지지 않고 그대로 보입니다.

클러스터로 검색 결과 필터링하기

클러스터는 반대 방향의 필터로도 작동합니다. 직접 가진 도메인, URL, 이메일 주소 목록을 업로드하고, 이를 이용해 검색 결과를 그 목록에 있는 사이트로 좁히거나, 차집합으로 그 목록을 뺀 나머지 전체를 얻을 수 있습니다.

전화번호와 이메일 추출에서 검색 두 번부터 스프레드시트까지 전 과정을 단계별로 설명합니다.