Skip to main content

X 크롤링

X(트위터)에서 게시물을 자동으로 수집하여 제공합니다.

설명​

X 크롤링 노드는 X(구 트위터)에서 게시물을 자동으로 수집하여 데이터셋으로 변환합니다.

검색어나 구문을 입력하면 해당 키워드와 관련된 게시물을 가져옵니다. 검색 범위(최근 7일 / 전체 기간), 정렬 방식(최신순 / 관련도순), 수집 개수, 국가, 언어 등 다양한 조건으로 수집 대상을 좁힐 수 있으며, 작성 계정·멘션·해시태그 필터와 제외 키워드, 리트윗/답글/인용/광고성 게시물 제외 옵션으로 원하는 게시물만 선별할 수 있습니다.

수집된 데이터는 데이터셋 형태로 출력되어 이후 분석, 처리, 시각화 노드에서 활용할 수 있습니다. 여론 모니터링, 브랜드 언급 추적, 트렌드 분석 등의 시나리오에 사용합니다.

포트 구성​

입력 포트​

  • 데이터셋 (선택사항): 검색어로 사용할 값이 담긴 데이터셋. 연결하면 직접 입력 대신 데이터셋의 열 값을 검색어로 사용할 수 있습니다.

출력 포트​

  • 데이터셋: 수집한 게시물 데이터

속성​

검색어 / 구문​

수집할 게시물의 검색어 또는 구문을 직접 입력합니다.

검색어로 변환할 열 선택​

입력 포트로 데이터셋을 연결한 경우, 검색어로 사용할 열을 선택합니다(다중 선택 가능). 검색어를 직접 입력하는 대신 데이터셋의 값을 검색어로 사용합니다.

검색 범위​

검색에 사용할 데이터 범위(API 엔드포인트)를 선택합니다.

  • 최근 7일: 최근 7일 이내에 작성된 게시물만 검색합니다.
  • 전체 기간: 기간 제한 없이 전체 아카이브에서 검색합니다. (상위 API 권한이 필요합니다.)

검색어당 최대 개수​

검색어 하나당 수집할 게시물의 최대 개수를 설정합니다 (10~1000, 10 단위, 기본값 100).

정렬​

수집된 게시물의 정렬 기준을 선택합니다.

  • 최신순: 작성 시각이 최근인 순서로 정렬합니다.
  • 관련도순: 검색어와의 관련도가 높은 순서로 정렬합니다.

수집 기간​

검색 범위 안에서 다시 시작·종료 날짜로 수집 구간을 좁힙니다. (예: 검색 범위가 "최근 7일"이면 그 7일 중 일부 구간을 지정)

caution

검색 범위와 의존 관계가 있습니다. 검색 범위가 최근 7일일 때 7일보다 이전 날짜를 지정하면 범위를 벗어나 결과가 비어 있을 수 있습니다. 과거 구간을 지정하려면 검색 범위를 전체 기간으로 설정해야 합니다.

국가​

게시물을 수집할 국가를 선택합니다. 전체(All)를 포함해 South Korea, United States, Japan, China 등 주요 국가를 지원합니다.

언어​

수집할 게시물의 언어를 선택합니다. 전체(All)를 포함해 Korean, English, Japanese 등 주요 언어를 지원합니다.

작성 계정​

특정 계정이 작성한 게시물만 수집하도록 계정을 입력합니다 (여러 개 입력 가능).

멘션​

특정 계정을 멘션한 게시물만 수집하도록 멘션 대상을 입력합니다 (여러 개 입력 가능).

해시태그​

특정 해시태그가 포함된 게시물만 수집하도록 해시태그를 입력합니다 (여러 개 입력 가능).

제외 키워드​

수집 결과에서 제외할 키워드를 입력합니다 (여러 개 입력 가능).

리트윗 제외​

리트윗을 수집 대상에서 제외합니다 (기본값: 켜짐).

답글 제외​

답글을 수집 대상에서 제외합니다 (기본값: 꺼짐).

인용 제외​

인용 게시물을 수집 대상에서 제외합니다 (기본값: 꺼짐).

광고성 게시물 제외​

광고성 게시물을 수집 대상에서 제외합니다 (기본값: 켜짐).

사용 방법​

검색어 직접 입력​

  1. 노드를 캔버스에 추가합니다
  2. 검색어 / 구문에 수집할 키워드를 입력합니다
  3. 검색 범위(최근 7일 / 전체 기간)와 정렬(최신순 / 관련도순)을 선택합니다
  4. 검색어당 최대 개수를 설정합니다
  5. 필요 시 국가·언어, 작성 계정·멘션·해시태그, 제외 키워드 및 제외 옵션을 설정합니다
  6. 실행하기 버튼을 클릭합니다
  7. 출력 포트에서 수집한 게시물 데이터를 확인할 수 있습니다

데이터셋의 값을 검색어로 사용​

  1. 노드를 캔버스에 추가합니다
  2. 검색어가 담긴 데이터셋을 입력 포트에 연결합니다
  3. 검색어로 변환할 열 선택에서 검색어로 사용할 열을 선택합니다
  4. 검색 범위·정렬·개수 및 기타 필터 옵션을 설정합니다
  5. 실행하기 버튼을 클릭합니다
  6. 출력 포트에서 수집한 게시물 데이터를 확인할 수 있습니다

예제​

특정 브랜드에 대한 최근 여론을 수집하는 경우:

  1. 검색어 / 구문에 브랜드명을 입력합니다
  2. 검색 범위를 "최근 7일"로 설정합니다
  3. 정렬을 "최신순"으로 설정합니다
  4. 검색어당 최대 개수를 100으로 설정합니다
  5. 언어를 "Korean"으로, 국가를 "South Korea"로 설정합니다
  6. 리트윗 제외와 광고성 게시물 제외를 켜서 원본 게시물 중심으로 수집합니다
  7. 실행하기를 클릭하면 조건에 맞는 게시물이 데이터셋으로 수집됩니다

주의사항​

warning
  • 검색어 미입력: 검색어를 직접 입력하지 않고 입력 데이터셋도 연결하지 않으면 수집할 대상이 없습니다. 검색어를 입력하거나 검색어로 변환할 열을 선택하세요.
  • 수집 개수 제한: 검색어당 최대 개수는 1000개로 제한됩니다. 과도한 수집은 응답 시간이 길어질 수 있습니다.
  • 필터 조합: 제외 옵션과 필터를 너무 엄격하게 설정하면 수집 결과가 비어 있을 수 있습니다.