Impala random sampling

 PySpark을 못쓰는 상황에서 대규모 데이터는 Impala를 통해서 하둡에서 가져와야 하고, 파이썬에서는 가져온 데이터의 기본적인 확인 및 모델링을 주로 하게 된다. 따라서 임팔라에서 데이터를 랜덤하게 가져와야 하는 상황이라면 해당 쿼리를 짜야 하게 되어서 생각하게 된게, 쿼리를 동적으로 돌리되 왠만한 데이터 생성은 모두 임팔라로 한다였다. 

 

 1. 모델 생성할 대상군의 샘플링을 모두 임팔라로 진행한다. 여기서는 기본 고객키만을 이용해서 생성하므로 오래 걸리지는 않을 것이다. : 쿼리는 임팔라로 이를 반복 실행하는 것은 파이썬으로 짠다.

 

 2. 생성된 고객키를 가지고 실제 고객모델링할 데이터를 생성한다. : 1번에서 만들어 놓은 고객키를 기반으로 실제 데이터를 주제별로 생성해서 갖고 있는다.

 

select * from 
(
  select  
  row_number() over (partition by country order by country , random()) rn,
  count() over (partition by country order by country) cntpartition,
  tab.*
  from   dat.mytable tab
)rs
where rs.rn between 1 and cntpartition* 1/100  -- This is for 1% data

 

https://stackoverflow.com/questions/68259133/randomly-sampling-n-rows-in-impala-using-random-or-tablesample-system

 

Randomly sampling n rows in impala using random() or tablesample system()