요구 사항 kafka로 들어오는 실시간 gps 데이터에 대한 실시간 데이터 처리 후 bigquery(data warehouse) 내 적재해야 함 분당 수백만 데이터에 대해 LAG 없이 처리되어야 함 데이터가 avro로 serialize되어서 들어오기 때문에 kafka schema registry로부터 schema 정보를 읽어 avro deserialize 수행해야 함 데이터 전송 간 network bandwidth resource 절감 및 전송 속도 개선을 위해 avro schema를 사용해 데이터를 serialize해 전송 avro schema가 변경되어도 원활하게 데이터를 처리할 수 있어야 함 새로운 컬럼에 대해 backfill이 용이해야 함 개발 사항 golang server를 사용한 consume..
