Google Sheets로 페타바이트 규모의 데이터 분석하기 빅 데이터가 일반 비즈니스 유저에게 ‘그림의 떡’이던 시절이 있었습니다. 그럼 현재는 어떨까요? 여전히 쿼리를 좀 다룰 줄 알아야 빅 데이터에서 원하는 정보를 찾을 수 있을까요? 이런 상식을 뒤집는 기능을 구글이 발표했습니다. 바로 Connected Sheets는 기능입니다. 이를 이용하면 Google Sheets로 BigQuery에 바로 접근할 수 있습니다. 스프레드 시트 화면에서 데이터웨어하우스에…
클라우드 맛집, 메가존이 배달하는 <Google Cloud Next OnAir Recap> 이번 주에는 ‘Week 5. Data Analytics’ 주간 하이라이트 소식, 전해드립니다. ▼ Next OnAir 5주차 추천 세션 ▼ 1. What’s New and What’s Next in Smart Analytics (키노트) → https://youtu.be/IIIAuSAf-uo 2. What’s New in BigQuery, Google Cloud’s Modern Data Warehouse →…
개인정보보호법 본격 시행 시절 데이터베이스 암호화 솔루션이 큰 인기를 끌었던 기억이 납니다. 데이터베이스 암호화와 접근 제어를 다소 느슨히 하던 기업들은 규제 준수를 위해 써드파티 솔루션 도입을 서둘러야 했습니다. 규제 준수는 사내 시스템만 해서 되는 게 아닙니다. 클라우드 이용이 늘면서 외부에 있는 데이터까지 규제 준수에 신경 써야 합니다. 강력한 테이블 수준 접근 제어…
머신 러닝은 한때 데이터 과학자의 전문 영역이었습니다. 뭔가 특별한 기술과 도구를 알아야 손을 댈 수 있는 그런 분야로 통했습니다. 2020년 현재 머신 러닝은 누가 더 전문성을 갖추고 있는지 실력을 겨루는 장이 아닙니다. 누가 더 참신한 아이디어를 가지고 있느냐가 더 중요한 시대가 되었습니다. 이런 변화를 만든 주인공은 클라우드입니다. 이제 코딩을 몰라도 데이터 전처리에서 모델 트레이닝까지…
데이터 분석은 시대를 타지 않는 ‘유행어’입니다. 분석의 토대라 할 수 있는 데이터베이스, 데이터웨어하우스 역시 유행을 타지 않습니다. 다만 시대적 요구에 따라 진화합니다. 데이터베이스는 RDBMS, NoSQL 등 각각 쓰임에 최적화되는 쪽으로 진화하고 있습니다. 그렇다면 40년 이상 엔터프라이즈 분석 현장의 중심에 있던 데이터웨어하우스는 어떤 모습으로 발전하고 있을까요? 현대적인 데이터웨어하우스가 지향하는 것은 ‘실시간’ 이라는 의미도 함축되어 있습니다.…
지리 공간 데이터(geographical data)의 가치는 나날이 높아지고 있습니다. 금융, 물류, 건설, 제조 등 다양한 업계에서 지리 공간 데이터를 실시간 스트림으로 하여 다양한 실시간 분석을 수행하는 것에 관심이 많습니다. 관련해 정보가 될만한 소식 하나 공유합니다. 지리 공간 데이터를 BigQuery 데이터웨어하우스에 손쉽게 로드해 활용하는 방법을 소개해 드리겠습니다. FME 플랫폼과 BigQuery의 만남 구글은 전 세계…
규제 준수는 IT 운영에 있어 가장 어려운 일 중 하나입니다. 기업의 디지털 전환이 가속화될수록 규제의 무게감은 더욱 커집니다. 기업은 규제 준수를 위해 다양한 노력을 합니다. 관련해 가장 먼저 하는 것이 바로 데이터 보호 대책 수립입니다. 한국의 경우 개인정보보호법 관련해 기업들이 데이터베이스 암호화 솔루션 도입을 서둘렀습니다. 이는 한 번의 유행이 아닙니다. 최근에는 GDPR 규제 준수…
데이터 분석의 진화는 어디까지인가? 2019년 현재 데이터 분석의 키워드는 머신 러닝 기반 예측 분석(Predictive Analytics)로 바뀌었습니다. ‘예측’이란 말은 추상적인 개념이 아닙니다. 방대한 양의 데이터 자산을 활용하는 방법 중 하나로 머신 러닝 모델을 적용해 비즈니스 의사결정에 참조할 수 있는 예측 정보를 제공하는 것을 뜻합니다. 네, 과거를 바탕으로 추이를 파악하는 것을 넘어 이제 미래를 예측하는 쪽으로 분석이…
요즘 엔터프라이즈 데이터웨어하우스(EDW) 환경을 클라우드에서 운영하는 것에 관심을 두는 기업이 늘고 있습니다. 그 이유는 간단합니다. 데이터는 늘어만 가는데, 필요에 맞춰 온프레미스 EDW 환경을 확장한다는 것은 엄두를 내기 어렵기 때문입니다. 관련해 영국에 위치한 가격 비교 관련 서비스 전문 업체 MoneySuperMarket이 사내 EDW 환경의 확장 문제를 BigQuery와 GKE를 이용해 해결한 사례를 소개합니다. MoneySuperMarket은…
게임 개발사와 운영사는 신경 쓸 것이 참 많습니다. 뛰어난 성능과 보안을 보장하는 인프라에 대한 고려는 기본이죠. 요즘에는 머신 러닝, 첨단 데이터 분석 등 고객이 온라인에 남기는 흔적 하나하나까지 챙겨보려 노력하고 있습니다. 요즘 게임 개발사들 사이에 구글 클라우드 플랫폼(GCP)의 인기가 치솟고 있는데요, 그 이유를 간단히 살펴봤습니다. “공전의 히트가 더 부담스러운 운영자” 온라인,…