应用开发层面，离线数据清洗。写mapredcue实现ETL功能，使用flume采集日志数据，对不同业务的数据清进行清洗。这些业务数据包括flume采集的日志数据，如用户浏览网站信息、统计PV和UV，留存率等等；用户信息、用户消费、会员、积分等业务数据；python爬虫工程师指定网站爬取的数据。我平时工作就是对这些数据清洗，存到不同的库里。