项目简介: 客户数据包含2006-2016年十年间,英国几个主要极右组织在facebook上的言论,词条数13亿+,存储在远程server的MongoDB数据库里。 客户要求写出一套可重复使用的数据分析系统,实现对本次以及将来数据集的快速全面统计分析。 项目实现: 对原数据库13亿条数据查重清洗 更迭原有数据提取代码,利用MongoDB数据库特点,实现快速提取 根据数据特性和领域知识,建立完整的数据分析指标并实现对所有数据的统计分析 数据可视化