流程

1.Python爬取去哪儿网全站旅游数据约10万+，存入mysql;

2.使用pandas+numpy/hadoop+mapreduce对mysql中旅游数据进行数据清洗，使用高德API计算地理信息，最终转为.csv文件上传hdfs;

3.hive建库建表导入.csv文件作为数据集；

4.一半指标使用离线hive_sql分析完成，一半指标使用实时Spark之Scala完成；

5.分析结果使用sqoop导入mysql;

6.使用Flask+echarts构建可视化大屏；

创新点

大屏可视化、Python爬虫、高德地图、Spark实时计算、Hadoop+Hive离线计算全部实现

选装(如果觉得功能太简单或者工作量不够)-->推荐系统、预测系统、知识图谱、后台管理

实现界面如下：

网页链接​