项目概况

数据类型

气象数据

软件版本

python3.8.18、hadoop3.2.0、spark3.1.2、scala2.12.18、jdk8

开发语言

python

开发流程

数据分析(spark)->可视化(matplotlib)

可视化图表

操作步骤(在pycharm中执行)

安装python安装包

 代码块
Shell
自动换行
复制代码
pip install pandas==2.0.3 -i https://mirrors.aliyun.com/pypi/simple/
pip install matplotlib==3.7.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install findspark==2.0.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pyspark==3.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple复制成功

直接执行analysis.py

 代码块
Shell
自动换行
复制代码
# 在pycharm中直接执行analysis.py,执行过程中,matplotlib会生成可视化图复制成功

大数据数据分析 spark pycharm

本文为我原创，未经授权禁止转载

cv43142418

分享至

投诉或建议