介绍
本项目为新闻数据分析平台,目的是爬取新闻(目前仅含爬取今日头条)数据,然后对数据进行展示、采集与清洗、数据分析、建立数据模型、数据可视化。本项目采用前后端分离模式,前端使用 Vue3 + ArcoDesign 搭建,后端使用 Python 语言的 Flask 框架搭建 ,核心技术栈为 Selenium、NumPy、Pandas、PyEcharts 。
运行环境
-
Python3.9
-
Vue3
-
Node16.15.1
-
MySQL8
-
Redis6
程序运行
数据库导入:导入 sql/news.sql
文件到数据。
后端运行
- 创建虚拟环境。(不创建虚拟环境也可以,但是为了不影响真实的环境,建议还是创建)
- 导入
news-analysis-server/requirements.txt
中的所有依赖,可能会下比较久,耐心等待。 - 修改
news-analysis-server/App/config/dev.py
中的MySQL、Redis以及其他路径信息。 - 在
news-analysis-server
目录中运行python server.py
启动程序。
前端运行
- 运行
npm install
下载依赖。 - 运行
npm run dev
启动程序。
程序页面