Skip to content

Hayden727/CVPR-Papers-Crawling-Analyse

Repository files navigation

CVPR 论文分析系统 (2020-2024)

本系统用于分析CVPR 2020-2024年的论文数据,包括:

  • 论文标题词频统计
  • 作者发表数量统计
  • 数据可视化

系统架构

.
├── crawler/                # 爬虫模块
│   └── cvf_crawler.py      # CVF网站爬虫
├── flink_analysis/         # Flink分析模块
│   ├── build.gradle        # Gradle构建配置
│   └── src/                # 源代码
├── visualization/          # 可视化模块
│   └── visualize_results.py # 可视化脚本
├── requirements.txt        # Python依赖
├── run_analysis.sh         # 运行脚本

运行说明

  1. 确保已安装:

    • Python 3.8+
    • Java 11+
    • Gradle 7.0+
  2. 运行分析:

    chmod +x run_analysis.sh
    ./run_analysis.sh
  3. 查看结果:

    • word_frequency.png:词频柱状图
    • author_frequency.png:作者频率柱状图
    • wordcloud.png:词云图

依赖说明

  • Python依赖:见requirements.txt
  • Java依赖:见flink_analysis/build.gradle

注意事项

  1. 首次运行需要安装依赖
  2. 爬虫运行时间取决于网络状况
  3. Flink分析需要足够内存

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published