MinerU 0.8.0 环境一键包 使用教程 (更新WebUI)

介绍

最近发现了一款工具大语言语料处理神器-MinerU, 非常适合在RAG等应用场景中使用, 开源免费

MinerU其中的一个功能是将 PDF 转化为 markdown 格式的工具, 对PDF文档提取的效果目前是市面上效果比较好的, 最新的版本还支持了PDF中表格的识别

MinerU 官方仓库： https://github.com/opendatalab/MinerU

装环境相对麻烦, 为此我制作了Windows系统的环境一键包, 下面就介绍下环境一键包的使用

(在Windows11正常运行, 其他系统未测, 如有问题, 可以留言)

下载地址

MinerU环境一键包下载地址

链接： https://pan.quark.cn/s/ab68ea646a8c

搞不定环境的可以用这个 里面有使用说明文档

下载后解压即可

使用之前需要安装里面的cuda, 安装cuda的教程自行百度, 如果已经安装请忽略

如果之前安装有cuda这个报错的, 可以卸载之前的cuda, 安装里边的cuda11.8版本

使用

解压后即可运行

点击运行gradio版.bat 运行gradio网页版

和 https://www.modelscope.cn/studios/OpenDataLab/MinerU 功能一样

点击运行web版.bat 运行web网页版
功能和 https://opendatalab.com/OpenSourceTools/Extractor/PDF 一样

文件说明

目录python为嵌入版的环境, 已经安装了所有依赖

想深入使用, 可以配合官方说明文档使用, 下面是一些简要说明

magic-pdf.json
为配置文件, 使用的方式和官方一样

small_ocr.pdf

为测试用pdf文件

app.py
为gradio网页在线版 和 https://www.modelscope.cn/studios/OpenDataLab/MinerU 功能一样

运行方式, 在MinerU目录右键启动cmd, 或者启动cmd切换到MinerU目录, 运行下列命令

./python/python.exe app.py

demo.py

为官方运行示例

运行方式, 在MinerU目录右键启动cmd, 或者启动cmd切换到MinerU目录, 运行下列命令

./python/python.exe demo.py  

如果要对Python环境里边的包进行操作的, 将原有的

pip install xxx

换成

./python/python.exe -m pip install xxx

就可以了

扩展使用

命令行使用

官方的命令使用

magic-pdf -p {some_pdf} -o {some_output_dir} -m auto

在MinerU目录右键启动cmd, 或者启动cmd切换到MinerU目录, 运行下列命令

./python/Scripts/magic-pdf.exe -p {some_pdf} -o {some_output_dir} -m auto

例如

./python/Scripts/magic-pdf.exe -p small_ocr.pdf

或者路径填magic-pdf.exe所在的绝对路径, 例如

G:/MinerU/python/Scripts/magic-pdf.exe -p small_ocr.pdf

开发使用

在pycharm里环境变量填python/python.exe所在目录

更新版本

更新命令

./python/python.exe -m pip install --upgrade magic-pdf

更新后需修改文件

python/Lib/site-packages/magic_pdf/libs/config_reader.py

把13-14行红框替换为如下代码

# 获取当前目录  
current_dir = os.getcwd()  
  
print("当前目录为: ", current_dir)  
# 定义配置文件名常量  
CONFIG_FILE_NAME = os.path.join(current_dir, "magic-pdf.json")  
  
print("配置路径为: ", CONFIG_FILE_NAME)

在69行最用红框处插入如下代码

models_dir = os.path.join(current_dir, models_dir)  
print(f"模型目录为: {models_dir}")

这样路径才不会报错