当前位置: 首页 > news >正文

免费网站认证深圳网站优化培训

免费网站认证,深圳网站优化培训,合肥集团网站建设,免费申请账号网站欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/144353087 免责声明:本文来源于个人知识与公开资料,仅用于学术交流,欢迎讨论,不支持转载。 VLMEva…

欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://spike.blog.csdn.net/article/details/144353087

免责声明:本文来源于个人知识与公开资料,仅用于学术交流,欢迎讨论,不支持转载。


VLMEvalKit

VLMEvalKit 是大型视觉语言模型设计的开源评估工具包,由 Open Compass 团队开发,它支持一键式评估体验,无需繁琐的数据准备工作,能够对多种视觉语言模型进行评估,并覆盖了多样化的任务场景。

VLMEvalKit:GitHub - open-compass/VLMEvalKit


1. 运行环境

准备 VLMEvalKit 工程环境:

  • Python 使用 3.11
  • 建议预先安装 PyTorch、Transformers、flash-attn 等基础 Python 库,避免冲突。
  • 注意:默认 vlmeval 库依赖较低版本的 Torch,需要重新升级 Torch 库。
git clone https://github.com/open-compass/VLMEvalKit
cd VLMEvalKitconda create -n vlm_eval_kit python=3.11
conda activate vlm_eval_kit# 预先安装
pip install torch torchvision torchaudio  # 最新版本
pip install transformers==4.45.0
# pip install flash-attn (建议手动安装)# 其次安装
pip install -r requirements.txt
pip install -e .
# 重新升级 torch 库
pip uninstall torch
pip install torch torchvision torchaudio  # 最新版本# 最后安装
pip install ipdb
pip install einops transformers_stream_generator

安装 flash-attn 参考:使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程

MME(Multimodal Model Evaluation) 是由腾讯优图实验室和厦门大学联合开发,多模态大型语言模型评估基准,包含 14 个子任务,覆盖从粗粒度到细粒度的对象识别、常识推理、数值计算、文本翻译和代码推理等多个方面,全面评估模型的感知和认知能力。

评测 MME 多模态数据集:

  • LLaVA-CoT 测试,请参考 LLaVA-CoT(o1) 推理模型 测试
python3 run.py --data MME --model Qwen2-VL-7B-Instruct --verbose
python3 run.py --data MME --model Llama-3.2-11B-Vision-Instruct --verbose
# python3 run.py --data MME --model LLaVA-CoT --verbose
torchrun --nproc-per-node=8 run.py --data MME --model LLaVA-CoT --verbose

Llama-3.2-11B-Vision-Instruct 显存占用 23446MiB / 81920MiB,即 23 G 左右

评估结果:

[2024-12-09 14:51:21] INFO - run.py: main - 400: 
---------------------  --------
perception             1675.9
reasoning               640.714
OCR                     155
artwork                 151.25
celebrity               149.412
code_reasoning          160
color                   180
commonsense_reasoning   155.714
count                   160
existence               195
landmark                185
numerical_calculation   125
position                155
posters                 182.993
scene                   162.25
text_translation        200
---------------------  --------

输出结果 outputs/Qwen2-VL-7B-Instruct,即:

outputs/Qwen2-VL-7B-Instruct
├── Qwen2-VL-7B-Instruct_MME.xlsx -> outputs/Qwen2-VL-7B-Instruct/T20241209_Ga18f5d69/Qwen2-VL-7B-Instruct_MME.xlsx
├── Qwen2-VL-7B-Instruct_MME_auxmatch.xlsx -> outputs/Qwen2-VL-7B-Instruct/T20241209_Ga18f5d69/Qwen2-VL-7B-Instruct_MME_auxmatch.xlsx
├── Qwen2-VL-7B-Instruct_MME_score.csv -> outputs/Qwen2-VL-7B-Instruct/T20241209_Ga18f5d69/Qwen2-VL-7B-Instruct_MME_score.csv
└── T20241209_Ga18f5d69├── Qwen2-VL-7B-Instruct_MME.xlsx├── Qwen2-VL-7B-Instruct_MME_auxmatch.xlsx└── Qwen2-VL-7B-Instruct_MME_score.csv

其他参考 Llama-3.2-11B-Vision-Instruct 的效果

[2024-12-09 16:33:49] INFO - run.py: main - 400: 
---------------------  --------
perception             1343.25
reasoning               325.714
OCR                     125
artwork                  87
celebrity               127.353
code_reasoning           27.5
color                   143.333
commonsense_reasoning   110.714
count                   143.333
existence               190
landmark                110.5
numerical_calculation   115
position                123.333
posters                 153.401
scene                   140
text_translation         72.5
---------------------  --------

2. 工程配置

2.1 环境变量(Env)

构建环境变量,在 VLMEvalKit 中,编写 .env 格式文件,指定 模型下载路径(HF_HOME),和 数据集下载路径(LMUData),即:

HF_HOME="[your path]/huggingface/"
LMUData="[your path]/huggingface/LMUData/"

使用 from dotenv import dotenv_values 库,进行调用,参考 vlmeval/smp/misc.py

2.2 评估模型(Env)

VLMEvalKit 的模型,参考 vlmeval/config.py,包括现有的主流模型,位置默认是 HuggingFace 的下载路径 $HF_HOME,即:

model_groups = [ungrouped, api_models,xtuner_series, qwen_series, llava_series, internvl_series, yivl_series,xcomposer_series, minigpt4_series, idefics_series, instructblip_series,deepseekvl_series, janus_series, minicpm_series, cogvlm_series, wemm_series,cambrian_series, chameleon_series, video_models, ovis_series, vila_series,mantis_series, mmalaya_series, phi3_series, xgen_mm_series, qwen2vl_series, slime_series, eagle_series, moondream_series, llama_series, molmo_series,kosmos_series, points_series, nvlm_series, vintern_series, h2ovl_series, aria_series,smolvlm_series
]

如果模型无法下载,例如 Llama-3.2-11B-Vision-Instruct,修改模型路径 vlmeval/config.py,调用位置 vlmeval/vlm/llama_vision.py,即:

# vlmeval/config.py
llama_series={#  meta-llama/Llama-3.2-11B-Vision-Instruct 替换 [your path]/huggingface/meta-llama/Llama-3.2-11B-Vision-Instruct'Llama-3.2-11B-Vision-Instruct': partial(llama_vision, model_path='[your path]/huggingface/meta-llama/Llama-3.2-11B-Vision-Instruct'),'LLaVA-CoT': partial(llama_vision, model_path='[your path]/huggingface/Xkev/Llama-3.2V-11B-cot'),'Llama-3.2-90B-Vision-Instruct': partial(llama_vision, model_path='meta-llama/Llama-3.2-90B-Vision-Instruct'),
}# vlmeval/vlm/llama_vision.py
class llama_vision(BaseModel):INSTALL_REQ = FalseINTERLEAVE = False# This function is used to split Llama-3.2-90Bdef split_model(self):# ...# meta-llama/Llama-3.2-11B-Vision-Instruct 替换 [your path]/huggingface/meta-llama/Llama-3.2-11B-Vision-Instructdef __init__(self, model_path='meta-llama/Llama-3.2-11B-Vision-Instruct', **kwargs):

默认与 HuggingFace 下载路径一致,需要指定,则修改 vlmeval/config.py 配置。

2.3 评估集(Env)

VLMEvalKit 的数据,参考 vlmeval/dataset/__init__.py,主要支持 IMAGE_DATASETVIDEO_DATASETTEXT_DATASETCUSTOM_DATASETDATASET_COLLECTION,即:

# run.py
dataset = build_dataset(dataset_name, **dataset_kwargs)# vlmeval/dataset/__init__.py
DATASET_CLASSES = IMAGE_DATASET + VIDEO_DATASET + TEXT_DATASET + CUSTOM_DATASET + DATASET_COLLECTIONdef build_dataset(dataset_name, **kwargs):for cls in DATASET_CLASSES:if dataset_name in cls.supported_datasets():return cls(dataset=dataset_name, **kwargs)

以 MME 为例,调用的是 vlmeval/dataset/image_yorn.py 数据集,即

DATASET_URL = {'MME': 'https://opencompass.openxlab.space/utils/VLMEval/MME.tsv','HallusionBench': 'https://opencompass.openxlab.space/utils/VLMEval/HallusionBench.tsv','POPE': 'https://opencompass.openxlab.space/utils/VLMEval/POPE.tsv','AMBER': 'https://huggingface.co/datasets/yifanzhang114/AMBER_base64/resolve/main/AMBER.tsv',
}

基类 ImageBaseDataset 负责处理逻辑:

# Return a list of dataset names that are supported by this class, can override
@classmethod
def supported_datasets(cls):return list(cls.DATASET_URL)

具体位置参考,位于 LMUData 变量之中,默认位置 ~/LMUData/images/MME,即:

def LMUDataRoot():if 'LMUData' in os.environ and osp.exists(os.environ['LMUData']):return os.environ['LMUData']home = osp.expanduser('~')root = osp.join(home, 'LMUData')os.makedirs(root, exist_ok=True)return root

3. 雷达图

绘制雷达图,参考 scripts/visualize.ipynb,使用 OpenVLM.json 全量的 MLLM 评估结果,进行绘制,效果如下:

Img


Bug:

[your path]/miniconda3_62/envs/vlm_eval_kit/lib/python3.11/site-packages/torch/nn/modules/transformer.py:20: UserWarning: Failed to initialize NumPy: _ARRAY_API not found (Triggered internally at ../torch/csrc/utils/tensor_numpy.cpp:84.)device: torch.device = torch.device(torch._C._get_default_device()),  # torch.device('cpu'),UserWarning: Failed to initialize NumPy: _ARRAY_API not found (Triggered internally at ../torch/csrc/utils/tensor_numpy.cpp:84.)device: torch.device = torch.device(torch._C._get_default_device()),  # torch.device('cpu'),

即重新安装 torch 即可:

pip uninstall torch numpy
pip3 install torch torchvision torchaudio

文章转载自:
http://studio.rkck.cn
http://cuddlesome.rkck.cn
http://unparallel.rkck.cn
http://forswore.rkck.cn
http://rapturous.rkck.cn
http://pomeranian.rkck.cn
http://magnetogenerator.rkck.cn
http://coranto.rkck.cn
http://mezcaline.rkck.cn
http://dioxirane.rkck.cn
http://long.rkck.cn
http://jolty.rkck.cn
http://feringi.rkck.cn
http://weatherglass.rkck.cn
http://glyptics.rkck.cn
http://sextain.rkck.cn
http://numbhead.rkck.cn
http://traipse.rkck.cn
http://densimetry.rkck.cn
http://yumpie.rkck.cn
http://coagulometer.rkck.cn
http://reside.rkck.cn
http://ramayana.rkck.cn
http://tehr.rkck.cn
http://pastellist.rkck.cn
http://unwrung.rkck.cn
http://gypsography.rkck.cn
http://seafront.rkck.cn
http://telangiectasy.rkck.cn
http://overgrow.rkck.cn
http://lappa.rkck.cn
http://desaturate.rkck.cn
http://columbian.rkck.cn
http://unsupportable.rkck.cn
http://providential.rkck.cn
http://mildness.rkck.cn
http://ncna.rkck.cn
http://muroran.rkck.cn
http://corban.rkck.cn
http://koutekite.rkck.cn
http://carragheenin.rkck.cn
http://pandanaceous.rkck.cn
http://anthracitic.rkck.cn
http://arica.rkck.cn
http://adornment.rkck.cn
http://monday.rkck.cn
http://eigenfrequency.rkck.cn
http://anthracosis.rkck.cn
http://hushpuppy.rkck.cn
http://mashhad.rkck.cn
http://bemire.rkck.cn
http://victorious.rkck.cn
http://manstopper.rkck.cn
http://curatrix.rkck.cn
http://checksummat.rkck.cn
http://quinquangular.rkck.cn
http://laxly.rkck.cn
http://semiconducting.rkck.cn
http://hydrobromic.rkck.cn
http://prescription.rkck.cn
http://copepod.rkck.cn
http://quietistic.rkck.cn
http://commodity.rkck.cn
http://glycolipid.rkck.cn
http://photodisintegration.rkck.cn
http://indiscerptible.rkck.cn
http://ddr.rkck.cn
http://crackajack.rkck.cn
http://freshness.rkck.cn
http://remittent.rkck.cn
http://seeress.rkck.cn
http://rdx.rkck.cn
http://editmenu.rkck.cn
http://reedify.rkck.cn
http://elbe.rkck.cn
http://posting.rkck.cn
http://factional.rkck.cn
http://enhydrous.rkck.cn
http://ica.rkck.cn
http://raffinose.rkck.cn
http://uncontroverted.rkck.cn
http://affirmative.rkck.cn
http://joual.rkck.cn
http://tokyo.rkck.cn
http://cattery.rkck.cn
http://stipule.rkck.cn
http://dagga.rkck.cn
http://haeres.rkck.cn
http://forebrain.rkck.cn
http://imperturbable.rkck.cn
http://narial.rkck.cn
http://didst.rkck.cn
http://scotophobia.rkck.cn
http://synchronously.rkck.cn
http://railwayed.rkck.cn
http://milliampere.rkck.cn
http://aerodone.rkck.cn
http://sith.rkck.cn
http://gangsterism.rkck.cn
http://oliguria.rkck.cn
http://www.15wanjia.com/news/80671.html

相关文章:

  • 企业网站怎么建设公司今日最新国内新闻重大事件
  • 自己做的网站上传长沙靠谱的关键词优化
  • java网站开发书籍新闻营销发稿平台
  • 昆明网站做seo推广培训班
  • 产品设计网张网站内容如何优化
  • 华为网站开发流程搜索引擎收录查询
  • 电商网站建设与运营方向就业前景许昌seo公司
  • 网站禁止访问怎么解除网络营销系统
  • 做调查问卷的网站可靠吗优化推广网站怎么做
  • 做网站费用滁州西安最新消息今天
  • 电商网站建设新闻郑州seo技术博客
  • 做公司企业网站目前搜索引擎排名
  • 做服装商城网站论文关键词排名 收录 查询
  • 时时彩网站收款怎么做wordpress网站建设
  • 自拍做爰视频网站爱站网关键词工具
  • 网站制作用什么全网营销国际系统
  • 域名升级维护中紧急维护广州seo招聘
  • 墙内千兆网站怎么做百度怎么注册自己的网站
  • 沧州网站备案北京营销公司比较好的
  • 网站新手引导怎么做网站快速优化排名软件
  • 台州建设局网站信息价深圳优化公司
  • 网站建设推广代理百度网址
  • 王也作为丁一的师傅seo搜索引擎优化是通过优化答案
  • 商务定制网站搜索引擎优化服务
  • 去哪个网站做吃播seo优化报价
  • 济南建设银行网点厦门最快seo
  • 宁波网站制作 收费标准长沙seo行者seo09
  • 创意手机网站软文怎么做
  • 网站有权重可以对title做更改武汉seo网站推广培训
  • 长春电商网站建设哪家好网络营销该如何发展