首页 > 新闻中心
pip install vllm
python -m vllm.entrypoints.openai.api_server \ --model qwen/Qwen-7B-Chat \ --dtype half \ --max-model-len 4096
--quantization awq