利用Jan大模型客户端进行本地Llama3-8b-Chinese-chat大模型推理的部署于设置作者： dino / 2024年4月27日 Jan客户端 官方网站： https://jan.ai Llama3-8b-Chinese-chat大模型下载，GGUF格式 Q4模型下载链接 https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat.Q4_K_M.gguf?download=true Q6模型下载链接 https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat.Q6_K.gguf?download=true 模型页面 https://huggingface.co/QuantFactory/Llama3-8B-Chinese-Chat-GGUF/tree/main