win10环境配置ollama,WIN10查配置

win10环境配置ollama
先说我的笔记本电脑配置intel-i7-11390h,4核8处理器,内存16G。显卡NVIDA  GeFroce MX450,2G显存,这是一台5000元左右的电脑

首先,我的笔记本电脑有一个intel-i7-11390h,4核8处理器,16G内存。显卡NVIDA GeFroce MX450,2G显存,这是一台5000元左右的电脑。我已经用它来运行roop、sd1.5、ffusion2、ChatTTs、python+pytorch 自定义模型,现在我用它来运行llama3。当然,sd1.5和ffusion2显存仅提供基本体验。在我最近的Stable Diffusion 3 Medium 中,安装ComfyUI 后,我运行了第二个工作流程24 分钟,并收到一条消息说视频内存不足.所以我去睡觉了。

回去工作:

1.安装ollam并下载llama3中文模型。

1、从官网(地址:https://ollama.com/download)下载ollam并正确安装。由于ollam下载的模型地址默认位于C:磁盘内,因此我们建议将Windows环境变量OLLAMA_MODELS更改为单独的分区。我的设置是OLLAMA_MODELS=E:\\AiModel\\ollama\\models

2. 下载Llama3-8B-中文聊天。 下载地址:shenzhi-wang/Llama3-8B-中文-聊天·使用HF镜像。该模型有多个版本,您可以按照说明复制ollam的下载模型的说明。例如,如果您下载wangshenzhi/llama3-8b-chinese-chat-ollama-q8,则命令为:

Ollama 运行Wang Shenzhi/llama3-8b-chinese-chat-ollama-q8。

根据网络状况,下载Ollama 的模型可能需要一些时间,但幸运的是下载非常顺利。感谢ollam、王心之和正亚伟

在Windows 命令行中输入上述命令会在命令行中打开llama 的模型交互提示,您可以在其中向您的模型说“你好”并查看它如何响应。如果您的回复成功,那么恭喜您。 ollama+llama3 在我的计算机上正常运行。要退出ollam 交互式命令行,请输入/bye 并输入886。

2. 奥拉毛伊

Windows命令行上的Ollama在输入中文时有点不舒服,所以我们建议使用简单的UI界面。这里我们使用ollam-ui。这个项目在github上。幸运的是,这个项目已经被gitcode添加了,所以下载吧。地址:GitCode – 面向全球开发者的开源社区和开源代码托管平台。

按照项目提示使用git将源码下载到本地,并进入源码目录。

git 克隆https://github.com/ollama-ui/ollama-ui

CD奥拉莫伊

然后就到了制作的时间了。

当然,如果你是一个C++开发者,这个make有点繁琐,但是你还是要面对make文件中的bash指令。最初,我直接打开Makefile并手动输入指令,绕过shasum指令。但不幸的是,index.html 文件中对css 和js 文件的引用具有SHA 验证,因此浏览器会阻止对js 和css 文件的访问。好信息:我在计算机上安装了cygwin 环境来查找编译轮,并将其直接输入到cygwin 命令行中并使用该bash 环境运行make。

Cygwin下载地址:Cygwin安装。下载并运行setup-x86_64.exe。安装程序会提示您从远程cygwin仓库中选择安装包并保存到c:\\cygwin目录下。对于我这种对C盘有极度恐惧症的人来说,这是非常难以接受的……好吧……实在是无法接受,因为它只有64M(当然你可以安装在其他盘上)。除了cygwin自己的核心工具之外,我的cygwin只安装了bash-completion-cmake和make。对于奥拉马维来说这已经足够了。

当我进入cygwin bash 命令行、进入ollama-ui 源代码目录并运行make. 时,我收到一条消息,指出shasum 指令不存在。嗯,如何找到解决方案并不重要。重要的是,这个shasum 想要检查ollama-ui/resources/目录中的校验码值。 ollama-ui 目录包含generate_integrity_hash.sh 脚本。该脚本可以为ollama-ui/resources目录中的css和js文件重新编程shasum验证代码值。所以当我直接在cygwin中运行时,结果显示“\\r”不是正确的命令。打开vscode,找到使用vscode的generate_integrity_hash.sh脚本,点击vscode窗口底部状态栏中的“CRLF”,将其替换为“LF”,保存,运行脚本,将输出新文件完毕。三个js文件中的值缺少1个shasum校验代码,所以修改代码。

#!/bin/bash

#

# 包含资源的目录

目录=\’./资源/\’

#

# 检查目录是否存在且不为空

if [ -d \’$directory\’ ] [ \’$(ls -A \’$directory\’)\’ ];

# 循环遍历目录中的每个.js文件

对于\’$directory\’*.* 的文件路径

# 如果文件不存在则跳过

[ -e \’$filepath\’ ] || 继续

# 计算sha384 哈希值并将其编码为base64。

完整性=$(openssl dgst -sha384 -binary \’$filepath\’ | openssl Base64 -A)

#从路径中提取文件名

文件名=$(基本名称\’$文件路径\’)

# 输出带有完整性属性的脚本标签

echo \’script src=\\\’${目录}${文件名}\\\’integrity=\\\’sha384-${integrity}\\\’crossorigin=\\\’anonymous\\\’/script\’

结尾

除此之外

echo \’目录为空或不存在。 \’

接下来,在cygwin 中运行命令。

./generate_integrity_hash.sh myshasum.txt

打开myshasum.txt,然后打开ollama-ui目录下的index.html,将Link和Script检查代码替换为新生成的shasum。

接下来,修改Makefile。

.PHONY: 默认下载资源web_server ollama_server

# 默认任务下载资源并启动ollam 和Web 服务器

默认: download_resources

@$(MAKE) -j 2 web_server ollama_server

网络服务器

网络服务器:

python -m http.server –bind 127.0.0.1

网络服务器

ollam_server:

奥拉马服务

# 下载资源任务

下载资源:

# 检查资源目录是否存在,不存在则创建

@if [ !-d \’资源\’ ];

mkdir -p ./资源/\\

cd ./资源/\\

卷曲-O https://cdn.jsdelivr.net/npm/bootstrap@5.3.1/dist/css/bootstrap.min.css \\

卷曲-O https://cdn.jsdelivr.net/npm/bootstrap@5.3.1/dist/js/bootstrap.bundle.min.js \\

卷曲-O https://cdn.jsdelivr.net/npm/marked@6.0.0/marked.min.js \\

卷曲-O https://cdn.jsdelivr.net/npm/dompurify@3.0.5/dist/purify.min.js;

卷曲-O https://code.jquery.com/jquery-3.7.1.min.js;

# 检查SHA-256 哈希值

#@shasum -c 资源.hash || 结束1

干净:

@rm -rf ./资源

我将python3 更改为python 并注释掉shasum 行。

然后,在cygwin 命令行上运行:make

然后,make 程序使用Python http.server 将当前目录更改为http 服务器,并使用index.html 作为服务器的主页。如果在浏览器中输入地址http://127.0.0.1:8000,ollama-ui页面将正确显示。

现在您可以在“发送”列中向您的模型说“你好”。

3.马鞍

ollma的另一个本地UI,下载地址:GitCode – 全球开发者开源社区,开源代码托管平台

由于交叉问题,本地直接在浏览器中打开index.html被阻止。同样,进入saddle源码目录,运行phthon -m http.server –bind 127.0.0.1。然后在浏览器中打开127.0.0.1:8000,你会看到类似这样的内容:

以上是我使用ollam-ui和saddle的经验。对于真正的专家来说,可能不算经验,但总会有像我这样的“专家”。

最后,我们推荐在线LLMS 和VLM 评估网站,您可以在其中体验许多大型模型的功能。地址:https://arena.lmsys.org/

最后,ollma-ui 中的index.html 的shasum 验证实际上并不是必需的。你可以自己做。

以上关于#win10配置ollam的相关内容摘自网络,供大家参考。相关信息请参见官方公告。

原创文章,作者:CSDN,如若转载,请注明出处:https://www.sudun.com/ask/91497.html

(0)
CSDN的头像CSDN
上一篇 2024年6月22日
下一篇 2024年6月22日

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注