人工智能AI合集：Ollama部署对话语言大模型，人工智能对话模块

目录

单击此处查看所有博客文章

随着人工智能技术的快速发展，人工智能不再是一个遥远的高科技概念，而是逐渐融入我们的日常生活。从智能手机上的语音助手到家庭中的智能扬声器，再到工业自动化和医疗诊断，人工智能应用无处不在。然而，要真正掌握和应用这些技术，不仅需要理论知识，还需要实际操作。这是嵌入式AI学习的核心。

嵌入式系统是现代电子设备的核心，与AI技术结合，为智能设备的发展带来无限可能。从简单的自动化任务到复杂的图像和语音识别，嵌入式人工智能开发板提供了学习这些技术的理想平台。它不仅易于操作，而且具有足够的功能，可以满足从初学者到专业人士的每个人的需求。

对于大多数人来说，人工智能应用在日常生活中随处可见。例如，最常见的是停车场的车牌识别、工作中打卡机的面部识别以及允许自由对话的语音助手。它们都有一个共同点：体积小、功能强大。这些应用的实现都离不开嵌入式AI。

人工智能技术的不断发展和普及将使我们的生活更加智能、更加便捷、更加高效。人工智能将继续渗透到更多领域，给我们的生活带来更多惊喜和便利。无论是智能家居、智能交通、智能医疗，还是智能制造，人工智能对于推动科技不断进步和社会发展都发挥着重要作用。

因此，学习和掌握人工智能技术变得越来越重要。只有不断学习、实践、创新，我们才能成功迎接未来的挑战和机遇。

本系列博客中提到的所有材料均来自网络，并非本人原创（仅博客是本人撰写）。出于热情，我整理了自己的学习笔记，并推出了相应的教程供其他人学习。我无意谋取个人利益，将尽自己最大的努力为国内人工智能产业的发展做出贡献。如有侵权，请告知。我们将立即停止更新并删除相关文章和代码。

文章目录

安装目录ollama 配置部署局域网接入安装统一钱文ollama-webui

安装ollama

安装ollam，一个大型模型聚合平台。轻松管理不同的语言模型。运行“curl -fsSL https://ollama.com/install.sh | sh”运行安装步骤并输入密码“Mind@123”。

（基础）HwHiAiUser@orangepiaipro:~$curl -fsSL https://ollama.com/install.sh |

正在下载奥拉玛.

############################################## ## ## # ############## 100.0%##O##-#

正在将ollam 安装到/usr/local/bin.

[sudo] HwHiAiUser: 的密码

奥拉姆正在创建用户.

正在将ollam 用户添加到渲染组.

正在将ollam 用户添加到视频组.

正在将当前用户添加到ollam 组.

正在创建ollam 系统服务.

启用并启动ollam 服务.

我创建了一个符号链接/etc/systemd/system/default.target.wants/ollama.service /etc/systemd/system/ollama.service。

Ollama API 现已在127.0.0.1:11434 上提供。

安装完成。从命令行运行“ollam”。

警告： 未检测到NVIDIA/AMD GPU。 Ollama 在仅CPU 模式下运行。

出现一条消息，表明您的开发板没有GPU 显卡（警告： 未检测到NVIDIA/AMD GPU。Ollama 将在仅CPU 模式下运行）。具体原因我不知道，但是执行性能可能比较差。请暂时忽略它。

输入ollam –version 检查安装是否成功。得到的ollam版本是0.2.7，表明一切都很好。

（基础）HwHiAiUser@orangepiaipro:~/Downloads/byte-unixbench/UnixBench$ ollama –version

Orama版本是0.2.7

配置局域网访问

设置Ollama配置以支持LAN访问，修改/etc/systemd/system/ollama.service文件，在Masu下添加行Environment=\’OLLAMA_HOST=0.0.0.0:11434\’，然后保存。

[单元]

描述=Orama 服务

After=网络在线.目标

[服务]

ExecStart=/usr/local/bin/ollamaserve

用户=奥拉玛

组=奥拉玛

重新启动=始终

重启秒=3

环境=\’PATH=/home/HwHiAiUser/.local/bin:/usr/local/Ascend/ascend-toolkit/latest/bin:/usr/local/Ascend/ascend-toolkit/latest/compiler/ccec_compiler/bin:/usr/local /miniconda3/bin:/usr/local/miniconda3/condabin:/usr/local/Ascend/ascend-toolkit/laster/bin:/usr/local/Ascend/ascend-toolkit/laster/compiler/ccec_compiler/bin:/usr/local/sbin: /usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin\’

环境=\’OLLAMA_HOST=0.0.0.0:11434\’

[安装]

WantedBy=default.target

运行sudo systemctl daemon-reload 重新加载systemctl，然后运行sudo service ollama restart 重新启动服务。最后，如果curl http://192.168.101.8:11434测试通过并且返回“Ollama is running”，则说明配置成功。

(基础) HwHiAiUser@orangepiaipro:~$ sudo systemctl daemon-reload

(基础) HwHiAiUser@orangepiaipro:~$ sudo service ollama restart

(基地) HwHiAiUser@orangepiaipro:~$卡尔http://192.168.101.8:11434

Orama 正在运行（基地）

部署通义千问

根据ollam官方文档，使用7B语言模型至少需要8G内存。

型号参数尺寸下载Llama 38B4.7G Bollama 兰花Llama 3 Llama 370B40G Bollama 兰花llama3:70b phi 3 Mini 3.8B2.3G Bollama 兰花phi3Phi 3 Medium 14B7.9G Bollama 兰花phi3:mediumGemma 29B5.5GBBollama 兰花d gemma2Gemma 227B 16G Bollama 兰花Gemma 2:27b Mistral 7B4.1G Borama Run Mistral Moon Dream 21.4B829M Borama Run Moondream 神经聊天7B4.1G Borama Run 神经聊天Starling 7B4.1G Borama Run Sterling-lmCode Llama7B3.8G Borama Run Codera Marama 2 未经审查7B3.8G Borama Run llama2-unchanedLLaVA7B4.5G Borama Run llavaSolar10 .7B6.1G Borama Run 太阳能

Note: 您需要至少8 GB RAM 来运行7B 模型，16 GB 来运行13B 模型，32 GB 或更多RAM 来运行33B 模型。

我们的开发板共有8G内存，除去系统开销，可用内存只有6.3G。

（基础）HwHiAiUser@orangepiaipro:~/Downloads/byte-unixbench/UnixBench$ free -h

可用的免费共享增益/缓存总数

Mem: 7.4Gi 859Mi 2.9Gi 49Mi 3.6Gi 6.3Gi

互换： 0B 0B 0B

从表中看，唯一的选择是Moondream 2 和Phi 3 Mini。其实官方仓库里有大量的语言模型，你只需要找到一个小于8B的就可以了。本次测试使用阿里巴巴发布的统一钱文大规模模型部署。运行命令ollama run qwen:0.5b 安装统一钱文0.5B。此安装将花费更多时间。在等待安装的过程中，您可以打开另一个终端并继续下一步以跳过等待过程。

(基础) HwHiAiUser@orangepiaipro:~$ ollama 运行qwen:0.5b

拉取清单

拉取fad2a06e4cc7.100% 394 MB

拉取41c2cf8c272f.100% 7.3 KB

拉动1da0581fd4ce.100% 130 B

拉f02dd72bb242.100% 59 B

减去ea0a531a015b.100% 485 B

验证sha256 摘要

写一份宣言

删除未使用的图层

成功

部署完成后，您将可以直接访问控制台，但它还不够高端，只有您可以使用它。如果其他人想使用它怎么办？

(基础) HwHiAiUser@orangepiaipro:~$ ollama 运行qwen:0.5b

你好

你好！你能做什么？

你是谁

我是阿里云的大规模语言建模师。如果您有任何疑问或需要帮助，请随时告诉我们。我们将尽力提供支持和解答。

安装ollama-webui

安装ollam前端交互界面。这里我们将使用我们之前在开发环境中安装的docker。通过运行以下命令安装open-webui 容器：

(基础) HwHiAiUser@orangepiaipro:~$ docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart 始终ghcr .io/open-webui/open-webui:main

本地未找到图像“ghcr.io/open-webui/open-webui:main”

Main: 从open-webui/open-webui 拉取

ea235d1ccf77: 拉取完成

26f13e32d8cd: 拉取完成

e569c3fca503: 拉取完成

8cae6dc67aef: 拉取完成

153915d34d13: 拉取完成

761886d9fb03: 拉取完成

4f4fb700ef54: 拉取完成

004754e7f3d1: 拉取完成

4495941f96a2: 拉取完成

2bb7e3b0ae41: 正在下载[=======] 40.45MB/288.1MB

abd18b7d3c36: 下载完成

49800a7fbb5c: 正在下载[==] 32.38MB/727.9MB

25281b23f845: 下载[================================] 32.91MB/54.66MB

67196eb5d079: 等待

85f88c980917: 等待

48fbf4ab6c66: 等待

安装完成后，通过http://{ip}:{port}访问open-webui。这里使用的访问地址是http://192.168.101.8:3000。首次登录时，您必须注册一个帐户。

注册完成后您将自动登录。登录后，将显示管理员面板。

点击“设置”，首先更改Ollama API地址用于外部连接。将此更改为http://192.168.101.8:11434。单击刷新按钮并检查是否有弹出窗口表明服务器连接已验证。接下来，我们建议关闭OpenAI API 访问按钮，最后单击“保存”。

如果连接Ollama API 这一步报错“WebUI 无法连接Ollama”，可能是LAN 接入配置不正确。

当我在开发板上运行curl http://192.168.101.8:11434时，它报告“连接被拒绝”错误。使用sudo lsof -i :11434 检查端口状态显示localhost，表明Ollama 配置为仅使用localhost 进行访问。

(基地) HwHiAiUser@orangepiaipro:~$卡尔http://192.168.101.8:11434

curl: (7) 0 ms: 连接被拒绝后无法连接到192.168.101.8 端口11434

(基础) HwHiAiUser@orangepiaipro:~$ sudo lsof -i :11434

命令PID 用户FD 类型设备大小/关闭节点名称

Orama 10749 Orama 3u IPv4 53543 0t0 TCP localhost:11434（监听）

（基础）HwHiAiUser@orangepiaipro:~$curl http://localhost:11434/

Orama 正在运行（基地）

由于Ollama安装在宿主机上，Ollama-webui安装在docker上，所以它们的网络环境不同，无法通过docker上的localhost:11434访问Ollama。这里需要参考上面提到的LAN访问设置，并在安装Ollama时修改配置文件。

返回首页，选择刚刚安装的Qianwen 0.5B，即可畅玩。

#ArtificialIntelligence 以上有关AI 集合的信息：Ollama 为会话语言部署了一个大规模的模型相关内容源网络。相关信息请参见官方公告。