【笔记】linux离线部署Ollama+Deepseek r1+open webui

昨天看到了实验室服务器文件夹下面有一个deepseek的gguf文件，就顺便部署一下
至于为什么要本地呢？https://chat.deepseek.com/downloads/DeepSeek%20Privacy%20Policy.html

可能有一些学术隐私的东西不方便被收集吧。（我应该没有关系，反正都是学术垃圾）

此外，也要感谢deepseek的开源精神！！！！！！

实验室服务器是ubuntu 18（没人管理升级），不能上外网。
看了一眼lm studio的linux，要求ubuntu20
https://lmstudio.ai/docs/system-requirements，所以选择了ollama。

在这里选择ollama+open webui进行部署。

1. 安装ollama

1.1 ollama是什么

这里就不多赘述了，别的大佬和成熟的文章都写了
Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。它允许用户非常方便地运行和使用各种大语言模型，比如Qwen模型等。用户只需一行命令就可以启动模型。

有一种Docker的感觉。

1.2 安装ollma

这里主要参考这篇文章：
linux离线安装Ollama并完成大模型配置（无网络）

ollama在github里面推荐使用sh安装，当然也有手动自定义配置。我们这里就直接参考上面的文章，修改sh文件，使用本地安装包进行安装。

1.2.1. 下载安装包

可以去github的release页面下载：https://github.com/ollama/ollama/releases

或者直接在官网下载：https://ollama.com/download/ollama-linux-amd64.tgz。我这里是amd64，就选择对应的安装包即可

1.2.2. 新建sh文件并运行

这里就直接参考上面文章了。

1. 在安装包同一目录下，新建一个install.sh文件，文本编辑器编辑，写入以下内容：

1. #!/bin/sh
2. # This script installs Ollama on Linux.
3. # It detects the current operating system architecture and installs the appropriate version of Ollama.
5. set -eu
8. status() {
10. echo ">>> $*" >&2; }
11. error() {
13. echo "ERROR $*"; exit 1; }
14. warning() {
16. echo "WARNING: $*"; }
18. TEMP_DIR=$(mktemp -d)
19. cleanup() {
21. rm -rf $TEMP_DIR; }
22. trap cleanup EXIT
24. available() {
26. command -v $1 >/dev/null; }
27. require() {
30. local MISSING=''
31. for TOOL in $*; do
32. if ! available $TOOL; then
33. MISSING="$MISSING $TOOL"
34. fi
35. done
37. echo $MISSING
38. }
40. [ "$(uname -s)" = "Linux" ] || error 'This script is intended to run on Linux only.'
42. ARCH=$(uname -m)
43. case "$ARCH" in
44. x86_64) ARCH="amd64" ;;
45. aarch64|arm64) ARCH="arm64" ;;
46. *) error "Unsupported architecture: $ARCH" ;;
47. esac
49. IS_WSL2=false
51. KERN=$(uname -r)
52. case "$KERN" in
53. *icrosoft*WSL2 | *icrosoft*wsl2) IS_WSL2=true;;
54. *icrosoft) error "Microsoft WSL1 is not currently supported. Please use WSL2 with 'wsl --set-version <distro> 2'" ;;
55. *) ;;
56. esac
58. VER_PARAM="${OLLAMA_VERSION:+?version=$OLLAMA_VERSION}"
60. SUDO=
61. if [ "$(id -u)" -ne 0 ]; then
62. # Running as root, no need for sudo
63. if ! available sudo; then
64. error "This script requires superuser permissions. Please re-run as root."
65. fi
67. SUDO="sudo"
68. fi
70. NEEDS=$(require curl awk grep sed tee xargs)
71. if [ -n "$NEEDS" ]; then
72. status "ERROR: The following tools are required but missing:"
73. for NEED in $NEEDS; do
74. echo " - $NEED"
75. done
76. exit 1
77. fi
79. for BINDIR in /usr/local/bin /usr/bin /bin; do
80. echo $PATH | grep -q $BINDIR && break || continue
81. done
82. OLLAMA_INSTALL_DIR=$(dirname ${
84. BINDIR})
86. status "Installing ollama to $OLLAMA_INSTALL_DIR"
87. $SUDO install -o0 -g0 -m755 -d $BINDIR
88. $SUDO

复制代码