求助各路大神，学校机器遇到大黑客了，会隐藏进程pid。

大佬您好！

我是国内某大学的苦逼博士生，但是碍于实验室老板需求，手里管理着一个17个节点的分布式小集群，但是现在很惨，应该是被一个大黑客入侵了。
1、该黑客入侵系统后，强行把我们机器上的所有nvidia-smi命令篡改为 cat /usr/bin/nvn这条命令，nvn是一个文本文件，里面是静态的nvidia-smi结果。
2、该黑客启动挖矿程序后，我们这边用其他手段查不到任何pid信息，只能查到显卡上有程序在运行。

这个是被劫持的nvidia-smi命令，但是这个不重要，可以修复


请问各位大佬有办法溯源这个无法查询pid信息的进程出处不？


这个是用gpustat查到的gpu是有使用，但是找不到进程pid

这个是我从别的机器复制的nvidia-smi命令得到的进程pid，但是在/proc/下完全找不到这个pid进程。

想请教各路大神，这种情况应该怎么继续查下去？我想把这个程序不通过reboot的方式kill掉，有办法吗？
听老师和同学说这个很像是黑客劫持了ps、top命令组织了进程pid的现实，但是这个深入到了内核层面，小弟完全无法理解，请大神们指教。
:'(16台机器无一台幸免，奈何才疏学浅，着急了一晚上没解决思路，请各位指教，不想重装，不太想重启，想解决问题。:Q
请各路神仙指教:Q:Q:Q

有事问ChatGPT呗，以下内容由AI生成：

感谢你的澄清！针对你所描述的情况，这里有一系列适用于 Linux 系统的步骤，帮助你排查和处理被入侵的问题。

### 1. 断开网络连接
立即断开受影响的 Linux 机器与网络的连接，避免进一步的损害或数据泄露。

### 2. 检查命令的完整性
确认 `nvidia-smi` 被篡改，可以使用以下命令检查文件的完整性：

```bash
stat /usr/bin/nvidia-smi
ls -l /usr/bin/nvidia-smi
```

### 3. 查找恶意进程
在 Linux 系统中，你可以尝试以下方法查找运行的恶意挖矿程序：

#### a. 使用 `lsof`
查看与 GPU 相关的设备文件是否被某个进程使用，可以用以下命令：

```bash
sudo lsof /dev/nvidia*
```

#### b. 使用 `ps` 和 `pstree`
列出所有进程并查看可能的可疑进程：

```bash
ps aux --sort=-%mem | head -n 10
pstree -p
```

#### c. 使用 `pgrep`
如果你知道挖矿程序的名称，可以使用 `pgrep` 查找它：

```bash
pgrep -af <挖矿程序名称>
```

### 4. 检查启动项和定时任务
#### a. 检查系统服务和启动项
检查系统服务和启动项，识别可疑的服务：

```bash
systemctl list-units --type=service --all
```

#### b. 检查 cron 任务
检查当前用户和系统范围的 cron 任务，以查找任何可疑的定时任务：

```bash
crontab -l
sudo crontab -l
sudo ls /etc/cron.*
```

### 5. 检查系统日志
查看系统日志以寻找异常活动，可以使用以下命令：

```bash
sudo less /var/log/syslog
sudo less /var/log/auth.log
```

### 6. 使用安全工具
如果你能进入安全模式或恢复模式，可以使用一些安全工具进行扫描，例如：

- **chkrootkit**: 检查是否存在 rootkit。
- **rkhunter**: 另一个用于检测 rootkit 的工具。

你可以使用以下命令安装并运行它们：

```bash
sudo apt install chkrootkit
sudo chkrootkit

sudo apt install rkhunter
sudo rkhunter --check
```

### 7. 备份和重装
如果以上步骤未能确认并清除恶意程序，强烈建议备份重要数据，然后重新安装操作系统。这将清除所有可能的恶意软件。

### 8. 更改密码和密钥
在重新安装操作系统后，确保更改所有相关账户的密码和密钥，以防被黑客再次访问。

### 9. 实施安全措施
在系统恢复后，实施更强的安全措施，例如：

- 使用防火墙（如 `ufw` 或 `iptables`）
- 安装入侵检测系统（如 `Fail2Ban`）
- 定期更新系统和软件包

### 10. 报告事件
特别是在工作环境中，建议向 IT 安全团队报告事件，以便进行全面的分析和防护。

### 11. 寻求专业帮助
如果情况复杂且你无法自己处理，建议联系专业的安全团队。

处理安全事件时，迅速且小心是至关重要的。确保在整个过程中保护数据和系统的安全。