私有 AGI 之路

Offline is all you need!

概述

OpenAI 在 ChatGPT / GPT4 的加持下风头尽出, GPTs 更是直接断了很多基于 ChatGPT 开发应用的后路。

那么脱离了 ChatGPT,类似的应用还能不能做呢？这就是《Offline is all you need!》 所讨论的问题。

目前 2023-11-12, 我们得明确，其他开源的 LLM (llama, chatglm 等等)是跟 GPT4 是有差距的，所以私有部署 LLM, 不能保证能达到各 GPTs 所提供的服务能力，但是可以通过整合其他模型，其他系统提升 LLM 在企业工作流中的作用，达到降本增效的目的。

私有 AGI 不仅仅是一个 LLM 能解决的，还需要通过整合 Agent, LLM 的 function call , embedding 等技术，做出私有的 "GPTs", 整合企业内网，实现较好的垂直应用。

准备知识

如何找到和下载模型

随着 AI 领域的发展，国内外都诞生了统一托管，共享模型的网站，可以找到最新的模型信息以及下载模型

国内

国外

准备知识

LLM

图片

音频

视频

私有 AGI 实践

AGI 应用实践

资源列表

LMM 大语言模型

国内模型列表

国外模型列表

TTS 文本转语音模型

模型列表

使用教程/代码

ASR 语音自动识别

环境准备

快速安装 Miniconda 和 pip 加速以及 PyTorch 安装

AI 应用中，使用最多的开发语言是 Python,pip 是 Python 安装依赖包的工具， 不同项目会有不同的依赖，还会有同一个库的不同版本依赖，所以我们还会用一些 Python 的版本管理工具， miniconda 就是简单好用的一个.

安装 Miniconda

下载地址：https://conda.io/miniconda.html

  • Windows 需要 Windows 10 和 11

可以直接下载安装 exe: Miniconda3 Windows 64-bit

  • Linux
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

安装完成后，不同的 sh 做一下配置

~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh

最后重新启动 Terminal 或者执行

# bash 如下
. ~/.bashrc
  • MacOs
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh


~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh

PIP 加速

原理: 使用国内镜像源

  • 腾讯云镜像源
pip config set global.index-url https://mirrors.cloud.tencent.com/pypi/simple

执行后， pip install 便会使用腾讯云镜像源

  • 清华大学镜像源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

PyTorch 安装

官方网页:https://pytorch.org/get-started/locally/

# 比如安装 cu118 
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

在 WSL2 和 Hyper-V 中使用 Nvidia Cuda 功能

在 Windows 上直接测试应用一些 AI 程序，有时候会遇到一些不兼容问题，如果是生产环境，直接用 Linux 系统就解决问题。 如果需要在测试或者验证过程中在 Windows 下可以使用 WSL2 和 Hyper-V 安装 Linux 系统来做替代。

注意事项

  • Linux 版本推荐使用 Ubuntu 22.04 LTS , 因为 nvidia WSL cuda 目前只提供了 ubuntu 的包。
  • 目前 nvidai 官方表示只支持 geforce 显卡。

WSL2 支持 cuda

  • Nvidia 官方说明

https://docs.nvidia.com/cuda/wsl-user-guide/index.html

  • CUDA 下载地址

https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=deb_local

Hyper-V 支持 cuda

Hyper-V 的支持主要有一下两个 github 仓库说明:

  1. https://github.com/brokeDude2901/dxgkrnl_ubuntu/
  2. https://github.com/5l1v3r1/dxgkrnl_ubuntu

第二个其实是 fork 第一个，做了一些其他说明。

辅助工具

Token 计算工具

支持多种模型的 Token 计算

https://tokens.404.net.cn/

Token 计算工具