【极客湾-数字派蒙制作思路】

1. 语音识别：利用阿里达摩院的Paraformer模型将用户输入的语音转换成文字内容，作为ChatGPT模型的输入，并且与语音应答模型配合完成应答的过程。

2. 基于ChatGPT创建语言模型：使用OpenAI的ChatGPT进行训练，通过多轮对话生成自然语言应答模型。

3. VITS语音生成模型：使用VITS语音生成模型将模型产生的文字转成语音。

4. 基于BERT的情绪分类:使用Google开发的BERT模型进行情感分类，将AI回答的语言进行情感分析，并根据结果对数字人做出相应的表情和动作预设。

5. UE5作为前端:使用UE5作为前端展现数字人物的表情和动作，将数字人物以及对话框等元素组合到一起呈现给用户。

【对话生成-ChatGPT】

1. API的申请：调用OpenAI提供的API，使用机器学习模型进行文本生成，快捷地响应用户的提问，并且产生自然语言的应答。

2. 使用 GPT-3.5 接口或网页版 ChatGPT Plus 进行对话，可以使用 API 或抓取网页版输出结果。

3. 如果使用网页版 ChatGPT Plus，需要开一个浏览器、自动登录、输入文字等操作，利用 GitHub 上的大神逆向出来的网页版使用的所有 API，在使用过网页版之后抓取浏览器 cookie，获取账号权限后即可在 Python 中调用。

4. 设计两个方案：如果想要实时应答且不需要那么聪明，直接调用API的 GPT-3.5（OpenAI 按流量收费）；如果想要更聪明准确的回答，可以接受速度慢一些，或者当 API 被薅没挂了的话，使用网页版抓取回答，GPT-3.5 和 GPT-4 都可以使用。后者需要自己有 Plus 账号。

5. 对于 GPT-4 这种大模型，由于它是字一个字地推理的，回答稍微长一点的问题要等很久。为了优化对话效率，可以在它推理完第一句话的时候开始后面语音和情绪的计算，这样相当于并行处理，可以不用等这么久。

1. 催眠 ChatGPT，让它觉得自己是派蒙，可以使用提示词，加上派蒙的性格介绍和语录等方式让它学习派蒙的语气。

2. 如果是 GPT-3.5 的话，由于允许输入的长度更短，需要准备一套不同的提示词来精简描述。

3. 在角色扮演方面，虽然最早的 New Bing 效果最好，但现在不行了，所以 ChatGPT 效果更好一点。

4. 比较 GPT-3.5 和 GPT-4 的回答效果，可以明显感觉出 GPT-4 的回答更有人性。

5. 选择一个合适的语音模型，作者选择使用GPT3.5，因为它在速度和实用性方面更优于GPT4。

【语音生成-VITS】

1. 进行文字转语音的操作，作者选择使用VITS网络，这个网络可以通过大量的声音样本来训练，达到较好的还原度，作者选择了派蒙这个角色来训练VITS，因为在原神游戏里面派蒙有整整一万多条语音样本，比其他角色拥有的样本数量要多很多，同时声音训练需要强大的GPU算力。

【角色动画-UE5】

1. 通过在虚幻引擎中塞入一个派蒙模型，让它说话时嘴巴动起来，加入一些待机动作以及根据情绪设计相应的动作和表情。

【情绪识别-BERT】

1. 利用情绪识别技术，对ChatGPT给出的回答进行情绪分类，从而让派蒙能够做出相应的情感反应。

2. 使用BERT来判断角色的情绪。BERT是一个编码器，可以让机器理解我们的语言，并表示在一个向量空间中。我们手动标记一些样本告诉电脑这两句话都是“高兴”的意思，那两句话都是“伤心”的意思，经过训练就可以借助BERT来判断情绪了。

1. 使用PERT（哈工大和科大讯飞做的BERT的变体）来训练。PERT与传统的BERT相比主要在训练方式上有所区别，它将一句话随便挑几个词打乱顺序，再拿给AI看，让他预测正确顺序，从而理解上下文

2. 手动标记多个句子，将它们分为6类情绪，训练PERT，让它知道如何在向量空间里划清情绪的界限。

3. 经过简单的微调后，现在可以随便给PERT输入一句话，它就能判断出你是生气还是高兴。

4. 将情绪标注和虚幻引擎里已经做好的表情和动作关联起来，制作AI派蒙。

【极客湾开源】

1. 免费开放数字生命给大家使用。可以在安卓手机上和数字生命对话，也可以直接在PC上对话。对于中文的效果明显更加接地气。

2. 在使用数字生命时需要一台至少9系N卡的Windows电脑，或者用安卓版也需要一台N卡的PC，因为VITS的AI语音是依赖cuda来合成的。同时数字生命分为服务端和客户端两个部分，可以选择API版或本地启动客户端，也可以通过局域网连到PC的服务端，还可以试试网页版ChatGPT。

3. 网页版数字生命需确保网络能够连上ChatGPT，并登录ChatGPT扒出通行证令牌。

4. 网页版还加入了洗脑模式，随时可优化和更换提示词和性格。