【AI落地应用实战】利用 Amazon Bedrock Claude3 打造个性化 AI Character 应用

目录
一、引言：AI Character应用的市场前景与技术基础
二、技术架构设计
2.1、整体方案概述
2.2、核心组件介绍
2.3、部署架构图
三、系统部署方案
3.1、方案总述
3.2、实践流程
1️⃣. Bedrock 配置
2️⃣. 安装 SillyTavern
3️⃣. 配置 SillyTavern 使用 Claude3 模型
4️⃣. 使用 AI Character Editor 角色管理器
四、总结与展望

新用户可获得高达 200 美元的服务抵扣金

亚马逊云科技新用户可以免费使用亚马逊云科技免费套餐（Amazon Free Tier）。注册即可获得 100美元的服务抵扣金，在探索关键亚马逊云科技服务时可以再额外获得最多 100 美元的服务抵扣金。使用免费计划试用亚马逊云科技服务，最长可达 6个月，无需支付任何费用，除非您选择付费计划。付费计划允许您扩展运营并获得超过 150 项亚马逊云科技服务的访问权限。

一、引言：AI Character应用的市场前景与技术基础

随着生成式人工智能（Generative AI，简称GenAI）技术的飞速发展，我们正步入一个由AI驱动的全新时代。从智能客服、虚拟助手到创意内容生成，GenAI正在深刻改变我们与数字世界的交互方式。在众多创新应用中，AI Character（AI角色）以其独特的魅力和广阔的市场前景脱颖而出。通过赋予AI鲜明的个性、情感和行为模式，我们能够创造出栩栩如生、引人入胜的数字伙伴，为用户带来前所未有的个性化和沉浸式互动体验。

与此同时，亚马逊云科技的Amazon Bedrock服务，作为一项全面托管的基础模型（Foundation Model，简称FM）服务，提供了一个安全、可扩展且功能丰富的平台，使得开发者能够专注于AI Character的创意和业务逻辑，而无需过多关注底层基础设施的复杂性。

在这里插入图片描述
本文将深入探讨如何利用Amazon Bedrock的强大能力与Claude3的先进智能，结合SillyTavern和AI Character Editor等工具，从零开始打造一个功能完善的个性化AI Character应用，并重点分享其背后的实践流程与方法论，旨在为广大AI爱好者和开发者提供一份详尽的落地应用指南。

二、技术架构设计

构建个性化AI Character应用，需要一套清晰且高效的技术架构来支撑。本方案的核心在于利用Amazon Bedrock的托管服务优势，结合Claude3的强大语言理解与生成能力，并通过SillyTavern和AI Character Editor等工具，实现从模型调用到用户交互的无缝衔接。以下是本应用的技术架构设计及其核心组件的详细介绍。

2.1、整体方案概述

本方案旨在提供一个端到端的解决方案，使用户能够高效地创建、部署并与个性化AI Character进行交互。其核心思想是：

利用Amazon Bedrock作为后端大模型服务，提供稳定、可扩展的Claude3模型推理能力；
SillyTavern作为前端聊天界面，提供丰富的交互功能和角色管理；
AI Character Editor则作为角色创作工具，帮助用户直观地定义AI Character的个性与行为。三者协同工作，共同打造沉浸式的AI Character体验。

2.2、核心组件介绍

Amazon Bedrock
Amazon Bedrock是亚马逊云科技提供的一项全面托管服务，它通过统一的API接口，让开发者能够轻松访问来自领先AI公司（如Anthropic、Meta、AI21 Labs等）以及亚马逊自研的高性能基础模型（FM）。Bedrock不仅提供了多样化的模型选择，以适应不同的业务场景需求，更重要的是，它提供了一系列围绕生成式AI的广泛功能，确保在安全、隐私和负责任的AI原则下构建应用。
Claude3
Claude3是Anthropic公司最新发布的大型语言模型系列，包含Haiku、Sonnet和Opus三个模型。这三个模型在智能度、推理速度和成本效益方面各有侧重，为用户提供了灵活的选择空间。Claude3系列在保留了其前身Claude2出色对话能力的基础上，显著增强了常识推理、上下文理解和多轮对话的性能。
SillyTavern
SillyTavern是一个开源的、高度可定制的本地聊天前端，专为与各种AI模型（包括通过API访问的远程模型）进行交互而设计。它提供了一个开箱即用的聊天环境，内置了丰富的角色库，用户可以快速试用各种预设的AI角色。SillyTavern的强大之处在于其灵活的配置能力，允许用户自定义聊天界面、角色行为、记忆管理等，从而实现与AI Character的深度个性化互动。
AI Character Editor
AI Character Editor是一个直观的角色卡编辑工具，它允许用户以结构化的方式定义AI Character的各项属性。角色卡通常包含角色的名称、背景故事、性格特征、对话风格、记忆、示例对话等关键信息。通过这个工具，用户可以像设计一个真实人物一样，细致地塑造AI Character的“灵魂”。

2.3、部署架构图

本应用的部署架构相对简洁，主要基于一台Amazon EC2实例。具体部署方式如下：

计算资源：我们将选择一台Amazon EC2 t3.medium实例作为核心计算平台。t3.medium实例提供了适中的计算和内存资源，足以运行SillyTavern和AI Character Editor，并处理与Amazon Bedrock的API通信。
网络配置：为了确保用户能够访问部署在EC2实例上的应用，我们需要配置EC2实例的安全组，开放特定的网络端口。具体而言，AI Character Editor将暴露在8080端口，而SillyTavern将暴露在8000端口。这些端口将允许来自外部网络的HTTP/HTTPS请求。
后端模型集成： SillyTavern将通过配置，使用Amazon Bedrock上的Claude3 Sonnet模型作为其后端大模型。这意味着当用户在SillyTavern中与AI Character对话时，SillyTavern会将用户的输入发送到Amazon Bedrock的Claude3 Sonnet API，接收模型生成的回复，并将其展示给用户。这种架构实现了前端应用与后端大模型服务的解耦，提升了系统的可扩展性和维护性。

简而言之，用户将通过浏览器访问部署在EC2实例上的SillyTavern（通过EC2实例IP:8000）与AI Character进行交互，并通过AI Character Editor（通过EC2实例IP:8080）创建和管理AI Character。所有的AI推理任务都将由Amazon Bedrock上的Claude3 Sonnet模型完成。

三、系统部署方案

3.1、方案总述

本实践流程遵循“模块化部署、逐步集成、验证反馈”的方法论。首先，我们将独立部署和配置各个核心组件（Amazon Bedrock模型访问、EC2实例、SillyTavern和AI Character Editor）。随后，通过精确的配置，将这些组件逐步集成起来，形成一个完整的AI Character应用系统。在每个关键步骤，我们都将强调验证的重要性，确保前一步骤的成功执行是后续操作的基础。这种方法论不仅有助于降低部署的复杂性，还能在出现问题时快速定位并解决。

3.2、实践流程

1️⃣. Bedrock 配置

首先进入亚马逊云科技海外站官网，点击亚马逊云科技海外区域，立即注册：

在这里插入图片描述
然后进入Amazon海外站官网，输入Bedrock，点击Amazon Bedrock进入详情页

在这里插入图片描述

然后点击入门，进入Amazon Bedrock控制台，进入后点击概览（Overview），我们可以看到 Amazon Bedrock 支持的多种基础模型（Foundation Model），其中包括 Amazon Titan，Anthropic Claude，Jurassic，Command，Mistral，Stable Diﬀusion 以及 Llama3。这些基础模型涵盖了文本生成、图像生成等多种应用场景，无论是个人开发者还是大型企业，都可以通过Amazon Bedrock来构建和部署高质量的生成式AI应用程序。

在使用 Bedrock 的模型之前，需要申请模型的访问权限。在模型访问申请页面中，首先点击右上方的“Manage model access”。

在这里插入图片描述

然后，在“Anthropic”提供商提供的“Claude3 Sonnet”模型前打勾。
勾选 Claude3 Sonnet 并填写使用用例后，滚动到页面底部，点击“Save changes”，完成模型访问的申请。

2️⃣. 安装 SillyTavern

SillyTavern 是一款开源的角色扮演聊天前端界面，通过它您能够方便地加载角色，连接后端大语言模型，快速开始聊天。

创建 EC2 实例
在 EC2 控制台中，点击侧边栏的“Instances”，进入实例页面，点击右上方的橙色按钮“Launch instances”创建新实例。在 Amazon Machine Image 中选择“Ubuntu Server 22.04 LTS (HVM)”，Instance type 则在下拉选单中选择“t3.medium”类型。

在这里插入图片描述
配置磁盘大小为 30GB。

在 Inbound Security Group Rules 中，需要配置三条规则：

SSH 规则：端口为 22，便于我们登录到服务器做相关配置。
HTTP 规则 (SillyTavern)：端口“8000”，用于访问 SillyTavern。
HTTP 规则 (Character-editor)：端口“8080”，用于访问 Character-editor。

连接到实例
在连接实例之前，需要先在 EC2 实例页面确认实例已完全启动，Status check 显示为绿色。
在这里插入图片描述
配置 Node.js 运行环境
SillyTavern 需要 Node 20.x 以上的版本作为其运行时环境。请按照以下步骤安装 Node.js 环境：

sudo apt update
curl -sL https://deb.nodesource.com/setup_20.x | sudo -E bash -
sudo apt install nodejs -y

安装完成后，您可以通过以下命令检查 Node.js 和 npm 的版本，以验证是否安装成功：

node --version
npm --version

部署 SillyTavern
首先，克隆 SillyTavern 代码到本地：

cd ~
git clone https://github.com/Chen188/SillyTavern.git -b bedrock

接下来，配置 SillyTavern 访问设置。在 SillyTavern 目录下，打开 config.yaml 文件，修改以下参数以实现安全的远程访问：

listen: truewhitelistMode: falsebasicAuthMode: truebasicAuthUser: # 设定的远程登录 sillytavern 的用户名和密码username: your_username # 输用户名password: your_password # 输密码，默认为 user/password

3️⃣. 配置 SillyTavern 使用 Claude3 模型

在浏览器中，输入 http://<ec2 public ip>:8000。在弹出的用户名密码对话框中输入在 config.yaml 配置文件中填写的用户名密码，进入 SillyTavern 欢迎页面。在首页提示框中，输入用户名，也可以使用默认值“User”。
在这里插入图片描述
点击顶部的插头图标，选择 API 为 Chat Completion，并在 Chat Completion Source 处配置后端为 Amazon Bedrock。

在 Amazon AKSK 处，填写在创建资源步骤中新建的 IAM User 的 Access Key 和 Secret Key，点击 Connect 连接到 Bedrock。如果您期望通过 IAM Role 分配访问权限，则可以先创建一个带有 Amazon Bedrock 访问权限的 IAM Role，然后绑定到 EC2 服务器上，您可以参考亚马逊云科技文档来执行此操作，之后将 SillyTavern 中的 AKSK 留空。

4️⃣. 使用 AI Character Editor 角色管理器

除了和 SillyTavern 预置的角色聊天外，还可以通过 AI Character Editor 来创造自己的角色卡。

配置 AI Character Editor
登录到 EC2，从 GitHub 拉取 AI Character Editor 的代码：

git clone https://github.com/ZoltanAI/character-editor.git

安装 HTTP 服务器并启动 AI Character Editor：

cd character-editor
sudo npm install -g http-server
http-server

启动成功后，您将看到相应的提示。此时，AI Character Editor 已在 8080 端口启动。
打开角色管理器界面
在浏览器中输入 http://:8080 打开角色管理器界面。
填写完成后，点击 Export 中的“Download as Character JSON”下载角色卡图片。
导入角色到 SillyTavern
打开 SillyTavern，点击右上角的“Import character”按钮。SillyTavern 会自动从图片中读取 JSON 数据并导入角色。之后角色就会出现在列表中。
在这里插入图片描述

四、总结与展望

无论您是开发者还是企业用户，亚马逊云科技都为您提供750小时的Amazon EC2计算资源、5GB的Amazon S3存储和750小时的Amazon RDS数据库服务，让您免费体验云端的高效与稳定。
在这里插入图片描述

个性化AI Character应用拥有广阔的未来发展空间，而Amazon Bedrock和Claude3等技术将持续推动这一领域的创新。未来，我们可以预见以下几个发展方向：

更复杂的角色行为与情感表达：随着大模型能力的进一步提升，AI Character将能够展现出更细致入微的情感变化、更复杂的决策逻辑和更具深度的个性，使其与用户的交互更加自然和富有情感。
多模态交互的深度融合：除了文本对话，AI Character将更广泛地支持语音、图像、视频等多模态交互。例如，用户可以通过语音与AI Character对话，AI Character能够理解图像内容并生成相应的视觉反馈，甚至能够生成具有表情和肢体语言的虚拟形象，实现真正的沉浸式体验。
与外部系统的无缝集成： AI Character将不再局限于简单的对话，而是能够通过API与外部系统（如日历、邮件、智能家居设备、电商平台等）进行交互，执行更广泛的任务，成为用户的智能助理。
个性化定制的普及与自动化：随着AI Character Editor等工具的智能化，用户将能够更便捷、更自动化地定制AI Character，甚至可以根据用户的行为数据和偏好，自动生成或调整AI Character的个性。
垂直领域的专业化应用： AI Character将在教育、医疗、心理咨询、客户服务等垂直领域发挥更大的作用，例如作为个性化教师、健康顾问或虚拟治疗师，提供专业化、定制化的服务。

Amazon Bedrock作为托管服务，将持续集成最新的基础模型和功能，为开发者提供强大的后盾。Claude3及其后续版本也将不断突破性能边界，为AI Character注入更强大的智能。我们期待在不久的将来，个性化AI Character能够成为我们日常生活中不可或缺的一部分，为人类带来更丰富、更智能的交互体验。

以上就是本文的全部内容啦。最后提醒一下各位工友，如果后续不再使用相关服务，别忘了在控制台关闭，避免超出免费额度产生费用～