Contact Information
ShenZhen
Colin.w@aliyun.com
Ph: 18688414288

Exploration and Application of AI Design

这是系统的对AI的探索与实战的应用。真正的帮助了业务与落地。

⭕️ AI Agent Design

智能体的设计

设计思路

AI的发展突飞猛进,尤其是在大模型上面。已经具备替代搜索、百科等。
几乎每个人都会使用用如豆包、DeepSeek等作为日常咨询使用。
但实际上,AI Agent才应该是真正具有专业的、提升事情的、满足个性与业务场景的正确的AI用法。以下是一些举例:
- 本网站的搭建和配置,是AI Agent全程支持;
– 独立站,如Shopify这种,整个主题完全可以由AI Agent来写出来,并能做到和设计图同步上线;
– 企业的行政助理,轻松配置一个智能体,回答所有企业的信息,行政帮助信息,办公的各类咨询等;

接下来是AI Agent的设计思路。

由3个必要的部分组成:
提示词 Prompt: 行为准则,定义智能体的角色、目标和行为边界,是引导模型输出符合预期的 “指令核心”。
技能 Skills:工具包,智能体完成任务所需的 “能力集合”,包括内置功能和外部工具调用能力,决定了智能体的 “能干什么”
记忆 Memory:存储与环境交互的历史信息,让智能体具备 “上下文感知” 和 “经验积累” 能力,避免 “失忆”。有短期记忆(Context Memory)和长期记忆(Persistent Memory)

1个加分部分:
执行流程 Workflow:它负责协调各个组件(如提示词、技能、记忆等)按逻辑顺序运转,确保任务从接收、处理到完成的全流程顺畅执行。

智能体演示视频

行政助理

从办公室制度,Wifi密码,财务,出差,晋级管理的各类回答均可以提供解答。而且响应快,不会有情绪。

工作配置

设置好提示词也就是行为准则,然后每周上传团队周报即可。可以衡量团队工作量,成员工作对比,评价等等。

行为准则的设计(Prompt)

提示词 Prompt,是AI的行为准则,是最关键的部分,涉及如何调用技能、如何查询、如何给出答案。
下图是一个Prompt的设计框架。

技能、记忆和工作流

技能和记忆是必不可少。知识库和记忆,让AI知道了特定场景的知识、业务情况、要输出的案例参考、以及对应的记忆(COZE可以设置记忆)。

技能让AI可以搜索、检索特定内容、通过特定API调用信息、输出图片、表格、脑图等等。

而工作流,可以让用户执行指定重复任务时候,运行这个工作流。

看一个案例

这是一个Shopify开发专家的设定。分为5个模块,每个模块下面又有对应的设定。这样的AI产出,精准符合业务,也满足个性化的需求。

看下案例视频

左边的就是这个案例的过程,一个完整Shopify主题组件的开发,且完全符合你自己已有主题的风格,如字体、布局、样式等等。
右边就是我这个网站的配置助手了,他完成后,我直接复制粘贴,然后进入编辑器替换图片就可以了。

Shopify开发专家

Colin网站的配置助手

同理,可以开发出具有权重设置功能,配置产品、图片、视频功能的瀑布流。
也可以做持续滚动视频的Banner等等。
当然,其他任何开发都可以进行,如APP,淘宝模板,Wordpress模板等等。

AI Agent总结

⭕️ AI Agent Summary

实践经验 (1)

第一性原理:只要你能有逻辑的理清技能思路。即可制作一个智能体。

 

 

实践经验 (2)

通过对特定对象集合的访谈研究,来实现技能的总结,在智能体中。

例如《超级猩猩的教练技能》

 

 

实践经验 (3)

重复性的,案例明确的知识和技能,可以快速的复用

各类CMS系统,如淘宝装修、Shopify主题模板、前端代码等,客服知识查找。

 

 

实践经验 (4)

略大项目组合,可以通过人工扩展知识和提示的方式完成

例如代码开发一个APP

⭕️ AI Videos ads

AI视频的制作

看下案例视频

人物

场景

最终视频

人物

场景

最终视频

鼠标移入画面播放视频

原理拆解

这是一个浆板的产品,从场景图到视频

右边为过程的视频,展示了整个从具体场景到产品,产生分镜头,在到最终视频的全过程。

另外一个案例

情节:我的发质很脆弱,经常掉头发,头发有点枯黄,不能染色,也不能烫直,很羡慕别人可以做各种各样的头发造型

主题创意

人物设定

我的发质非常糟糕

参加Party要花长时间做造型

现在,使用假发,可以快速有完美发型

保护头发

可以尽情玩耍

素材生成

完成剪辑

⭕️ Lora model training

Lora模型的训练与应用

训练过程

模型清单

Tips: The following content is embedded in figma, please wait for it to load and then mouse over to scroll through it.

Model Application: Silicone Replacement Shot

模型应用:AI试戴

用户发起试戴,图片上传后,使用蒙版分离脸部和标记图片位置,替换新的发现模型到直到位置,保持脸部和身体进行重绘。
该项目24年底在APP中上线

早期一些尝试探索

⭕️ AI Image Applications

AI in Pictures

Product diagram generation scenario

In the case of a standard diagram, generate the corresponding required scene diagram to be used in the detail page

Midjourney Scene Map

more

Some early SD retouching explorations

Colin

This website is designed for PC, please don't visit for mobile

en_USEnglish