前端工程师的 AI 实战课
柳博文
ABB 高级研发工程师,前阿里前端算法工程师
838 人已学习
新⼈⾸单¥59
前端工程师的 AI 实战课
15
15
1.0x
00:00/00:00
登录|注册

13|自动出码:如何根据预测结果生成代码

你好,我是柳博文,欢迎和我一起学习前端工程师的 AI 实战课。
上节课,我们使用训练好的模型进行了模型预测,模型能够准确地识别出图像中的组件类型和组件信息,并且给出了可视化的检测结果和文本形式的结果文档。
那么,今天我们就将进行本次实践的工程化部分,使用 React+NodeJS 完成一个 POC 层级的最小闭环工程链路,实现从页面图片到自动生成页面源代码,然后在浏览器中预览的过程。在这个过程中只需要执行一条模型检测命令。
这里,为了模拟产品出图的逻辑,我准备了一张原型图,用于完成这节课中的工程链路。
在这张模拟产品原型稿中,我按照模型训练时的组件分类类型,从上到下分别排列了操作栏(op_bar)、秒杀模块(seckill)、商品模块(item)、横幅模块(banner)、不同类型的商品模块(item)、商品模块(item)。我们需要将这张图像作为待识别数据放入 data/images 目录下,等待执行检测命令。

组件准备

首先,我们需要新建一个 React Web 项目,使用 vite 生成一个初始化空项目即可。在数据集准备阶段,我们设定了需要识别的组件类型为 4 类,分别是顶部操作栏(op_bar)、秒杀模块(seckill)、商品模块(item)以及横幅(banner)。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 本次实践使用React+NodeJS完成一个POC层级的最小闭环工程链路,实现从页面图片到自动生成页面源代码,然后在浏览器中预览的过程。 2. 工程链路结构分为三个部分——AI识别、NodeJS文件监听及代码生成,以及React页面预览,实现了自动出码的链路。 3. YOLOv5的模型识别结果保存的修改,将检测结果以需要的格式保存在AILayout中间过渡目录中,需要在detection文件目录下的detect.py 文件中进行修改。 4. 源代码的生成使用NodeJS实现,定义了可以生成的组件类型,同时定义了页面的不同位置的模版,这些模板用于拼接出来整个页面的源代码。 5. 监听了AILayout目录下文件内容的变化,也就是AI模型完成识别后写入识别结果的文件目录,将AI识别和代码生成结合起来。 6. 实现一个写文件功能,将代码写入到tempweb目录中,通过文件写操作,源代码会被写入到tempweb/src目录下的app.js中.

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《前端工程师的 AI 实战课》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • Geek_8c7e68
    老师,有没有自动识别文档的学习资料,比如文档格式不定,字段的位置也不定,然后需要提取里面的字段填充表单
    2024-11-04归属地:浙江
收起评论
显示
设置
留言
1
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部