Airbnb内部的AI工具,从图纸到代码一步到位.doc
《Airbnb内部的AI工具,从图纸到代码一步到位.doc》由会员分享,可在线阅读,更多相关《Airbnb内部的AI工具,从图纸到代码一步到位.doc(5页珍藏版)》请在三一文库上搜索。
1、Airbnb内部的AI工具,从图纸到代码一步到位写个网页能有多麻烦?在大多数公司里,这项工作分为三步:1.产品经理完成用户调研任务后,列出一系列技术要求;2.设计师根据这些要求来设计低保真原型,逐渐修改得到高保真原型和UI设计图;3.工程师将这些设计图实现为代码,最终变成用户使用的产品。这么多环节,任何地方出一点问题,都会拉长开发周期。因此,不少公司,比如Airbnb已经开始用机器学习来提高这个过程的效率。Airbnb内部的AI工具,从图纸到代码一步到位看起来很美好,但Airbnb还没公开该模型中端到端训练的细节,以及手工设计的图像特征对该模型的贡献度。这是该公司特有的闭源解决方案专利,可能不
2、会进行公开。好在,一个叫Ashwin Kumar的程序员创建了一个开源版本,让开发者/设计师的工作变得更简单。以下内容翻译自他的博客:理想上,这个模型可以根据网站设计的简单手绘原型,很快地生成一个可用的HTML网站:SketchCode模型利用手绘线框图来生成HTML网站事实上,上面例子就是利用训练好的模型在测试集上生成的一个实际网站,代码请访问:https:/github/ashnkumar/sketch-code。从图像标注中获取灵感目前要解决的问题属于一种更广泛的任务,叫做程序综合(program synthesis),即自动生成工作源代码。尽管很多程序综合研究通过自然语言规范或执行追踪
3、法来生成代码,但在当前任务中,我会充分利用源图像,即给出的手绘线框图来展开工作。在机器学习中有一个十分热门的研究领域,称为图像标注(image caption),目的是构建一种把图像和文本连接在一起的模型,特别是用于生成源图像内容的描述。图像标注模型生成源图像的文本描述我从一篇pix2code论文和另一个应用这种方法的相关项目中获得灵感,决定把我的任务按照图像标注方式来实现,把绘制的网站线框图作为输入图像,并将其相应的HTML代码作为其输出内容。注:上段提到的两个参考项目分别是pix2code论文:https:/arxiv/abs/1705.07962floydhub教程:https:/blo
4、g.floydhub/turning-design-mockups-into-code-with-deep-learning/?source=techstories获取合适的数据集确定图像标注方法后,理想中使用的训练数据集会包含成千上万对手绘线框图和对应的HTML输出代码。但是,目前还没有我想要的相关数据集,我只好为这个任务来创建数据集。最开始,我尝试了pix2code论文给出的开源数据集,该数据集由1750张综合生成网站的截图及其相应源代码组成。pix2code数据集中的生成网站图片和源代码这是一个很好的数据集,有几个有趣的地方:该数据集中的每个生成网站都包含几个简单的辅助程序元素,如按钮、
5、文本框和DIV对象。尽管这意味着这个模型受限于将这些少数元素作为它的输出内容,但是这些元素可通过选择生成网络来修改和扩展。这种方法应该很容易地推广到更大的元素词汇表。每个样本的源代码都是由领域专用语言(DSL)的令牌组成,这是该论文作者为该任务所创建的。每个令牌对应于HTML和CSS的一个片段,且加入编译器把DSL转换为运行的HTML代码。彩色网站图像变手绘图为了修改我的任务数据集,我要让网站图像看起来像手工绘制出的。我尝试使用Python中的OpenCV库和PIL库等工具对每张图像进行修改,包括灰度转换和轮廓检测。最终,我决定直接修改原始网站的CSS样式表,通过执行以下操作:1.更改页面上元
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Airbnb 内部 AI 工具 图纸 代码 一步到位
链接地址:https://www.31doc.com/p-3245850.html