从2年多前，台积就开始积极拥抱GAI，今年更要加码发展各式各样的AI技术，不只原本的智慧制造，甚至是运营、全球扩厂，连台积IT自己都开发了不少AI代理应用来辅助。如何打造一支成功的AI或生成式AI服务？台积也在IT日中分享了自家打造AI产品的成功心法。
台积IT的开发策略是以终为始，先思考什么是成功的AI产品，这是他们打造任何AI产品的设计起点，从四大面向来思考AI产品的成功条件，不只要评估成效，还会考虑使用体验，用户采用率，以及最后一项“扩展和适应力”。
台积希望成功AI产品可以达到的成效，像是可以对关键挑战带来突破性的功能，或是可以优化改善目标的正确性，或是可以超越统计与传统ML做法的精确度。
而在用户采用率提升上，则希望一只AI服务可以运用到不同系统，能够集成到多样化的场景或环境中，也能提供集成与串联做法，来提高采用率。甚至要提供用户对新AI技术的运用能力，像是不只是与GenAI对话，还要能引导用户运用提示指令。在用户体验考量上，台积IT希望AI服务的界面必须直观，用户可以轻松上手，甚至能支持个性化功能或提供自动化决策辅助，来提高操作的方便性。
最后一项成功条件是平台角度的考虑，一只成功的AI服务也要具备扩展与适应力，能够适应不同专业领域（尤其是各种半导体制造场景）的需求，遇到爆量流量或用户增长，也能维持稳定和扩展能力。
台积IT对成功AI服务的定义，从四大面向来思考。（图片来源／台湾集成电路制造股份有限公司）
如何打造出这样的成功AI产品有三个要素，第一是要定义出明确的商业目标，其次是善用不同职能的团队，最后一项是平台，从设计、开发、部署到运维，台积IT都提供了相对应的平台来协助AI产品的开发。
进一步来说，商业目标又可细分成三类，一类是效率提升，像是工作流程改善、可以更自动化或更智能化，减少重复性任务、降低人为操作成本、提升生产效率等。以产线瑕疵检测工作来说，采用新技术后，台积IT会希望可以比传统ML做法，进一步再减少60%到70%的人工检测时间，来提高生产效率。
用户体验改善是另一类常见的商业目标，台积IT会发展一些AI驱动的工具，像是Chatbot、个性化推荐、预测分析等，像是打造一些专业知识的AI代理，当资浅用户提问时，AI代理会连接到企业知识管理系统，就能获得过去得靠大量人际沟通，才能获得的背景知识。最后一类商业目标是创新，台积IT内部相当鼓励用AI创新，可以借鉴学界、业界经验，专研相关技术后，提出全新的AI功能，尝试导入台积内部，来验证这些应用的可行性。
有了明确产品目标后，台积开发一项AI产品所需的开发团队，往往组合了多种角色，常见包括用户群体、PM、数据科学家、UI/UX设计师、前端工程师、后端工程师和SRE工程师。
因为台积内部有很多不同的用户群体，例如不同制造领域的专家，许多AI项目并非是通用型应用，而会涉及特定领域的专业知识，开发过程必须考量不同用户群体来设计或者调整架构。PM需要经常与用户沟通，负责收集这些产品的需求。数据科学家则会负责专研最新AI技术，提供AI解决方案，也可能参与部分开发的实例。
团队中的UI/UX设计师则不只是考量传统的网站用户体验设计，还要思考如何凸显这项AI产品的AI能力，让用户更方便使用。前后端工程师是前后端AI功能的主要开发者，也要负责各项资源集成工作。SRE也是开发团队中的重要角色，负责让AI服务可以创建一个稳定且有延展性的架构。
台积IT不只开发AI代理，自己也用了不少AI代理，光是DevOps团队就有源源不绝的AI代理开发需求，导入了不少AI助手和AI代理来协助开发工作。从日常工作的报告撰写、翻译、数据汇集整理等，甚至可以提供一个专业知识领域的AI代理来协助新人训练，让新人了解SOP、工作流程，解决问题等。也有辅助开发者的Copilot，来提升程序代码品质，统一风格的一致性、确保程序代码的安全性等。
为了支持AI服务的开发，台积IT集成了AI技术和云计算基础架构，打造了一个AI协作开发平台，涵盖了机器学习开发平台、部署、评估和运维类机制等构成。
台积IT的AI开发平台架构示意图，包括机器学习开发平台、运维类机制，评估类机制、部署类机制等。（图片来源／台湾集成电路制造股份有限公司）
这个ML平台上还可细分出四大类功能，包括ML开发功能，提供了数据渠道、IDE开发环境、训练服务和多种开发框架，也能提供一些自动化机制，像是数据收集机制、模型训练流程等。另外还支持常见AI开发流程，如快速交付用的CI/CD流程、从模型开发、训练到发布阶段的MLOps开发流程。通过MLOps模型自动化训练所迭代的不同版本和Finetune微调后的所有版本，都会保存下来。
部署机制主要提供模型Registry和多种K8s环境配置，也提供了运维用的完整监控功能，像是Log记录、错误侦测、诊断、告警机制等，甚至导入了AI诊断辅助功能，AI辅助问题调试等。
在评估机制类，则提供了积分排行榜（LeaderBoard）和AI试验场（Playground）。台积IT会搜集多种开源或开放的模型，自己执行各种评估来创建自己的模型积分排行榜。在开发AI产品过程中，若上线阶段需要让少数用户先试用时，则会以最小AI组件或最小AI功能的方式，串联到AI试验场（Playground）上让用户适用，类似POC验证或MVP(最小可行性产品)试验的做法。
台积IT会广泛地使用不同AI技术，主要有四类常见的AI技术，第一类是语言类AI技术，包括了AI代理、RAG流程、Deep Research和知识图谱技术（Knowledge Graph）。另外也使用了大量的视觉AI技术，包括了对象侦测、形象分割（Image segmentation），以及热门的Diffusion Model与VLM（Vision Language Model）。第三类是优化类AI技术，像是联邦式学习、蒙地卡罗方法、增强式学习（Reinforcement learning）、AutoML等。最后一类是传统的数值AI技术，像是统计工具、ML回归、时间串行分析、物理模型建模等技术。
台积IT惯用AI应用主流的开发语言，如Python、JavaScript、Go等，也用了不少AI开发工具。对于AI新工具的采用，台积IT有一套管控做法，也需经过内部机密数据保护相关规范的审查后，才会使用。
台积IT打造AI服务常用四大类技术，包括语言类AI技术、视觉类AI技术、优化类AI技术和数值类AI技术。（图片来源／台湾集成电路制造股份有限公司）
AI服务上线之后，台积IT也相当重视运维，从四个角度来运维，监控服务的健康度，例如侦测相关API的请求数据，定义临界值，一旦超过就触发警告，自动通知运维人员处理。其次也会即时监控流量的回应时间，来确保服务品质。在故障排除上，发生错误时有一套标准通报程序和作业流程，让运维人员遵循SOP进行故障排除，找出根因，进行回应。还有一套自动化恢复机制，来提供服务器和数据的备援等。
要打造一只成功的AI服务，台积IT从实战经验中，归纳出四大挑战，包括了问题界定挑战，分段进行（Phasing）的挑战、规划的挑战和导入挑战。
台积AI从AI服务开发实战中，归纳出这四大挑战。（图片来源／台湾集成电路制造股份有限公司）
在问题界定挑战上，开发AI服务常见问题就是找到需要解决的问题，才知道需要什么样的解决方案。开发团队通过PM与用户大量沟通，创建对用户的背景知识，了解他们的痛点，对用户端的业务影响，像是安全考量等，也要考量用户应用场景的资源和成本考量。
界定问题后，下一个挑战是如何分阶段实施，将一项大AI项目划分出清楚的阶段来管理复杂的任务。分阶段执行项目时，还会定义明确的里程碑，作为核实开发团队进度的里程碑。
常用的阶段划分方式有几种，像是进行POC阶段或MVP阶段，也会从用户、数据面或功能面来区分划分阶段。例如挑选不同的用户群体分阶段让他们适用AI产品，或者从数据面来看，模型训练先涵盖7成的训练数据，再逐渐导入更多数据来强化模型。也会按照功能来拆分执行阶段，例如不是打造一只做十件事的AI代理，而是区分不同面向的功能，逐渐提升AI代理的功能。还有一种划分做法是依照不同的实体环境来上线，像是针对不同工厂分段导入。
在开发规划挑战上，台积IT采取敏捷开发，以两周一个冲刺（Sprint）的方式来规划，也会将任务拆解得更细，估算开发成本和代价。最后一项导入的挑战，包括了风险评估，品质确保、版本控制，参考文件的课题。在风险评估上，需要符合台积内部安全规范或是应用场景的数据限制。也要确保AI功能的品质，像是准确度，以及不同功能或阶段的一致性等。在AI服务的文件上，台积IT会明确落实创建完整的参考文件，像是包括用户指南、SOP标准作业方式等，也为提供运维人员相对应的参考数据。
台积IT开发AI服务的六大流程，从项目发起，原型，验证，模拟，产品开发到部署。（图片来源／台湾集成电路制造股份有限公司）
为了应对这些挑战，台积自己有一套严谨的AI服务开发流程，分为六个阶段，先从项目发起阶段开始，先要确定商业目标同时就要评估可能的成本。接着进入第二阶段雏形开发阶段（Prototype），进行可行性研究（Feasibility Study）、最小单位的AI组件或功能实例，再来进行第三阶段的验证，这也是测试执行（Trial Run）阶段，像是打造最小可行性产品来验证，或用已知案例来评估可行性。第二阶段和第三阶段就是一个POC概念验证的过程。
通过概念验证后，就进入第四阶段，前测执行（Pilot Run）的模拟阶段，这个阶段跟测试执行最大不同是，会尝试在类似正式上线的测试环境中模拟执行，也会用正式数据来验证要前测的AI功能，甚至会找一些用户来试用。开发团队在第三、第四阶段也会针对用户的需求进行微调。
第五阶段是Production阶段，前后端团队要完成这只AI服务需要的各项开发工程和架构。最后一步，第六阶段是部署，会集成所有的系统监控功能，包括异常侦测，都在部署阶段集成到这只AI服务中，来确保正式上线所有功能的正常运行。
为了打造AI服务，台积IT和用户单位等不同角色展开来回多层次的团队协作，（图片来源／台湾集成电路制造股份有限公司）
在团队协作分工流程上，第一步是先进行用户需求文件制作，由PM先和用户群体讨论需求，也会和内部AI专家讨论这些需求，由这些AI专家组成一个数据科学家团队来参与概念验证，利用最少的资源来测试一项技术、想法或解决方案的可行性。
接着展开开发程序后，开发团队成员，如前后端工程师、UI/UX设计师、SRE人员都会参与，以产品化的角度来打造这一只AI服务。然后就进入用户测试阶段（UAT），PM会带着AI服务的雏形，与熟悉使用端的领域专家试用，参考他们的反馈意见来微调。
用户完整确认过系统功能符合需求后，才会进入正式上线阶段（Production），这个阶段同样会由数据科学家来确认所打造的AI服务功能符合标准后，就可以宣布正式推出这项AI产品，SRE也会提出配套的服务可靠性机制、备援机制等，再提供给最终用户运用。
台积对于AI服务的导入和协作，从角色分工到平台资源的运用正规的股票配资公司，有一套明确规划、完整的执行流程，一方面鼓励台积内部团队的创新，另一方面也将更多业界AI技术落地到台积的环境中。
镕盛融资提示：文章来自网络，不代表本站观点。
- 上一篇：正规的股票配资公司 WTT横滨冠军赛国乒男单仅存王楚钦，独苗扛旗显压力
- 下一篇：没有了
沪深京指数
热点资讯
推荐资讯
