技术成熟度评价方法在美国国防采办中的应用效果分析

程文渊 龚旭东

一、引言

为了降低科研管理和项目采办中的技术风险，美国NASA和国防部分别在其科研管理和项目采办中引入技术成熟度评价方法。从早期的航天飞机研究、木星探测器和太阳帆项目到近期的战神I号载人航天器和太空梯等项目，技术成熟度评价方法（TRA，Technology Readiness Assessment）已经成为NASA在科研管理中考察技术发展状态的标准工具。美国国防部2001年开始在采办项目中推行TRA，美国问责办公室（GAO）2003年开始对国防部的主要武器采办项目实施TRA，当年评价了26个国防项目。此后实施TRA的国防项目逐年增长，2008年已增至72个。其中，2007年评价的62个武器系统项目涉及投资额超过9500亿美元，占国防部武器采办计划15000亿美元的三分之二。

投资回收（Return on Investment，ROI）是指项目总费用支出与总收益之间的简单对比关系。通过对ROI的分析，可以从经济角度考虑实施TRA的效果。实物期权法是其中的一种评估方法，是将金融市场的规则引入企业内部战略投资决策，用于规划与管理战略投资的办法。在公司面临不确定性的市场环境下，实物期权的价值来源于公司战略决策的相应调整，每一个公司都是通过不同的投资组合，确定自己的实物期权，并对其进行管理、运作，从而为股东创造价值。

二、技术成熟度评价方法

TRA方法最早由NASA于20世纪70年代提出，1975年，通用动力公司首次将TRA应用于NASA的航天飞机研究，1976年应用于木星探测项目，1977年又应用于评估NASA的太阳帆项目。在NASA长达32年的研究和应用过程中，TRA被美国国防部借鉴并用于重大国防采办项目中，以确保主要武器系统中的技术在项目发展之前是稳定和成熟的（以节约成本）。美国国防部通过将TRA方法应用于每年涉及多达3亿美元研发经费和18亿美元采购费用的重大国防采办项目（MDAP），节省了数十亿的费用超支，并减少了进度拖延。 1. 里程碑决策与技术成熟度评价

美国国防部采办管理采用里程碑决策，TRA是里程碑决策的一个重要部分，要求在里程碑B和里程碑C评审中强制实施TRA。在此过程中，一旦在MDAP中识别出关键技术元素（CTE），在里程碑B和C，该项CTE的TRL必须分别达到6和7才能进入下一阶段。

图1 美国国防采办里程碑决策（2003年版）

TRA过程是一个系统化、基于度量的过程，伴随着一个对于系统中某些被称之为CTE的特定技术的成熟度的评价报告。一项技术被称之为CTE，要求这些技术必须是能够在可接受的成本、进度范围之内满足系统性能需求必需的技术，而且该项技术是新技术或该项技术以新的方式应用。 2. 技术成熟度等级

技术成熟度等级（TRL，Technology Readiness Level）是一个描述CTE的技术成熟程度的九级量度，技术成熟度是对技术满足项目目标的程度的度量。20世纪70年代的时候，TRL只有7级，如今有9级硬件、软件和制造TRL，还有医学和生物医学设备等工业TRL。CTE在里程碑A时需满足TRL为3级，里程碑B时为6级，里程碑C时为7级。这里的相关环境是仿真环境，运行环境是指真实环境。系统进入演示/验证阶段，CTE必须在相关环境下经过验证，系统进入生产/部署阶段，CTE必须在真实环境下经过验证。

表1 TRL的定义 里程碑 里程碑A 技术成熟度等级 1 2 3 4 里程碑B 里程碑C 全速生产 初始&完全 作战能力 5 6 7 8 9 描述 基本原理被发现和报告 技术概念和用途被阐明 关键功能和特性的概念验证 实验室环境下的部件和试验台验证 相关环境下的部件和试验台验证 相关环境下的系统/子系统模型或原型机验证 模拟作战环境下的原型机验证 系统完成技术试验和验证 系统完成使用验证 3. 技术成熟度评价的实施

在美国国防部的TRA过程中，项目经理负责识别CTE，评价小组负责确定CTE和实施TRA，美国国防部代表批准TRA。一共包括6个步骤：（a）识别CTE，（b）收集CTE数据，(c)确定CTE，（d）实施TRA，（e）提交TRA，（f）批准TRA。

识别CTE识别CTECTE初始清单CTE最终清单收集CTE数据确定CTE清单评价CTE的技术成熟度等级实施TRA指定CTE的TRL提交TRA批准TRA准备TRA图2 TRA的实施过程

三、技术成熟度评价的应用效果分析

TRA值可以从七个方面进行度量：（a）费用（Cost），（b）收益（Benefit），（c）效费比（B/CR），（d）投资回收（ROI），（e）净现值（NPV），（f）盈亏平衡点（REP），（g）实物期权（Real Option）。投资成本是指包括发展原理，概念，试验和原型机等的费用支出，收益则指在里程碑B和里程碑C之后由于技术稳定和成熟而带来的费用节约量。这两项是收益成本比、投资回收、净现值、盈亏平衡点和实物期权等公式的基本输入信息。

表2 度量TRA的ROI的简单公式及模型 Cost 花费在TRA上的总费用 Cost ii1nnBenefit TRA的收益 Benefiti1i B/CR ROI% TRA收益成本比 TRA投资回收率 Benefits CostsBenefitsCosts100% CostsYearsNPV TRA按现值计算的现金流量 BenefitsiCosts0 Yearsi1(1DiscountRate)REP ROA TRA效费盈亏点 由于风险引起的战略性延期而实现的商业价值 Costs60Months NPVN(d1)BenefitsN(d2)CostseRateYears

d1[ln(Benefits/Costs)(Rate0.5Risk2)Years]/RiskYearsd2d1RiskYear1. 技术成熟度的费用分析

将62个国防采办项目的详细数据，作为输入信息来计算TRA的ROI，这些数据中包含了研发阶段费用、采办费用和总费用等，然而研发费用的矛盾在总费用中没有体现出来。虽然美国国防部对于研发和运行维护等各个阶段的资助类别有明确的界定，但当项目启动后这些界定往往会变得混淆不清。在整个采办周期

内研发阶段中，最理想的状态是技术达到稳定和成熟，研发费用的增加对总费用的影响难以估量。另外，项目总费用与项目的研发费用并非成正比，大项目并非有较高的研发费用。因此，将总费用作为费用评估的基准。

表3 62个国防武器系统项目的费用数据（费用单位：亿美元） 编号 对象 1 2 3  60 61 62 分类 缩写 ABL ACS 项目名称 机载激光 机载通用传感器 研发费用 总费用 .492 11.5 90.388  3.848 3.327 12.605 .492 11.709 90.388  18.25 20.132 116.016 空军 激光器 军方 传感器 海军  导弹  ABMD “宙斯盾”弹道导弹防御系统  UAS WGS WIN-T  “勇士”无人机系统 宽带全球卫星通信 战术级作战信息网 军方 无人机 联合 军方 卫星 C2 2. 技术成熟度的效益分析

目前，识别收益数据已经代替费用数据收集成为实施ROI研究所面临的最大挑战。然而，GAO的报告中关于62个主要武器采办项目的研究阐明了保持技术稳定性和成熟度给采办带来的好处，进而显示出采用TRA的ROI的重要性。GAO研究考虑了三个数据点：（a）总费用，（b）技术成熟度，（c）由技术稳定性和成熟度而带来的平均费用节约。表2给出了62个国防武器项目的费用数据。表中：技术成熟度比例是不成熟技术相对于全部技术的比例。费用风险是总费用的正则化等级值。技术风险是技术成熟度的正则化等级值。混合风险是一种费用和中等技术风险的复合。风险百分比是混合风险的正则化表示。收益由总费用、风险和收益常数29.7%的乘积。

表4 62个国防武器系统项目的费用数据（费用单位：亿美元） 技术成熟 费用 技术 混合 编号 1 2 3  60 61 62 项目 ABL ACS ABMD  UAS WGS Cost 度比例 .492 11.709 90.388  18.25 20.132 0.0% 16.7% 33.3%  50.0% 100.0& 0.0% 风险 风险 风险 百分比 0.02 0.01 0.04  0.01 0.01 0.05 1.00 0.83 0.67  0.50 0.00 1.00 0.12 0.09 0.11  0.06 0.01 0.15 11.6% 14.499 8.2% 3.22 风险 收益 10.0% 24.439  5.4% 0.8%  5.156 5.934 WIN-T 116.016 14.1% 30.077 3. 技术成熟度的费用和收益分析

自工业至今，出现了大量对商业投资价值进行量化的数学公式及模型，例如费用，收益，B/CR，ROI%，NPV，盈亏平衡点和ROA等。而作为其中最早的一个的ROI%是收益与成本的简单比值，现在已经很少使用。与其相比，NPV由于考虑货币时间价值（比如，货币由于通胀而贬值），被认为是更加复杂、更为实际和更具经济性。和TRA一样，ROA自20世纪70年代就开始被应用于评估一个或多个投资的商业价值，这些投资是由于出现风险而被作为一种成熟的延缓投资策略。简单来说，ROI%主要用在近期效益，NPV用于中期效益，ROA用于长期效益。由于TRA所面临的对象都是全尺寸的美国国防部项目，这三项指标都能发挥其优势。这里的TRA费用为项目总费用的10%。

表5 62个国防部武器项目中ROI数据（费用单位：亿美元） 盈亏平衡点 编号 1 2 3  60 61 62 项目 ABL ACS ABMD  UAS WGS WIN-T TRA费用 5.449 1.171 9.039  1.825 2.013 11.602 收益 B/CR ROI% NPV （年） 14.499 2.7:1 166.1% 3.22 2.7:1 175% 7.106 1.617 3.8 3.6 3.7  3.5 3.2 4.0 10.255 2.308 17.4  3.735 4.366 21.041 ROA 24.439 2.7:1 170.4% 12.123  5.156 5.934    2. 3.125 2.8:1 182.5% 2.9:1 194.8% 30.077 2.6:1 159.2% 14.442 4. 技术成熟度的ROI分析

图示中对62个DoD采办项目的数据根据Risk%进行升序排列，从图中不难看出，ROI%随着项目风险和费用的增长而降低，逻辑上是由于大项目往往更加复杂和风险更大。增加Risk%往往是由于降低技术成熟度，也即是说，当项目中带有大量不稳定和不成熟的技术时，技术风险会增加，ROI会降低（如图所示，红色柱条会变大，绿色柱条会变小）。另外，当风险降低和ROI%减小时，ROA增加，也即是说，由于技术的不稳定性、不成熟造成的项目拖延往往会导致更大的ROI。另外一个拖延项目的原因是渐进式和迭代式发展，这种发展模式往往是螺旋式发展，在初期投资很少，只有技术变得稳定和成熟才发布。

图3 62个国防采办项目的ROI分析

四、结论

本文根据一个简单有效的定量化分析技术成熟度收益的办法，并根据62个国防采办项目的数据，计算出采用技术成熟度评价方法可以为项目带来较高的ROI。采用未成熟技术的项目的研究发展试验与评估（RDT&E）费用平均增加32.3%，进度推迟20个月；而采用成熟技术的项目，RDT&E费用平均只增长2.6%，进度推迟不到1个月。由此得出对项目采办有益的几点结论：

（1）根据技术成熟度进行系统的设计 将技术成熟度评价方法作为项目管理工具，按成本、进度和质量进行设计，对费用、时间、质量效率和效能以及技术成熟度进行优化。

（2）识别关键技术清单，并尽早关注高风险技术 识别出你的系统中的关键技术元素，这是设计整个系统的原因。并尽可能早地将精力放在高风险技术上面，而非将所有的风险都留在最后。将风险都留在最后时刻，往往会花费更多的时间和资源。

（3）尽早开发原型机以降低风险，如果必要，开发全尺寸样机 技术成熟度评价要求关键技术元素清单中，无论是实验板、样机还是全尺寸模型，都必须在相关环境和真实环境下验证过。相关环境类似于风洞、仿真环境等，而作战环

境更多的是飞行试验、真实试验场景等。

（4）采用实物期权法 将一些不成熟和不稳定的技术进行战略延缓，可以获得较高的收益，不要将采用实物期权法的战略延缓与将通过建立早期关键技术的原型机的风险管理提前的过程混淆。应该遵循（a）识别关键技术，（b）建立关键技术原型机，（c）暂缓更多的投资，假如关键技术被证明是不可行的原则。

参考文献

1. Rico, D. F. ROI of Technology Readiness Assessments Using Real Options:An Analysis of GAO Data from 62 U.S. DoD Programs.

2. Rico, D. F. (2007b). ROI of technology readiness using real options: A spreadsheet analysis of GAO data from 62 U.S. DoD programs. Retrieved August 21, 2007, from http://davidfrico.com/rico07n.xls

3. Francis, P. L. (2007). Defense acquisitions: Assessments of selected weapon programs (GAO-07-406SP). Washington, DC: U.S. Government Accountability Office (GAO).

4. U.S. Department of Defense. (2005). Technology readiness assessment (TRA) deskbook. Washington,DC: Author.