按照科斯的说法，新制度经济学这个名称是由威廉姆森提出的，目的是与早期康芒斯等人的老制度经济学相区别。[1]新制度经济学的产生和发展经历了一个漫长的过程。在古典经济学家那儿，经济和社会、政治、法律等领域紧密相关，对经济现象的分析实际上也就是一个总体架构下的因素分析，斯密、李嘉图、马克思等古典经济学家在理解经济活动时，既关注价格等纯经济现象，同时也关注财产权、阶级、国家、道德等政治和社会制度现象，两者密不可分。不过，这些古典经济学家的立足点还是牛顿的机械论，主要讨论商品的生产、交换和消费等人与自然的关系，即使涉及到社会关系，也把它看作是有客观规律可寻的[2]。继古典经济学之后，发端于边沁、西尼尔、戈森等人，由杰文斯、门格尔、瓦尔拉斯、庞巴维克和克拉克等人开拓的新古典经济学则发掘了经济活动的主观面，其分析的出发点是从事经济活动的当事人的快乐或痛苦感等主观感受，但其分析的落脚点仍是商品。为了突出个体的主观感受，新古典经济学家不惜忽略社会关系层面的东西，把政治、法律和社会制度等作为外生产物，出现在当事人决策的约束环境中。个体决策模型简化为面对客观约束的主观效用最大化，这种思路和古典经济学毫无差别，仍然是牛顿力学的产物。即使面临未来的问题，也可以通过贴现来处理，当事人能够准确比较决策结果的现值。
在牛顿世界中，经济活动的当事人面对资源约束和主观偏好，可以井然有序地完成各种活动，从而实现最大化目标。在经济活动中，人和自然的关系是基础，人和人缔结的社会关系是从属。即使马克思正确地认识到当事人生产出商品的同时，也生产出了社会关系，并且当事人的决策是在一定的社会关系中做出的，但古典经济学家仍然无法摆脱纯客观的思维，社会关系的形成和演变仍和商品配置一样，具有可设计的有序的特性。所以，无论对古典经济学家还是对新古典经济学家，政治、法律和社会制度层面的东西是无需单独作为分析对象的。康芒斯、凡勃伦和米切尔等人正是看到这一点，他们对古典经济学非独立地处理制度问题不满，同时对新古典经济学忽略制度问题更为不满，于是在各自的著作中，采用不同的分析方法来深入研究制度本身的问题。在他们看来，制度不仅对生产力层面的东西有反作用，而且在很多时候甚至具有决定作用；制度涉及到的各种关系并不能仅仅通过牛顿的机械论来理解；制度是和整个社会联系在一起，制度分析只能是整体分析。康芒斯等人的理论立足于古典经济学的分析范式，采取集体主义方法论，同时又试图突破牛顿力学范式的约束，引入休谟、马尔萨斯和达尔文等人的思想，这些思想体现了人们对真实世界的一种认知，比如制度的变化过程类似生物的演化过程；制度选择中的不确定性等。
由于和古典经济学有一定的对应性，康芒斯等人的理论被称为古典制度理论或老制度经济学，后者是相对新制度经济学而言的。古典制度理论作为一个整体没有清晰的一致的分析范式，也没有明确的研究逻辑。比如康芒斯正确地理解了缺乏制度理论的经济学的缺陷，以及习惯法理念和经济学内在精神的一致性，却没有像凡勃伦那样发展出制度演化的理论框架，而是局限在各种制度的比较；凡勃伦准确地把握住了达尔文的生物进化论和经济现象变化的内在关联性，却无法理清作为制度的演化过程中当事人的行为的成因和变化轨迹，以及这些行为与制度的关系；米切尔讨论了制度演变对经济绩效的影响，但影响机制并没有明确给出来。科斯后来评价古典制度理论时，指出康芒斯等人仅仅提出了问题，而没有真正的制度理论，从科学化角度讲，这一点是中肯的。也因为对过去的经济学不满，特别是对古典理论无法证伪不满，科斯尝试着沿用新古典主义的研究范式和分析方法，来分析制度本身，目的是让经济学和现实一致起来。新制度经济学正是在这种面对现实的压力和理解现实的使命中诞生了。
过去的经济学研究主要缺陷在于，一方面，如科斯所说，新古典经济学家忽视了现实的经济活动的发生机理和行为特征，仅仅关心自身主观臆想的模型世界，“被研究的东西是经济学家心目中德、而不是现实中的体系。我曾称之为‘黑板经济学’。企业和市场似乎都有名无实。------更令人惊奇的是，在关注定价体系时，竟忽略了市场，或者说忽略了制约交换过程的制度安排。”[3]另一方面，古典经济学家和古典制度理论家虽然关注到制度的问题，但古典经济学家没有独立的制度理论，有的只是关于制度讨论的碎片，而古典制度理论有了独立的制度理论，却没有发展起可供证伪的范式。科斯甚至偏激地认为古典制度理论毫无价值，“（康芒斯等人）他们留给后人的是一堆毫无理论价值的实际材料，很少有什么东西能被继承下来”[4]。
那么，科斯发展的理论究竟和前面的理论有何区别?首先需要肯定的是，科斯的研究主要继承了新古典经济学理论范式，其内核是理性经济人的最优决策模型，分析方法也是标准的边际分析。科斯和新古典经济学家一样，从经济活动中的个体主观感受出发来研究制度问题，并且经济活动受到扰动的结果还是复归均衡。从这个角度看，科斯的理论和新古典经济学的差别仅仅在于分析对象不同，科斯分析的是制度，而新古典经济学分析的是商品。其次，科斯和古典经济学家以及古典制度理论一样关心制度本身以及它对资源配置的作用，但和古典理论不同，科斯立足于个体当事人的主观感受，而不是作为整体的制度与资源配置的关系。特别是，科斯引进边际分析方法后，制度分析不再像古典理论那样停留在空谈或模棱两可状态，而是可以通过理论模型或经验实证模型的构建来进行证伪。
因此，科斯的理论可以归结为：运用新古典经济学的理性经济人范式和个体主义分析方法研究制度本身的起源、变化及制度和资源配置的关系。但科斯仅仅是开启了新制度经济学之门，而不能代表整个新制度经济学。自从科斯发表了“企业的性质”一文，经过近四十年的沉寂，终于到20世纪70年代开始得以繁荣。导致这种现象的原因可能有三：一是新古典经济学本身处于建设和完善期；二是制度的作用没有被大多数人所体察；三是话语权的垄断。不管怎样，科斯的开创性成果没有被压制，而是逐步引发了大量的后续研究，最终形成了“新制度经济学”这一别致而又影响巨大的经济学分支。授予科斯诺贝尔经济学奖当之无愧[5]。
继科斯之后致力于拓展制度研究，并为构建新制度经济学理论大厦做出卓越贡献的经济学家群星荟萃，在科斯理论的基础上，阿尔奇安、德姆塞茨等人发展了产权理论；张五常、杰森、麦克林、哈特等人发展了契约经济学；威廉姆森等人发展了交易成本经济学；诺思等人发展了经济史的制度理论或新经济史学；布坎南等人发展了公共选择理论；威廉姆森、波茨纳等人发展了法律和经济学等等。新制度经济学在理论和实践两个方面均对人们产生了巨大而深远的影响。
本章在以下部分将主要阐述新制度经济学的基本框架、理论脉络、主要分支观点及其最新进展。


二、新制度经济学的基本理论脉络和框架
（一）新制度经济学的研究对象和研究方法
从导言中可以看出，新制度经济学是通过对主流的新古典经济学以及早期的古典经济学和古典制度理论的扬弃中发展出来的。和新古典经济学不同，新制度经济学关心制度的性质及其对经济活动的影响；和老制度经济学不同，新制度经济学运用边际分析方法和主观价值论来理解制度问题。科斯明确地指出，“我想经济学家应该做的一件主要工作就是：研究经济制度！我们每一个人都生活在一种经济制度当中。”[6]科斯进一步提到，“我在‘社会成本问题’中说明，在市场中交易的东西不是像经济学家经常认为的那样，是物理实体，而是采取确定行动的权利和个人拥有的、由法律体系创立的权利。”[7]科斯实际上已经明明白白地告诉人们，新制度经济学就是研究制度的科学。人类针对产品和劳务的生产和交易诸活动取决于交易成本的相对大小，而后者又取决于特定的制度安排。“制度决定经济绩效，这正是新制度经济学为经济学家给出的重要结论。”[8]
制度是复杂的。“一个社会的变迁其实就是一种正式规则、行为的非正式习俗、惯例和它们实施特征变迁的混合体”。[9]也就是说，我们通常所看到的制度，比如政治制度、法律、组织等等，并不能反映制度的全部，我们参与各种社会经济活动所无意识地展现的习惯等等同样在制约着我们自身的行为。结果，制度层面凝结的已经不是客观的物质实体，而是社会意识和社会无意识部分[10]。正式制度和非正式规则相互作用，构成制度的完整变迁过程，进而决定了社会变迁的轨迹。如果要给制度下一个定义，那么现在一般都认同：制度是一组规则，社会经济活动中各参与人都必须遵守；制度不是外生给定的，而是内生于社会经济活动中的，即人们在一定的制度下行动，同时这些行动又在改变制度本身；制度本质上是自我实施的，表面上看，正式制度对当事人带有强制性，但当事人在实际行动中常常赋予制度以自身理解，这种理解包括了其身上蕴藏的文化、习俗、惯例等，只有当正式规则和非正式规则内在一致，制度才是可实施的；制度的作用必须通过交易成本的相对比较来判定，一个有效的制度就是引致交易成本相对较低的制度。
由于制度涉及面太宽，无法仅仅从总体上来加以理解。过去古典经济学家和老制度经济学就是犯了这样一个错误：制度仅存在于社会经济整体层面，分析制度问题必须从总体上把握，比如一国的法律体制和政治体制等。凡勃伦注意到了文化和习俗等非正式规则，但仍然是从整体上看待这些规则。方法论集体主义在研究制度问题上的最大失败就是无法证伪制度的起源、制度变迁的影响因素和制度作用于经济的机理及路径。这是因为制度是社会意识层面的，不能够仅仅通过技术等客观因素来加以解释，所以科斯才把制度分析纳入正途，通过吸收新古典经济学方法论上的有用部分，对制度理论加以改造。诺思明确地说，“我们应注意不断地把传统正规新古典价格理论与我们的制度理论结合起来。我们的最终目的不是试图去替代新古典理论，我们的目的是使制度经济学成为对人类更有用的理论”。[11]
在新制度经济学早期的研究中，新古典主义的四个基本要素被保留：理性选择模型（边际分析）、均衡分析方法、主观价值论、比较静态方法等。随着研究的进展，许多新制度经济学家发现，新古典主义的很多元素无法适应制度的复杂状态，于是理性选择模型被有限理性模型替代；比较静态分析被演进主义替代；主观价值论被保留，但均衡分析方法部分被违反。可以说，现代新制度经济学和新古典主义唯一完全一致的就是主观价值论。

二、新制度经济学的发展轨迹和基本框架
人们不断对不同制度进行选择。第一个层次是宪法和政治层次；第二个层次是个人和组织的层次；第三个层次是在组织内部进行选择。不同角色需要这些选择后果（影响）的信息，以便他们能够根据选择以达到他们的目的。新制度经济学研究的目标就在于减少选择的盲目性，这种研究从宪政、组织和日常生活的制度安排三个层面着手，分别讨论正式规则和非正式规则的起源和演变，以及与参与其中的组织和个人相互的影响关系[12]。
新制度经济学的源头应该有两个，一是新古典经济学的理性选择模型和自由主义的理念；另一个就是古典经济学和老制度经济学在制度分析方面的部分观点和思路。可以说，新制度经济学不过是用前者对后者进行创造性的整合。由于制度是复杂的，并且是多种多样的，所以，对制度的研究也区分为不同层次。下表一对新制度经济学的研究按研究的具体对象作了归类