科斯在制度分析中引入边际分析方法，建立起边际交易成本概念，为制度经济学的研究发展开辟了新领域。诺斯曾经说，有了“交易成本”这个发现，我们才找到了解释制度存在和制度变迁的方式，才使我们可以解释整个经济在体制上的变化。比如，我们运用“交易成本”概念可以理解制度为什么会存在，制度是怎样发生变化的，人们为什么以及怎么样采用更经济的方式来组织生产和交换活动等。他说，有了“交易成本”的概念，制度经济学才称得上是“新”的。笔者认为，由于引入边际分析方法，运用边际交易成本作制度分析，科斯以后的制度经济学较之先前的制度经济学，在方法论上不再是与主流经济学相对立或渐行渐远，而是呈现出“合流”或“融合”的倾向。如果说，以加尔布雷斯为代表的制度学派对早期的制度学派，在研究方法方面进行的拓展还只是量的发展和扩大的话，那么科斯对制度经济学研究方法的发展，就具有了革命性和方向性的改变。也许，这就是诺斯把科斯以后的制度经济学称为“新制度经济学”的原因。

　　科斯认为，古典经济学和新古典经济学的重大理论缺陷是没有专门的制度理论。在他们那里，尽管政治、法律、货币、习俗等制度形式，对经济体系的作用或多或少都得到认可，但是，这些传统的研究要么假定制度是外生给定的，或者假定制度不影响经济绩效，如新古典经济学；要么假定制度可以无成本地运行，或者没有专门对制度运行成本进行分析，如斯密、马克思的古典制度分析和凡勃伦、米切尔、康芒斯等的旧制度经济学。科斯强调，要解释经济现象、经济行为和经济关系，就必须研究对它们产生影响、支配或约束作用的制度安排。应当说，科斯并不是第一个注意研究交易背后权利关系的人，斯密、马克思或者更早的思想家就已经研究过这些问题，但科斯却是第一个通过引入边际分析方法，通过分析边际交易成本，解释了现实制度的内生化及其对经济绩效的影响。这是制度经济学在方法论方面的第四个显著特点，也是一个重要的转折性发展。

　　科斯认为，诸如灯塔制度、电讯产品生产和消费出现的纠纷、农夫和养牛者的利益纠纷、环境污染等现实问题现象，实质上反映的是产权的界定和变迁；而产权结构的选择或解决纠纷的制度安排，又取决于利益关系人之间相互协调和影响的边际交易成本。他举例分析说，假定有法律诉讼和私下协商两种解决纠纷的制度安排，如果两者的边际交易成本不相等时，当事人自然倾向于选择成本低的制度安排，这就可以解释不同状态下当事人会选择相应的纠纷解决机制的原因；如果两者边际交易成本相等，就会出现制度均衡，这就可以解释现实社会中存在多样化的制度安排的原因；如果交易成本很小或不存在，那么各种制度就是多余的。由此科斯认为，在现实经济中制度的显著重要性和制度安排的多元化，恰恰反映了边际交易成本的现实性，而这些在新古典经济学中却是不被重视的。

　　科斯的制度分析方法还呈现出微观化、具体化的倾向。他不赞成古典制度分析和旧制度经济学（包括加尔布雷思）那种描述性的研究方式，认为他们的最大不足在于他们的制度分析一直是从总体上来把握制度变量，比如分析资本主义制度的特征和后果，分析家庭、国家、法律、政治等制度安排，作为一个整体的性质、演化的过程及其对经济体系的影响，等等。科斯认为，这种整体主义方法论除了对各种经济制度作了粗糙的描述以外，实际上并没有告诉人们关于制度的详细故事，这些分析仅仅留下了一堆有待证明的猜想而已。他批判过去的制度分析方法：把企业和市场处理成不同利益集团解决利益纠纷的场所，其中起作用的制度要么是习惯和文化的非正式制度安排，要么是法律等正式制度安排，并且认为这些制度安排是作为决定当事人行动的社会整体出现的，当事人的行为反映了这些制度的特征。而科斯从考察一些具体的企业活动中发现，企业和市场本身就是协调利益关系的制度，企业和市场的共存说明了两者的交易成本的相对大小。在科斯看来，任何制度安排都是当事人根据具体环境自由选择的结果，这反映出科斯所运用的仍然是新古典的理性选择模型。从制度分析方法的发展来看，科斯重视个案为基础的小样本研究，又不放弃演绎推理，这在一定程度上避免了古典制度分析和旧制度经济学那种描述性的研究方式和纯粹归纳研究方法的不足。这是制度经济学在方法论方面的第五个显著特点。

　　如上所述，科斯的制度分析和以前的制度分析的最大不同在于，通过引入边际分析和边际交易成本概念，使得各种具体制度的起源、性质、演化和功能等的研究，可以建立在以个人为基础的比较精确的实证分析上，创立了可以经验实证的制度分析方法。这是科斯对新制度经济学研究方法的一个贡献。应当承认，如果制度分析仅仅停留在价值观的讨论上或一般性的规范分析上，那么人们就不可能像今天这样对制度的性质及其演化做出深刻的理解。科斯的开创性研究不仅加深了人们对制度重要性的认识，而是促使人们更加科学地研究制度及其与之相关的经济问题，从而直接推动了制度分析的复兴。科斯在制度经济学研究方法论方面的开拓性成果，对后来诺斯等人的经济史研究、张五常等人的契约探讨、威廉姆森等人关于组织的理解等等都产生了重要影响，促使他们是从现实的经济形态出发，检验理论的合理性，强调如果理论不符和现实，就需要修正理论模型本身。这种强调经验实证的制度分析没有陷入象牙塔式的推理，而是从实际发生的事件中挖掘和发展理论。当然，在后来的发展中，古典制度分析、旧制度经济学，甚至新古典经济学等的研究方法，仍然对新制度经济学及其研究方法产生着重要影响，在相互的融合中形成了不同的方法论侧重和理论子分支，使新制度经济学呈现出研究方法和理论分支构成多样化的蓬勃局面。