1964年にIBM社からシステム/360が発表され，コンピュータの第3世代が始まった．システム/360ではトランジスタなどの部品をセラミック基板上の厚膜回路に接着する混成集積回路が採用され小型化が図られた．マイクロプログラム方式を全面的に採用することにより単一アーキテクチャによるファミリマシンが実現され，小型から大型まで同じソフトウェアが利用できるようになった．事務計算，科学技術計算を始めとするすべての応用分野をカバーする「汎用コンピュータ」が実現され，汎用コンピュータは「メインフレーム」とも呼ばれた．
1964年11月に富士通，沖電気，日本電気（以下NEC）が通産省補助金により共同で大型コンピュータFONTACを開発し，電子工業振興協会に納入した．日立製作所（以下日立）では科学技術計算用の大型汎用コンピュータHITAC 5020を1964年9月に開発し，1965年に京都大学に納入した．これらの成果や，米国のコンピュータメーカとの技術提携により，我が国のコンピュータメーカは第3世代のコンピュータの新シリーズを発表した．NECはハネウェルと提携してNEACシリーズ2200を，日立はRCAと提携してHITAC 8000シリーズを発表した．富士通信機製造（現在の富士通）は提携を行わず通産省補助金で開発したFONTACの成果を大型モデルに適用してFACOM 230シリーズを発表した．東芝はTOSBAC-3400シリーズを開発した後，GEとの技術提携によるTOSBAC-5600シリーズを発表した．三菱電機はTRW社との技術提携機の後継としてMELCOM 3100シリーズ，SDS社との技術提携によるMELCOM 7000シリーズを発表した．沖電気工業は中小型のOKIMINITACシリーズの開発，スペリーランドとの合併会社沖ユニバックによるユニバック機の国産化を行った．
第3世代機の大型モデルについては独自技術により開発が行われ，NECでは我が国で最初に全面IC（集積回路）化したNEACシリーズ2200モデル500を1966年10月に開発した．日立もマイクロプログラム制御の大型機HITAC 8500 を技術提携に頼らずに開発した．富士通では全面的にTTL ICを採用したFACOM 230-60を1968年に完成し，京都大学に納入した．
電電公社（現在のNTT）では，データ通信サービスを実現するための標準的なコンピュータの導入を狙いとして，DIPS（Dendenkosha Information Processing System） 開発プロジェクトを1967年から開始した．最初は実験的なシステムDIPS-0から始まり，1969年にNEC，日立，富士通と共同で大型高性能コンピュータシステムDIPS-1の共同開発を開始した．
1970年代1970年にはIBM社からシステム/370が発表されて第3.5世代となり，LSI（大規模集積回路）が採用されるようになった．メモリにも磁気コアに変わって集積回路が用いられるようになり，さらに仮想記憶方式が採用されるようになった．システム/360のソフトウェア資産を継承できるよう，システム/370への変化は継続性を重視したものであった．GEは1970年にコンピュータ事業から撤退し，HIS（ハネウェル・インフォーメーション・システムズ）社がGE社の計算機部門を吸収した．RCA社は第3.5世代の製品発表後, 1971年にコンピュータ事業から撤退した．ユニバック社はRCA社のユーザベースを買い取った．国内のメーカはシステム/370に対抗するため，価格性能比を大幅に改善した機種を発表した．1971年に日立はHITAC 8350/8450を，NECはNEAC2200/375および575を発表し，1973年に富士通はFACOM 230-8シリーズを発表した．
これまでは米国との格差が大きかったことから，政府は国産コンピュータメーカを保護してきたが，1971年4月に自由化の方針を決定し，1975年12月までに自由化することになった．この対策として通産省は新製品系列開発補助金制度を創設した．この制度の発足に伴いコンピュータメーカが富士通・日立，NEC・東芝，三菱電機・沖電気に3系列化され，Mシリーズ，ACOSシリーズ，COSMOシリーズがそれぞれのグループで開発された．Mシリーズは1974年11月にM-180とM-190の2モデルが発表され，1975年5月にM-160，M-170が発表された．M-190とM-160を富士通が，M180とM170を日立が担当した．M-190は100ゲート/チップのLSIを用いて全面的にLSI化された世界最初のメインフレームであり，1975年11月に完成した．1978年にはMシリーズ最上位機のM-200が富士通から，続いてM-200Hが日立から発表された．
1975年には次世代電子計算機大規模集積回路開発促進補助金制度が創設され，1976年度からは超LSI開発補助金が日立・富士通・三菱グループおよびNEC・東芝の2グループに支給され，ハードウェア技術力の強化が行われた．その結果高性能なVLSI（超大規模集積回路）が開発されて，強力なメインフレームが実現できるようになった．
1979年1月に，IBM社は4300シリーズ下位モデル4331，4341を発表した．64KビットのICメモリとLSIを多層セラミック基板に搭載する実装方式を採用し，従来のシステム/370下位機種に比べて性能・価格比を大幅に改善した．NECは同年2月にIBM4331に対抗する価格性能比の優れた小型機ACOSシステム250を発表した．富士通は同年4月に中型汎用コンピュータ4機種（FACOM M-130F，M-140F，M-150F，M-160F）と日本語情報システムJEFを発表した．1979年末には三菱電機は高速論理LSIを搭載したCOSMOシリーズ最上位機COSMO 900IIを発表した．
1980年代1980年に入るとNECがACOSシリーズ最上位機システム1000を発表し，翌年には日立がこれまでのシリーズを強化したM-200シリーズを，富士通はM300シリーズの超大型汎用機FACOM M-380およびFACOM M-382を発表した．これらはいずれも性能的に世界でトップレベルのものであった．
IBM社は1981年に発表した370拡張アーキテクチャ（370-XA）およびIBM 3081Kで，アドレス幅を24ビットから31ビットに拡大し，仮想アドレスで2ギガバイトまでアドレスを指定できるように変更し，実記憶空間も2ギガバイトに拡大した．富士通や日立も同様のアーキテクチャを導入した．NECもACOS-4アーキテクチャを1984年に31ビットに拡張した．
この時代の汎用大型コンピュータには，マルチプロセッサ技術，アドレス拡張などの拡張アーキテクチャ技術，専用処理用の付加機構，主記憶の階層記憶構成，ハードウェアによる仮想計算機の高速化，RAS（Reliability, Availability, Serviceability）機能の強化などがあった．1985年に発表されたNEC ACOSシステム1500，日立 M-684H，富士通 M-780では最大4CPU構成がとられ，拡張記憶が追加されており，システムの性能向上がはかられた．
1970年代に米国ではIBM汎用コンピュータ互換機が登場し，プラグコンパティブルマシン（Plug-Compatible Machine（PCM））と呼ばれた．我が国でも1970年代後半からPCMの輸出が行われるようになった．1982年にはIBM互換機開発にからんでIBM社との係争問題も発生した．
1990年代1980年代にはパーソナルコンピュータ，LSI技術，ソフトウェアなどの急速な発展によりダウンサイジングが進み，メインフレーム市場は縮小するとともに価格も急速に低下した．1990年には日立M-880，NEC ACOSシステム3800，富士通M-1800が発表され，最上位モデルの性能がさらに強化された．1プロセッサの高速化に加えプロセッサ多重化数の6〜8への増加，主記憶および拡張記憶のいっそうの大容量化などが特長であった．
低価格化に対応していくために1994年には低消費電力のCMOS技術が大型機にも採用され，IBM社のシステム/390 9672シリーズ，NECのパラレルACOSシリーズPX7800が発表された．富士通は1995年にCMOS大型サーバのGS8000シリーズを発表した．日立はECLとCMOSの混載技術を開発しこれを採用したハイエンドサーバMP5800を1995年に出荷した．
1990年代後半からインターネットが急速に発展し，また企業のグローバル化も加わって，汎用大型コンピュータはグローバルネットワークシステムでの基幹サーバの役割を果たすように変わり，大規模な料金計算，大規模データベースなどに利用されるようになった．またネットワークコンピュータ時代におけるスーパーサーバとして，新たなニーズが高まった．その結果，汎用大型システムとオープンシステムの両者の特徴を活かした総合的な情報処理システムが主流となった．
CMOSベースのプロセッサは当初ECLベースのものより性能が低かったが，消費電力が格段に小さいことからマルチプロセッサ構成でのプロセッサ数の増加が可能であり，効率よく並列処理できる方式が登場して，システム性能で大きなスケーラビリティを確保できるようになった．その後，CMOSプロセッサの性能も急速に向上して，1990年代末には性能もECLプロセッサと同等になり，2000年以降はメインフレームもすべてCMOSプロセッサになった．
NECではCMOSプロセッサ32個搭載したパラレルACOSシリーズのPX7900を1996年に，PX7800SV，PX7600SVを1998年に発表した．富士通は同社超大型機として初めてCMOSプロセッサを採用したGS8000シリーズ最上位モデルグループのGS8800を1998年に発表した．日立は新たに開発したACE2（Advanced CMOS-ECL 2）テクノロジーを用いて，MP5800後継機のMP6000を1999年に発表した．
2000年にIBM社が新アーキテクチャを発表したこともあり，PCMのメーカは開発と販売を取りやめ，およそ4半世紀続いたPCMは消えることになった．