1946年にペンシルバニア大学で開発された最初のコンピュータENIACではプログラムは配線で与えられた．1949年にケンブリッジ大学のモーリス・ウイルクスにより開発された世界最初のプログラム内蔵式コンピュータEDSACは，記号を用いて記述されたプログラムを読み込み機械語に変換しながら記憶装置に貯えるための初期入力ルーチン（イニシャルオーダ）を備えていた．1950年代に入ると商用コンピュータも出現し，コンピュータ本体の改良とともに磁気テープなどの周辺装置も開発され，同時にソフトウエアのサポートも進んだ．当初のプログラムは16進数などの機械語によりコーディングされたが，その後アセンブラやコンパイラがサポートされるようになった．IBMは科学技術計算用の高級言語FORTRANを1957年から提供し始めた．高級言語によりプログラム作成効率が改善されるとともに，異なった機械語のコンピュータでも同一のプログラムを使用できるようになった．1958年にはALGOLが，1961年には事務処理用言語としてCOBOLが提案された．
1950年代末よりトランジスタコンピュータの第2世代となり，コンピュータは急速に普及した．当初は利用者自身が機械を使用するオープン処理が行われていたが，その後専門オペレータによるクローズ処理がとられるようになった．クローズ処理をできるだけ自動化して効率を改善するためにモニタ（初期のOS）が開発された．バッチシステムのほかにオンラインシステム，タイムシェアリングシステムが開発され，OSもそれぞれのものが開発された．
1960年代から1970年代の20年間にOSは急速に進歩した．第2世代までのコンピュータは科学技術計算用と事務処理用に分かれており，OSもバッチ用，オンライン用，TSS用と別々に開発されてきた．1964年にIBMが汎用コンピュータ，汎用OSとして統合化したシステム360とOS360を発表した後は汎用化の方向が定着し，汎用マシン，汎用OSの考え方が一般的になり，以降は各社とも汎用化の方向をとった．オペレーティング・システムという呼び名も定着した．さらに汎用OSの一歩進んだシステムとして仮想マシンの概念がMITとIBMで開発され，1972年にIBMが仮想マシンVM/370を発表した．
日本においても黎明期のコンピュータではEDSACに倣ってイニシャルオーダが作られた．1950年代末から1960年代にかけて，日本の大学，国立研究所，コンピュータメーカなどでFORTRANやALGOLなどのコンパイラの研究開発が開始された．また日本のコンピュータ技術の研究促進を目的として，全国共同利用の大型計算機センターが東京大学に設置された．これを契機に，日本最初のOS研究開発プロジェクトが東京大学と日立の協力で実施され，マルチプログラミング技術を入れたOSがHITAC 5020E上に実現された．
米国では1963年にMITのプロジェクトMACが開始され，2次元仮想記憶装置によるMULTICSシステムが開発され汎用大型TSS（タイムシェアリングシステム）の一つの典型となった．このシステムは共同利用を前提としたプロテクション（保護）の徹底など重要な考え方を含んでいたため，日本のOS，特にTSSの研究開発に多くの影響を与えた．日本では1967年頃からTSSの研究が始まり，慶応義塾大学と東芝，東京大学と日立，大阪大学と日本電気，京都大学と富士通，電電公社通信研究所，電気試験所，九州大学などで研究が行われた．
1962年度から通産省補助金によるIBM大型計算機に対抗できるコンピュータの国産化計画が日本電気，沖電気，富士通の3社の参加でFONTACプロジェクトとして実施された．このプロジェクトでは，マルチプログラミング方式のOSの開発も研究課題として含まれていた．富士通はその成果をFACOM 230/50, 60, 70に継承した．1965年にはFONTACのOSを発展させたMONITOR IIを発表し，続いてMONITOR Vを1968年に，MNITOR VIIを1974年に，もっとも大型のOS VII/F4を1975年に開発した．1977年には中型用X8，小型用F2を発表した．日立はRCAと技術提携して，システム360対抗のHITAC 8000シリーズのOSを開発し，1977年にはHITAC 8700/8800用OS7を開発して，仮想記憶方式などに優れた機能を実現した．日本電気はHoneywellと技術提携しシリーズマシンNEAC 2200を開発した．上位機種NEAC 2200/500, 700およびこれらのOSは独自に開発し，TSS機能をもつOS/MOD IV, MOD IV EXを開発した．1968年1月には大阪大学とのTSS共同研究により阪大MACを実用化した．さらにバッチ，オンラインおよびTSS処理可能なOS/MOD VIIを開発した．
1970年にIBMはシステム370を発表した．これに対抗していくために通産省（現在の経産省）の指導によりコンピュータメーカは三つにグループ化され，富士通と日立はMシリーズを，日本電気と東芝はACOSシリーズを，三菱電機と沖電気はCOSMOシリーズをそれぞれ開発した．富士通は，FACOM Mシリーズ用に超大型汎用OSのOS IV/F4，性能価格比に優れた大型汎用OSのOS IV/X8および中規模業務に最適な中型汎用OSの OS IV/F2の三つのOSを開発した．OS IV/F4およびF2は1974年に，OS IV/X8は1975年に発表された．以後，これらの3つのOSは，新しいハードウェアのサポートを初め種々の機能強化がなされた．日立は，HITAC Mシリーズ用の最初のOS，VOS２を1974年に発表し，1975年には上位のVOS３と下位のVOS1を発表した．HITAC Mシリーズ計算機用の仮想計算機システムVMS, VMS/ES, VMS/ASが開発され，それぞれ1979年，1985年，1990年に完成している．日本電気と東芝は共同で1972年からはACOSシリーズの開発を開始したが，1979年に東芝が汎用コンピュータから撤退したため日本電気がすべてを引き継いだ．ACOSシリーズはGCOSからMULTICSの成果をよく生かしたシステムとなった．ACOS-4，ACOS-4/MVPは仮想方式をベースとした大型TSS指向のシステムとしても評価された．三菱電機は1974年にCOSMOシリーズ用に，多重仮想記憶方式や密結合マルチプロセッサがサポートされたUTS/VSを1974年に発表した．1985年に発表されたMELCOM EXシリーズ用には機能が大幅に強化されたGOS/VSが開発された．以上のように，1970年代から1980年代まで日本のメインフレームメーカはそれぞれ特徴をもった戦略を展開して独自のシステムの発展に成功してきた．