Cikal bakal KONI adlaah Ikatan Sport Indonesia (ISI) yang dibentuk tanggal 8 Oktober 1938 dengan Sutardjo Kartohadikusumo sebagai ketua.
ISI dibentuk oleh beberapa organisasi olahraga yaitu Persatuan Sepakbola Seluruh Indonesia (PSSI), Perserikatan Lawn Tenis Indonesia (Pelti) dan Perserikatan Bola Keranjang Seluruh Indonesia (PBKSI) yang sekarang dikenal sebagai Persatuan Bola basket Seluruh Indonesia (Perbasi).
Saat Didirikan, ISI memiliki tujuan sebagai sarana perjuangan bangsa Indonesia agar dihargai pemerintah kolonial Belanda, memperbaiki dan memperkuat organisasi olahraga yang telah ada sebelumnya, serta sebagai alat pendidikan nasional yang dapat menyehatkan jiwa bangsa Indonesia.
Pada 15-22 Oktober 1938, ISI menggelar Pekan Olahraga ISI di Surakarta. Tanggal 15 Oktober 1938 pun menjadi momentum perjuangan bangsa Indonesia melalui olahraga dan sebagai hari berdirinya Komite Olahraga Nasional Indonesia (KONI).
Pada tahun 2005, pemerintah mengeluarkan Undang-undang Nomor 3 Tahun 2005 tentang Sistem Keolahragaan Nasional dan Melakukan reorganisasi KONI menjadi Komite Olahraga Nasional (KON) dan Komite Olimpiade Indonesia (KOI).
KON melakukan pembinaan dalam negeri dan penyelenggaraan Pekan Olahraga Nasional (PON), sementara KOI melakukan kegiatan pengiriman atlet ke luar negeri dan penyelenggara pekan olahraga Internasional di Indonesia.