Parameter, dataset, output tindakan, dan tampilan dari program language model OpenAI terus mengalami perkembangan dari waktu ke waktu.

Pada 2018, OpenAI memulai untuk membuat program language model bernama Generative Pre-Trained Transformer (GPT).

Di masa-masa awal pengembangannya, pendahulu Chat GPT itu, GPT-1 (generasi pertama) tidak langsung berupa program chatbot.

OpenAI masih melakukan serangkaian pengujian tugas yang bisa dilakukan di GPT-1 menggunakan beberapa dataset.

Dari GPT-1, OpenAI kemudian mengenalkan penerusnya, GPT-2 pada 2019.

Dikutip dari laman resmi OpenAI, GPT-2 dirancang menggunakan 1,5 miliar parameter dan dilatih menggunakan dataset 8 juta halaman website.

Jumlah parameter dan dataset yang dipakai di GPT-2 dikatakan 10 kali lipat lebih besar ketimbang GPT-1.

GPT-2 memiliki tugas utama untuk memberikan prediksi kata sekaligus mengingat kata atau teks yang diinput sebelumnya.

Salah satu contoh tindakan yang bisa dihasilkan GPT-2 adalah memberikan rekomendasi kata berikutnya dan melakukan parafrasa atas sebuah teks yang diinput.

Program language model OpenAI yang mendekati Chat GPT baru hadir di GPT-3.

OpenAI merilis GPT-3 dengan terdapat 175 miliar parameter pada 2020.

Tindakan yang bisa dilakukan GPT-3 tidak hanya menyajikan prediksi kata, tetapi juga menjawab pertanyaan dan menyusun artikel dengan kata baru. GPT-3 kala itu diklaim sudah bisa menghasilkan teks dengan bahasa natural seperti tulisan manusia.

Pelatihan GPT-1 hingga GPT-3 belum melibatkan unsur manusia langsung untuk memberikan masukan atas tanggapan atau output tindakan yang dihasilkan.

Pelatih dari unsur manusia asli baru dilibatkan pada GPT-3.5 yang dirilis OpenAI pada awal tahun lalu.

Pelibatan tersebut membuat GPT-3.5 dapat meminimalisir memberikan informasi yang salah dan membahayakan.