Tutorial Ollama: AI Instan dalam Tiga Detik

Setahun yang lalu, mencoba menggunakan LLM (Large Language Model) secara lokal adalah ilmu sihir gelap. Kamu dituntut paham mengompilasi library C++ menggunakan CMake, berurusan dengan dependensi modul Python yang menabrak satu sama lain, dan menghadapi error tak terhingga saat mencoba menyambungkan library ke kepingan GPU milikmu.

Namun di penghujung tahun kemarin, sebuah perkakas mengubah segalanya: Ollama. Dikembangkan di Silicon Valley, software ringan tanpa ampun ini menjadikan seluruh mimpi buruk *dependency hell* itu sebagai sejarah. Jika kamu bisa mengetik di terminal layar hitam (Command Prompt di Windows atau *Terminal* di Mac), maka kamu akan memiliki asisten AI sendiri dalam hitungan menit.

Apa itu Ollama?

Bayangkan Ollama seperti perangkat lunak Docker untuk AI. Ia tidak memuat *user interface* (UI) berdandan mewah layaknya ChatGPT dari internet, melainkan berjalan secara sunyi sebagai "mesin pemroses" (daemon/background service) di dalam layar CLI (*Command-Line Interface*).

Berita mengagumkannya adalah, secara ajaib *software* ini mendeteksi arsitektur komputermu di balik layar. Apakah kamu menggunakan NVIDIA dengan CUDA *cores* terbaru? Atau kamu memakai Mac Studio M3 dengan dukungan akselerasi *Neural Engine/Metal*? Semua diterjemahkan secara rahasia dan Ollama akan menyiapkan rute optimal secara otomatis. *Plug and Play.*

Instalasi dan Perintah Pertama

Buka Ollama.com untuk mengunduh aplikasinya. Usai mengikuti menu instalasi konvensional gampang (Next, Next, dan Finish), bukalah aplikasi "Terminal" di perangkat Mac/Linux kamu atau "Powershell/Command Prompt" di sistem operasi Windows.

Ada dua skenario perintah inti. Mari kita uji model ringan dari Meta bertajuk "Llama 3" versi 8-Billion parameter (yang ukurannya berkisar hanya memakan ruang hardisk 4.7 GB) :

• `ollama pull llama3`
  Perintah pull tidak akan secara seketika men-starter AI untuk chating. Ia hanya memerintahkan sistem untuk mengunduh kepingan gigabytes file model tersebut dari pusak repository pusat internet dan menyimpannya di mesinmu (mirip proses `git pull` atau `docker pull`). Ini bagus jika kamu ingin mengunduh secara massal di tempat dengan internet wif-fi kencang, dan berniat memakainya esok lusa saat berkemah di hutan tanpa sinyal.
• `ollama run llama3`
  Ketik ini dan tekan *Enter*. Kalau kamu belum mengunduh *file*-nya di hari-hari sebelumnya, secara serempak Ollama akan mengeksekusi dua perintah. Pertama, menarik otomatis dari web (*pull)* dan saat bar progres selesai 100%, terminalmu akan dipenuhi panah prompt (`>>>`) - menginisiasi percakapan. Mulailah mengobrol. Ketik *"Siapa penemu lampu?"*. Lihat ia menjawabmu secara gesit!

"Ollama menuntaskan apa yang Linux tidak bisa selama 20 tahun. Ia membuat command line interface menjadi seksi kembali bagi rakyat umum." - Open Source Evangelist

Ollama sebagai Server API "Rahasia" (Endpoint 11434)

Ada hal yang luar biasa mengenai arsitekturnya. Setiap kali aplikasi Ollama menyala di latar belakang, tanpa kamu sadari komputermu sedang membuka pelabuhan internet kecil di nomor port 11434 (Atau secara format URL, `http://localhost:11434`).

Artinya, ia telah menjadi HTTP API server sungguhan dan siap melayani skrip program terpisah (seperti NodeJS dan Python). Kamu bukan lagi seorang pengguna semata yang terpaku mengetik lewat interface terminal hitam kusam. Jika kamu seorang _web developer_, aplikasimu kini bisa menembak instruksi otomatis melalui fungsi fetch biasa! Contoh simulasi sederhana di Javascript:

// Skrip sederhana di frontend-mu untuk menghubungi "otak" buatanmu
const respon = await fetch('http://localhost:11434/api/generate', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    model: 'llama3',
    prompt: 'Mengapa langit itu berwarna biru gelap di lautan?',
    stream: false
  })
});
        

Dengan satu pintu server port tersembunyi `11434` ini, kamu menyingkap gerbang ekosistem integrasi maha luas tak berkesudahan yang akan kita bahas di sub-bab halaman perangkat lunak grafis selanjutnya!