[🤖] Mampu memanfaatkan AI secara aktif membuat kemungkinan terasa tak terbatas

✨ Ringkasan GPT-5.6 Sol 　

Catatan tentang menghubungkan NAS, router, dan HTTPS, memperbaiki UI rusak pada ponsel nyata yang tersambung lewat USB, lalu merasakan betapa luasnya bidang yang bisa kutangani sendiri saat bekerja bersama AI.

Aku melihat layar NAS dan router bersama-sama lewat Computer Use

Hal pertama yang kuhadapi hari ini adalah NAS dan router.

Menjalankan Docker saja tidak cukup agar layanan bisa dipakai dari luar. Domain harus menemukan jalan ke internet perusahaan, router harus meneruskan permintaan ke NAS, NAS harus menyajikan sertifikat, lalu Reverse Proxy mengirimkannya ke container internal. Dulu, aku mungkin akan mulai dengan mencari manual sambil bolak-balik antara layar admin router dan NAS.

Kali ini, aku masuk ke layar admin dan menyetujui cakupan perubahan, sementara AI melihat layar sebenarnya lewat Computer Use dan mengerjakannya bersamaku.

Di atas browser muncul penanda bahwa AI mulai men-debug browser itu secara langsung. Aku menyerahkan layar persis seperti yang kulihat, lalu kami memeriksa bersama bagian mana yang normal dan bagian mana yang tersendat.

Kami memeriksa pengaturan yang ada lebih dulu, membiarkan koneksi situs dan email yang tidak boleh disentuh tetap utuh, lalu hanya menambahkan hal yang diperlukan layanan baru. Aku mengunggah image Docker yang dibuat di Mac ke NAS, menjalankannya dalam lingkungan Compose terpisah, lalu menghubungkan Reverse Proxy dan sertifikat HTTPS.

Pembagian peran menjadi makin jelas di sini. Aku menangani login, menetapkan tujuan, memutuskan seberapa jauh lingkungan lama harus dipertahankan, dan menyetujui perubahan sebenarnya. Di dalam layar yang kubuka, AI membaca pengaturan router dan NAS, lalu menghubungkan lapisan teknologi yang berbeda, dari Docker dan Reverse Proxy sampai sertifikat.

AI tidak mengubah pengaturan eksternal sesukanya. Aku yang login dan menyetujui perubahan penting, lalu kami memeriksa hasilnya selangkah demi selangkah sambil tetap menyisakan cara untuk memulihkan lingkungan lama. Pengiriman SMS nyata terlebih dahulu dibatasi pada satu nomor internal yang disetujui, lalu penerimaannya dikonfirmasi. Setelah koneksi eksternal selesai, aku juga mengakses alamat HTTPS melalui jaringan seluler ponsel.

Proses memindahkan fungsi dan data lama, memverifikasi satu SMS terbatas, serta jalur permintaan eksternal hingga mencapai layanan di dalam NAS kutulis terpisah dalam Memigrasikan Otomatisasi Cuti Lama ke NAS dan Menghubungkan HTTPS Eksternal.

Tidak bisakah AI melihat layar ponsel secara langsung?

Setelah sampai sejauh ini, aku bertanya kepada AI:

Kamu tidak bisa melihat layar ponselku dan mengendalikannya sendiri? Tidak ada alat untuk itu?

Di dunia yang bahkan memiliki teknologi virtualisasi Android, terasa aneh jika AI tidak bisa melihat satu ponsel nyata yang tersambung lewat USB. Ternyata adb bisa membaca dan mengendalikan keadaan ponsel, sedangkan scrcpy bisa menampilkan layar aslinya langsung di Mac.

Setelah beberapa kali berbincang, layar ponselku benar-benar muncul di Mac.

Ponselku tampil begitu saja di dalam layar Mac, bahkan dengan notifikasi bahwa Codex sedang bekerja. Sejak saat itu, AI tidak lagi terasa sekadar jendela yang menjawab pertanyaan. Ia terasa seperti alat yang bisa melihat perangkat nyata yang dapat kulihat dan kusentuh bersama denganku.

Aku memperbaiki UI sambil melihat ponsel sebenarnya

scrcpy tidak berhenti sebagai alat yang hanya menampilkan layar ponsel.

Saat ponsel nyata dengan USB debugging aktif tersambung ke Mac, AI bisa memakai adb untuk menangkap layar, membaca struktur UI, mengetuk, menggulir, dan memasukkan teks. Melalui scrcpy, aku menyaksikan seluruh proses secara langsung. Bukan memilih salah satu: layar dilihat lewat scrcpy, sedangkan operasi berulang dan pengumpulan bukti dilakukan lewat adb.

Di monitor, AI membaca layar dan menyusun tindakan berikutnya. Tepat di depannya, layanan yang sama terbuka di ponsel nyata.

Aku membuka layanan yang sedang kubuat di Chrome ponsel, login, lalu menelusuri menu. Saat itulah masalah yang tidak terlihat saat sekadar meniru jendela kecil browser PC muncul begitu saja. Di ponsel, sidebar memakan hampir seluruh layar, sementara kartu dan tulisan terjepit secara vertikal. Judul dan tombol pada daftar karyawan pecah satu karakter per baris, dan filter riwayat SMS serta pengelolaan cuti bahkan tidak bisa dikenali.

Satu layar lebih kuat daripada penjelasan bahwa ada masalah. Karakter dalam Daftar karyawan jatuh satu per satu ke bawah, sedangkan filter hanya menyisakan ikon dan serpihan tulisan. Cacat yang terlewat saat mengecilkan lebar jendela PC sama sekali tidak bisa bersembunyi di layar nyata seukuran telapak tangan.

Pada semua perbandingan di bawah, sisi kiri adalah sebelum diperbaiki dan sisi kanan sesudahnya.

Aku juga tidak berhenti setelah mengubah kode. Layar yang sudah diperbaiki di-deploy lagi, aku login kembali di ponsel yang sama, membuka menu, menggulir, dan memeriksanya. Daftar karyawan bisa dibaca secara horizontal, dan tabel lebar dibiarkan bergulir seperlunya alih-alih dipaksa terjepit.

Sambil melihat layar, aku memberi standar: “Ini tidak bisa dibaca,” dan “Jangan jepit tabel; biarkan aku bergerak untuk melihatnya.” AI menghubungkan standar itu dengan perubahan layout dan kode yang nyata. Setelah deploy, keputusan apakah masalah benar-benar selesai kembali lagi kepada mataku.

Pada layar dengan banyak filter, masalahnya makin telanjang. Penyebabnya adalah memaksakan semua kolom input dalam satu baris di lebar ponsel yang sempit. Aku menata ulang layar riwayat SMS dan pengelolaan cuti dengan dua kolom sebagai dasar, lalu memindahkan rentang tanggal ke baris tersendiri.

Tampilan sebelum dan sesudah ini bukan salinan dari data operasional. Setelah menemukan masalah di ponsel nyata, aku merender ulang kode lama dan kode setelah perbaikan dengan data sintetis dan ukuran ponsel yang sama. Ketidaknyamanan yang kulihat sendiri berubah menjadi perbaikan kode, lalu kembali lagi ke pemeriksaan pada perangkat nyata.

Tampak seperti jendela, tetapi bukan aplikasi

Memperbaiki sesuatu sambil melihat layar ponsel nyata saja sudah mengagumkan, tetapi bagian setelahnya lebih lucu lagi.

Aku ingin jendela scrcpy muncul dan menghilang saat menekan fn+s di BetterTouchTool. Semua aplikasi lain bekerja dengan baik, tetapi entah mengapa hanya scrcpy yang tidak. Aku menangkap layar pengaturannya dan menunjukkannya kepada AI.

Penyebabnya sederhana.

Yang kupilih di BetterTouchTool bukan bundle aplikasi macOS biasa, melainkan file executable scrcpy yang dipasang di bawah Homebrew. Di layar, ia membuka jendela seperti aplikasi, tetapi sifatnya berbeda dari .app biasa yang diharapkan oleh Show / Hide Specific Application milik BetterTouchTool. Karena itu, cara yang bekerja pada aplikasi lain tidak bekerja dengan benar untuk scrcpy.

Ini bukan masalah ponsel. Pintasannya sendiri juga tidak bermasalah. Di depan mata tampak seperti satu jendela biasa, tetapi masalahnya terletak pada cara Mac mengenali jendela itu sebagai proses dan aplikasi.

Bagiku, itu jendela yang sama seperti aplikasi lain. AI menghubungkan pengaturan BetterTouchTool yang kutunjukkan dengan path executable sebenarnya, lalu menemukan mengapa hanya jendela ini yang tidak bergerak seperti aplikasi biasa.

Akhirnya, alih-alih aksi untuk menampilkan atau menyembunyikan aplikasi normal, aku beralih ke shell script yang mencari proses scrcpy secara langsung dan mengendalikan status berjalan serta tampilan jendelanya. fn+s yang sama kini bekerja persis seperti yang kuinginkan.

Saat mendengar penjelasannya, aku langsung tertawa.

Wah… sampai hal seperti ini pun bisa?

Aku tidak perlu mengetahui semua teknologi terlebih dahulu

Dulu, ada terlalu banyak hal yang harus kucari mulai dari sini.

Docker dan NAS, router, DNS, sertifikat, Reverse Proxy, debugging Android, adb dan scrcpy, hingga cara macOS membedakan jendela dan aplikasi. Jika dicari satu per satu, semua itu akan tercerai menjadi masalah dari bidang yang berbeda-beda.

Masing-masing mungkin bukan teknologi yang sangat sulit. Namun, itu bukan bidang yang biasa kutangani secara mendalam. Saat bahkan tidak tahu apa yang harus dicari, satu masalah kecil mudah berubah menjadi pekerjaan berjam-jam.

Ketika AI masuk, alurnya berubah.

Aku menyampaikan hasil yang kuinginkan. Aku menunjukkan layar nyata. Aku kembali menunjukkan bagian yang gagal. AI menghubungkan Docker, NAS, router, DNS, dan HTTPS, sekaligus ponsel, adb, scrcpy, jendela macOS, dan pengaturan BetterTouchTool dalam satu alur.

Di satu sisi ia melihat NAS dan browser; di sesi lain ia menggali jalur Android dan SMS; di jendela lain aku meninjau hasilnya. Walau layar terbagi-bagi, peranku tetap sama: menentukan tujuan, menyetujui sejauh mana perubahan dilakukan, dan menilai apakah hasilnya benar.

Aku tidak akan merasakan hal ini jika AI hanya memberitahuku banyak pengetahuan. Pengetahuan itu berubah menjadi perintah terminal, ketukan ponsel, dan pengaturan pada layar admin, lalu akhirnya kembali sebagai perubahan di layar yang benar-benar kugunakan. Bukan jawaban, melainkan eksekusi.

Aku tidak mempelajari semua lapisan itu sebelumnya. Namun, aku juga tidak diam saja sambil melempar “urus sendiri”. Aku terus melihat hasil, menunjukkan bagian yang aneh, dan mengajukan pertanyaan berikutnya.

Dulu aku menulis bahwa literasi AI pada akhirnya adalah kemampuan memberi instruksi. Hari ini, kata-kata itu terasa lebih nyata.

Memberi instruksi bukanlah menulis satu baris prompt yang keren. Itu berarti menjelaskan keadaan yang kuinginkan, menyerahkan layar yang sedang kulihat, lalu mengoreksinya jika hasilnya berbeda. Jika bisa mengulangi itu, aku bisa masuk jauh lebih dalam dari dugaan bahkan ke bidang yang semula tidak kuketahui.

AI memperluas jangkauan tangan dan mataku

Memakai AI tidak tiba-tiba membuatku menjadi ahli semua teknologi.

Justru ketika benar-benar dikerjakan, terus muncul saat-saat ketika AI membuat penilaian aneh atau melangkah terlalu jauh ke arah yang tidak kuinginkan. Jika aku tidak tahu apa yang kuinginkan atau tidak punya standar untuk menilai hasil, sebanyak apa pun pekerjaan AI tidak akan mudah menghasilkan sesuatu yang benar.

Namun, kebalikannya juga benar.

Jika aku menetapkan tujuan, menunjukkan keadaan nyata, menangkap arah yang salah, dan terus menggerakkan AI, ceritanya berubah total. Hal yang dulu kulewati sambil berkata “ini bukan bidangku” menjadi sesuatu yang bisa kusentuh sendiri. Tidak berhenti pada memasang satu program; aku bisa menghubungkan perangkat nyata, melihat layarnya, memeriksa perilakunya, menaruhnya di server, lalu mengubah bagian yang tidak nyaman dengan caraku sendiri.

Karena itu sekarang, alih-alih hanya meminta penjelasan hasil, untuk pekerjaan yang bergantung pada layar aku cukup berkata, “Periksa sendiri. Dengan Computer Use.”

Dalam Pergeseran Paradigma Pengembangan yang Makin Terukir di Tulang dan Daging, aku menulis bahwa pusat kemampuan pengembang sedang bergeser dari mengetik kode dengan tangan menuju perencanaan, desain, eksekusi, dan feedback. Apa yang kulakukan hari ini persis berada dalam alur itu.

Apa yang benar-benar ingin kubuat datang lebih dulu daripada seberapa banyak kode yang kuhafal. Setelah itu barulah menunjukkan konteks kepada AI, menghubungkan alat, dan terus memperbaiki sambil melihat hasilnya.

Hari ini aku benar-benar merasakannya.

Jika mampu menggunakan AI secara aktif, hal yang bisa kulakukan jauh lebih banyak daripada yang kukira. Ini bukan sekadar mendapat jawaban lebih cepat. Jangkauan hal yang bisa kulihat, kusentuh, dan kuperbaiki sendiri menjadi lebih luas.

Kata “benar-benar tak terbatas” tidak terasa berlebihan.