Google AlphaEvolve: Agen AI Matematika Bertenaga Gemini

AlphaEvolve Google DeepMind telah muncul sebagai kemajuan signifikan dalam penemuan dan optimasi algoritma secara otomatis, memanfaatkan kemampuan luar biasa dari keluarga model bahasa besar (LLM) Gemini dalam kerangka kerja evolusioner yang canggih. Sistem ini melampaui pengkodean berbantuan AI konvensional dengan secara otonom menghasilkan, mengevaluasi, dan menyempurnakan solusi algoritmik secara iteratif untuk masalah kompleks di bidang matematika, ilmu komputer, dan teknik. Artikel ini menggali seluk-beluk teknis AlphaEvolve, menjelajahi arsitekturnya, interaksi komponen intinya, pencapaian terobosannya dari perspektif teknis, dan posisinya dalam lanskap desain algoritma otomatis yang lebih luas.

Premis mendasar AlphaEvolve adalah untuk mengotomatiskan dan menskalakan proses pengembangan algoritma yang seringkali melelahkan dan didorong oleh intuisi. Ini dicapai dengan menciptakan sistem lingkaran tertutup di mana ide-ide algoritmik, yang diekspresikan sebagai kode, terus-menerus dimutasi, diuji terhadap tujuan yang ditentukan, dan dipilih berdasarkan kinerja, mendorong "survival of the fittest" digital untuk kode.

button

Arsitektur Inti dan Lingkaran Operasional

AlphaEvolve beroperasi melalui pipeline yang dirancang dengan cermat yang mengintegrasikan pembuatan kode berbasis LLM dengan evaluasi otomatis yang ketat dan strategi pencarian evolusioner. Lingkaran operasional yang khas dapat didekonstruksi sebagai berikut:

Definisi Masalah dan Inisialisasi: Proses dimulai dengan seorang ahli manusia mendefinisikan masalah. Ini melibatkan penyediaan:

• Program Dasar (Baseline Program): Versi awal, seringkali sub-optimal, dari algoritma dalam bahasa pemrograman yang didukung (misalnya, Python, C++, Verilog, JAX). Ini berfungsi sebagai benih awal untuk proses evolusioner.
• Fungsi Evaluasi (atau Kumpulan Evaluator): Ini adalah komponen penting. Ini adalah fungsi yang dapat diuji oleh mesin, atau sekumpulan fungsi, yang secara kuantitatif menilai kinerja algoritma tertentu berdasarkan satu atau lebih metrik yang telah ditentukan. Metrik ini dapat mencakup kebenaran, kecepatan eksekusi, konsumsi sumber daya (memori, energi), kualitas output, atau kepatuhan terhadap properti matematika tertentu. Kemampuan untuk mendefinisikan evaluator yang kuat dan dapat diotomatiskan sangat penting untuk keberhasilan AlphaEvolve pada masalah tertentu.
• Wilayah Kode Target: Pengguna menentukan bagian-bagian tertentu dari kode dasar yang harus difokuskan oleh AlphaEvolve untuk dievolusikan.

Basis Data Program dan Pengambilan Sampel Prompt: AlphaEvolve memelihara basis data program yang menyimpan semua varian program yang sebelumnya dihasilkan dan dievaluasi, bersama dengan skor kinerja dan metadata lainnya. Modul Prompt Sampler secara cerdas menanyakan basis data ini untuk memilih program "induk". Induk ini dipilih berdasarkan berbagai strategi, berpotensi termasuk kinerja tinggi (eksploitasi) atau keragaman (eksplorasi, mungkin dipandu oleh teknik seperti MAP-Elites untuk mencakup wilayah ruang solusi yang berbeda). Sampler kemudian membuat prompt yang kaya untuk LLM. Prompt ini biasanya mencakup:

• Kode program induk.
• Konteks tentang domain masalah (misalnya, definisi matematika, batasan).
• Umpan balik dari evaluasi sebelumnya (misalnya, pesan kesalahan, hambatan kinerja).
• Instruksi atau petunjuk spesifik untuk memandu strategi modifikasi LLM.

Pembuatan Kode dan Mutasi Berbasis LLM: Prompt yang dihasilkan dimasukkan ke dalam ensemble model Gemini Google. AlphaEvolve secara strategis memanfaatkan:

• Gemini Flash: Model yang lebih cepat dan lebih gesit, ideal untuk menghasilkan berbagai ide algoritmik dan modifikasi kode yang beragam dengan cepat. Ini memfasilitasi eksplorasi ruang pencarian yang lebih luas.
• Gemini Pro: Model yang lebih kuat dengan kemampuan penalaran yang lebih dalam, digunakan untuk saran yang lebih mendalam, transformasi kode yang kompleks, dan penyempurnaan kandidat yang menjanjikan yang diidentifikasi oleh Gemini Flash atau iterasi sebelumnya. LLM ditugaskan untuk menghasilkan "mutasi" pada program induk. Mutasi ini seringkali diekspresikan sebagai "diff" kode – perubahan yang tepat (penambahan, penghapusan, modifikasi) pada basis kode yang ada, daripada menghasilkan program baru secara keseluruhan dari awal di setiap instance. Pendekatan ini memungkinkan evolusi yang lebih terkontrol dan bertahap. Mutasi dapat berkisar dari penyesuaian satu baris dan penyesuaian parameter hingga restrukturisasi algoritmik yang substansial.

Evaluasi Otomatis: Program "anak" yang baru dihasilkan (yang dihasilkan dari penerapan diff yang dihasilkan LLM ke program induk) kemudian dikompilasi (jika perlu) dan dikenakan pengujian ketat oleh Kumpulan Evaluator. Ini adalah komponen penting dan tidak sepele.

• Verifikasi Kebenaran: Evaluator pertama-tama memastikan bahwa algoritma yang dihasilkan secara fungsional benar (misalnya, algoritma pengurutan benar-benar mengurutkan, fungsi matematika menghasilkan output yang valid). Ini mungkin melibatkan menjalankan terhadap suite pengujian, cuplikan verifikasi formal, atau pengujian berbasis properti.
• Pembuatan Profil Kinerja: Untuk program yang benar, kinerjanya terhadap metrik yang ditentukan (kecepatan, penggunaan sumber daya, dll.) diukur. Ini seringkali melibatkan eksekusi kode pada input dan perangkat keras yang representatif.
• Penilaian Multi-Objektif: AlphaEvolve dapat menangani optimasi multi-objektif, di mana algoritma dinilai terhadap beberapa kriteria yang berpotensi saling bersaing. Evaluator memberikan skor untuk setiap objektif.

Seleksi dan Pembaruan Populasi: Skor kinerja program anak dimasukkan kembali ke dalam basis data program. Pengontrol evolusioner kemudian memutuskan program mana yang akan dipertahankan dan disebarkan. Proses seleksi ini terinspirasi oleh prinsip-prinsip dari komputasi evolusioner:

• Program berkinerja tinggi biasanya lebih disukai.
• Strategi digunakan untuk menjaga keragaman populasi, mencegah konvergensi prematur ke solusi sub-optimal. Teknik seperti MAP-Elites (Multi-dimensional Archive of Phenotypic Elites) sangat cocok untuk ini, karena bertujuan untuk menemukan solusi terbaik untuk setiap wilayah "fenotipik" (misalnya, trade-off tertentu antara kecepatan dan akurasi).
• Basis data program diperbarui dengan kandidat baru yang dievaluasi, membentuk dasar untuk generasi evolusi algoritmik berikutnya.

Iterasi dan Konvergensi: Lingkaran pengambilan sampel, mutasi, evaluasi, dan seleksi ini berulang, berpotensi selama ribuan atau bahkan jutaan iterasi, berjalan secara asinkron di seluruh infrastruktur komputasi terdistribusi. Seiring waktu, populasi algoritma diharapkan berevolusi menuju solusi yang semakin optimal sehubungan dengan tujuan yang ditentukan. Proses ini dapat dihentikan berdasarkan berbagai kriteria, seperti mencapai target kinerja, menghabiskan anggaran komputasi, atau mengamati plateau dalam peningkatan.

Peran Krusial LLM Gemini

Kecanggihan model Gemini adalah inti dari kemampuan AlphaEvolve. Berbeda dengan sistem pemrograman genetik sebelumnya yang sering mengandalkan operator mutasi yang lebih acak atau didefinisikan secara sempit, AlphaEvolve memanfaatkan pemahaman LLM tentang sintaks kode, semantik, dan pola pemrograman umum.

• Pemahaman Kontekstual: Model Gemini dapat memproses informasi kontekstual yang kaya yang disediakan dalam prompt (kode yang ada, deskripsi masalah, umpan balik sebelumnya) untuk membuat modifikasi yang lebih cerdas dan terarah.
• Penyelesaian Masalah Kreatif: LLM dapat menghasilkan konstruksi kode dan ide algoritmik baru yang mungkin bukan perpanjangan langsung dari solusi yang ada, memungkinkan lompatan yang lebih signifikan dalam ruang pencarian.
• Menghasilkan Solusi Beragam: Stokastisitas bawaan dari pembuatan LLM, dikombinasikan dengan strategi prompting, dapat menghasilkan serangkaian mutasi yang beragam, mendorong pencarian evolusioner.
• Penyempurnaan Kode: Gemini Pro, khususnya, dapat digunakan untuk menyempurnakan dan meningkatkan kualitas kode, keterbacaan, dan efisiensi kandidat yang menjanjikan, melampaui hanya kebenaran fungsional.

Strategi mutasi "berbasis diff" sangat patut diperhatikan. Dengan meminta LLM mengusulkan perubahan relatif terhadap kode yang ada dan berfungsi (atau hampir berfungsi), AlphaEvolve dapat secara lebih efektif menjelajahi lingkungan lokal dari solusi yang baik sambil juga memiliki kapasitas untuk perubahan yang lebih besar dan transformatif. Ini bisa dibilang lebih efisien daripada mencoba menghasilkan seluruh algoritma kompleks dari awal berulang kali.

Analisis Teknis Pencapaian Utama

Keberhasilan AlphaEvolve yang dilaporkan bukan hanya peningkatan inkremental tetapi seringkali merupakan terobosan substansial:

Perkalian Matriks (Matriks Kompleks 4x4):

• Masalah: Algoritma standar untuk perkalian matriks, seperti Strassen's (1969), mengurangi jumlah perkalian skalar yang dibutuhkan dibandingkan dengan metode naif. Untuk matriks N×N, algoritma Strassen mengurangi kompleksitas dari O(N3) menjadi O(Nlog2​7)≈O(N2.807). AlphaEvolve menangani kasus spesifik dan menantang dari matriks bernilai kompleks 4×4.
• Kontribusi AlphaEvolve: Menemukan skema yang hanya membutuhkan 48 perkalian skalar. Metode Strassen, ketika diterapkan pada kasus kompleks spesifik ini, dipahami membutuhkan 49 perkalian. Penemuan ini, yang meningkatkan benchmark berusia 56 tahun, menyoroti kemampuan AlphaEvolve untuk menavigasi ruang pencarian kombinatorial yang kompleks dan mengungkap konstruksi algoritmik yang tidak jelas. Detail teknis kemungkinan melibatkan penemuan cara baru untuk mendekomposisi dan menggabungkan sub-masalah perkalian matriks.
• Signifikansi: Perkalian matriks yang efisien sangat penting dalam pembelajaran mendalam (misalnya, mengubah aktivasi, memperbarui bobot), komputasi ilmiah (simulasi, menyelesaikan sistem linier), dan pemrosesan sinyal. Bahkan peningkatan faktor konstanta kecil untuk kernel berukuran tetap dapat menghasilkan peningkatan kinerja agregat yang signifikan ketika kernel ini dieksekusi miliaran atau triliunan kali.

Penjadwalan Pekerjaan Pusat Data (Borg Google):

• Masalah: Menjadwalkan sejumlah besar pekerjaan komputasi yang beragam di seluruh armada server yang luas di pusat data secara efisien adalah masalah NP-hard. Heuristik digunakan untuk menemukan jadwal yang baik, meskipun belum tentu optimal, dengan cepat. Tujuannya adalah untuk memaksimalkan pemanfaatan sumber daya, meminimalkan waktu penyelesaian pekerjaan, dan memastikan keadilan.
• Kontribusi AlphaEvolve: AlphaEvolve mengembangkan fungsi heuristik baru untuk penjadwalan pekerjaan komputasi online. Fungsi ini kemungkinan mengambil berbagai parameter pekerjaan dan mesin sebagai input dan menghasilkan skor prioritas atau keputusan penempatan. Kuncinya adalah bahwa heuristik yang dihasilkan AI ini mengungguli heuristik yang ada dan direkayasa manusia dalam produksi.
• Dampak: Angka pemulihan rata-rata 0,7% sumber daya komputasi di seluruh dunia yang dilaporkan adalah angka substansial pada skala Google. Ini berarti secara efektif menambahkan kapasitas senilai ribuan server tanpa perangkat keras baru, menghasilkan penghematan biaya dan energi yang signifikan. Heuristik baru ini cukup kuat untuk penerapan produksi selama lebih dari setahun.

Akselerasi Pelatihan Model AI (Kernel Gemini):

• Masalah: Melatih model bahasa besar melibatkan jumlah perkalian matriks dan operasi tensor lainnya yang sangat besar. Efisiensi kernel tingkat rendah yang melakukan operasi ini secara langsung memengaruhi waktu dan biaya pelatihan. Mengoptimalkan kernel ini (misalnya, bagaimana operasi matriks di-tile dan diparalelkan untuk perangkat keras spesifik seperti TPU) adalah tugas yang sangat terspesialisasi.
• Kontribusi AlphaEvolve: Mengoptimalkan kernel Pallas yang digunakan untuk perkalian matriks dalam pelatihan Gemini, mencapai peningkatan kecepatan 23% untuk kernel spesifik tersebut. Ini dicapai dengan menemukan cara yang lebih efisien untuk membagi operasi menjadi sub-masalah, kemungkinan melibatkan strategi tiling yang lebih baik atau penjadwalan instruksi.
• Dampak: Optimasi kernel ini menghasilkan pengurangan keseluruhan 1% dalam waktu pelatihan model Gemini. Meskipun 1% mungkin tampak kecil, untuk model yang dapat memakan waktu berminggu-minggu atau berbulan-bulan dan jutaan dolar untuk dilatih, ini adalah penghematan yang signifikan dan mempercepat siklus penelitian dan pengembangan.

Desain Perangkat Keras (Optimasi Verilog TPU):

• Masalah: Merancang sirkuit perangkat keras yang efisien, yang dijelaskan dalam bahasa seperti Verilog, melibatkan pembuatan trade-off kompleks antara area, kecepatan, dan daya. Menghilangkan redundansi atau menemukan implementasi logika yang lebih efisien sangat penting.
• Kontribusi AlphaEvolve: Mengusulkan modifikasi pada kode Verilog untuk sirkuit aritmatika kritis yang digunakan dalam perkalian matriks pada Tensor Processing Unit (TPU) di masa mendatang. Perubahan ini menghasilkan penyederhanaan yang secara fungsional setara dari desain sirkuit.
• Signifikansi: Ini menunjukkan potensi AlphaEvolve untuk berkontribusi pada proses desain perangkat keras itu sendiri, domain yang secara tradisional sangat bergantung pada insinyur manusia yang sangat terspesialisasi. Mengoptimalkan perangkat keras pada tahap desain dapat menghasilkan peningkatan efisiensi yang meluas setelah chip diproduksi.

Penemuan Matematika (Kissing Number, dll.):

• Masalah: Banyak masalah terbuka dalam matematika melibatkan penemuan konstruksi atau batas optimal. Misalnya, masalah kissing number dalam dimensi D menanyakan jumlah maksimum bola satuan yang tidak tumpang tindih yang dapat menyentuh bola satuan pusat.
• Kontribusi AlphaEvolve: Dalam 75% dari lebih dari 50 masalah matematika terbuka yang diuji, AlphaEvolve menemukan kembali solusi state-of-the-art. Dalam 20% kasus, AlphaEvolve meningkatkan solusi terbaik yang sebelumnya diketahui. Untuk kissing number dalam 11 dimensi, AlphaEvolve menemukan batas bawah baru dengan konfigurasi 593 bola. Penemuan ini seringkali melibatkan pencarian kombinatorial yang rumit.
• Signifikansi: Ini menunjukkan kemampuan AlphaEvolve untuk penemuan ilmiah sejati dalam matematika murni, melampaui tugas optimasi terapan.

Aspek Neurosimbolik dan Perbandingan dengan Karya Sebelumnya

AlphaEvolve dapat dilihat sebagai perwujudan prinsip neurosimbolik. Ini menggabungkan pengenalan pola dan kekuatan generatif jaringan saraf (LLM Gemini) dengan representasi simbolik dan manipulasi kode dan struktur logis (algoritma itu sendiri dan kerangka kerja evaluasi). LLM memberikan intuisi "neural" untuk mengusulkan perubahan, sementara evaluator dan kerangka kerja evolusioner memberikan ketelitian "simbolik" untuk menguji dan memandu pencarian.

Dibandingkan dengan sistem Google DeepMind sebelumnya:

• AlphaTensor: Secara khusus berfokus pada penemuan algoritma untuk perkalian matriks, terutama dengan mengubah masalah menjadi permainan pemain tunggal melalui representasi tensor. AlphaEvolve lebih serbaguna, mampu bekerja dengan basis kode arbitrer dan domain masalah yang beragam di luar aljabar matriks. AlphaEvolve beroperasi langsung pada kode sumber menggunakan LLM untuk mutasi.
• FunSearch: Bertujuan untuk menemukan fungsi matematika baru dengan mengembangkan program, seringkali dalam bahasa spesifik domain yang terbatas, dengan LLM membantu mengarahkan pencarian menjauh dari jalan yang tidak menjanjikan. AlphaEvolve memperluas ini dengan menangani bahasa pemrograman yang lebih umum, mengembangkan seluruh basis kode, dan memiliki proses mutasi berbasis LLM yang lebih eksplisit ("diff"). Penerapannya pada optimasi infrastruktur (pusat data, perangkat keras) juga menandakan cakupan yang lebih luas.

Perbedaan utama AlphaEvolve terletak pada keserbagunaannya, penggunaan LLM canggih seperti Gemini untuk manipulasi kode yang bernuansa, dan kerangka kerja evolusionernya yang beroperasi langsung pada kode sumber untuk secara iteratif meningkatkan solusi berdasarkan evaluasi empiris.

Keterbatasan Teknis dan Arah Masa Depan

Meskipun kuat, AlphaEvolve bukannya tanpa tantangan teknis dan area untuk penelitian di masa depan:

1. Efisiensi Sampel Pencarian Evolusioner: Algoritma evolusioner dapat tidak efisien dalam hal sampel, membutuhkan banyak evaluasi untuk menemukan solusi optimal. Meskipun AlphaEvolve memanfaatkan LLM untuk membuat mutasi yang lebih cerdas, skala pengujian ribuan atau jutaan varian dapat mahal secara komputasi. Meningkatkan efisiensi pencarian adalah tujuan yang berkelanjutan.
2. Kompleksitas Desain Evaluator: "Tumit Achilles" dari sistem semacam itu seringkali adalah kebutuhan akan fungsi evaluasi yang terdefinisi dengan baik, dapat diotomatiskan, dan efisien. Untuk beberapa masalah kompleks, terutama yang memiliki imbalan yang jarang atau tujuan yang sulit diukur, merancang evaluator semacam itu bisa sama menantangnya dengan menyelesaikan masalah itu sendiri.
3. Skalabilitas ke Basis Kode yang Sangat Besar: Meskipun AlphaEvolve dapat mengembangkan seluruh program, skalabilitasnya ke basis kode yang benar-benar besar dan monolitik (misalnya, seluruh kernel sistem operasi) dan interaksi antara komponen yang berkembang yang sangat bersarang menghadirkan hambatan signifikan.
4. Distilasi dan Generalisasi: Pertanyaan penelitian utama adalah bagaimana "pengetahuan" yang diperoleh AlphaEvolve melalui pencarian ekstensifnya dapat didistilasi kembali ke model LLM dasar untuk meningkatkan kemampuan penalaran algoritmik bawaannya, zero-shot atau few-shot, tanpa memerlukan lingkaran evolusioner penuh untuk setiap masalah baru. Karya saat ini menunjukkan bahwa ini adalah arah yang menjanjikan tetapi belum sepenuhnya terwujud.
5. Peningkatan Diri Rekursif Sejati: Meskipun AlphaEvolve mengoptimalkan pelatihan model yang memberdayakannya, mencapai AI yang benar-benar otonom dan terus-menerus meningkatkan diri yang dapat meningkatkan semua algoritma intinya sendiri tanpa campur tangan manusia adalah visi jangka panjang yang jauh lebih kompleks. Sistem saat ini masih membutuhkan pengaturan dan pengawasan manusia yang signifikan untuk masalah baru.
6. Menangani Ambiguitas dan Masalah yang Kurang Spesifik: AlphaEvolve unggul ketika tujuannya jelas "dapat dinilai oleh mesin". Masalah dengan persyaratan yang ambigu atau yang membutuhkan penilaian manusia yang subjektif untuk evaluasi tetap berada di luar kemampuan langsungnya saat ini.

Arah teknis di masa depan kemungkinan mencakup:

• Strategi Evolusioner yang Lebih Canggih: Menggabungkan teknik ko-evolusioner yang lebih maju, algoritma niching, atau operator mutasi adaptif.
• Peningkatan Prompting dan Interaksi LLM: Mengembangkan metode yang lebih halus untuk prompting Gemini guna menghasilkan jenis inovasi algoritmik tertentu dan memungkinkan siklus penyempurnaan yang lebih interaktif.
• Pembuatan Evaluator Otomatis: Penelitian tentang sistem AI yang dapat membantu menghasilkan atau menyarankan fungsi evaluasi yang sesuai berdasarkan deskripsi masalah tingkat tinggi.
• Integrasi dengan Metode Formal: Menggabungkan kemampuan pencarian AlphaEvolve dengan teknik verifikasi formal untuk tidak hanya menemukan algoritma yang efisien tetapi juga untuk membuktikan kebenarannya secara lebih ketat.
• Aksesibilitas dan Peralatan yang Lebih Luas: Mengembangkan antarmuka dan alat yang mudah digunakan untuk memungkinkan berbagai ilmuwan dan insinyur memanfaatkan AlphaEvolve untuk masalah spesifik mereka, seperti yang direncanakan dengan Program Akses Awal akademik.

Kesimpulannya, AlphaEvolve mewakili perpaduan canggih antara model bahasa besar, komputasi evolusioner, dan evaluasi program otomatis. Arsitektur teknisnya memungkinkannya untuk menangani berbagai masalah algoritmik yang menantang, menghasilkan solusi yang dapat melampaui rekan-rekan yang direkayasa manusia dan bahkan memecahkan rekor lama dalam matematika. Meskipun tantangan teknis tetap ada, keberhasilan AlphaEvolve yang ditunjukkan dan desain serbagunanya menandai era baru di mana AI memainkan peran yang semakin proaktif dan kreatif dalam proses penemuan ilmiah dan teknologi itu sendiri.