Database vektor sedang populer, mengingat jumlah startup yang masuk ke dalam ruang tersebut dan investor yang menyediakan dana untuk mendapatkan bagian dari kue tersebut. Berkembangnya model bahasa besar (LLMs) dan gerakan AI generatif (GenAI) telah menciptakan ladang subur bagi teknologi database vektor untuk berkembang.
Sementara database relasional tradisional seperti Postgres atau MySQL cocok untuk data terstruktur - jenis data yang telah ditentukan yang dapat diatur dengan rapi dalam baris dan kolom - hal ini tidak berlaku untuk data tak terstruktur seperti gambar, video, email, kiriman media sosial, dan data lain yang tidak sesuai dengan model data yang telah ditetapkan.
Di sisi lain, database vektor menyimpan dan memproses data dalam bentuk embedding vektor, yang mengubah teks, dokumen, gambar, dan data lain menjadi representasi numerik yang menangkap makna dan hubungan antara berbagai titik data. Hal ini sempurna untuk machine learning, karena database menyimpan data secara spasial berdasarkan seberapa relevan setiap item dengan yang lain, sehingga lebih mudah untuk mengambil data yang serupa secara semantik.
Hal ini sangat berguna untuk LLMs, seperti GPT-4 dari OpenAI, karena memungkinkan chatbot AI untuk lebih memahami konteks percakapan dengan menganalisis percakapan yang serupa sebelumnya. Pencarian vektor juga berguna untuk berbagai aplikasi real-time, seperti rekomendasi konten di jaringan sosial atau aplikasi e-commerce, karena dapat melihat apa yang telah dicari oleh pengguna dan mengambil item serupa dengan cepat.
Pencarian vektor juga dapat membantu mengurangi 'halusinasi' dalam aplikasi LLM, dengan menyediakan informasi tambahan yang mungkin tidak tersedia dalam dataset pelatihan asli.
“Tanpa menggunakan pencarian kemiripan vektor, Anda masih bisa mengembangkan aplikasi AI/ML, tetapi Anda perlu melakukan lebih banyak pelatihan ulang dan penyetelan halus,” Andre Zayarni, CEO dan co-founder dari startup pencarian vektor Qdrant, menjelaskan kepada TechCrunch. “Database vektor berperan saat ada dataset besar, dan Anda memerlukan alat untuk bekerja dengan vektor embedding dengan cara yang efisien dan nyaman.”
Pada bulan Januari, Qdrant berhasil mendapatkan pendanaan sebesar $28 juta untuk memanfaatkan pertumbuhan yang telah membawanya menjadi salah satu dari 10 startup open source komersial tercepat tahun lalu. Dan Qdrant bukanlah satu-satunya startup database vektor yang berhasil mengumpulkan dana belakangan ini - Vespa, Weaviate, Pinecone, dan Chroma bersama-sama mengumpulkan $200 juta tahun lalu untuk berbagai penawaran vektor.
Sejak awal tahun, kita juga telah melihat Index Ventures memimpin putaran awal sebesar $9,5 juta ke Superlinked, platform yang mengubah data kompleks menjadi embedding vektor. Dan beberapa minggu yang lalu, Y Combinator (YC) mengumumkan kohort Winter ’24-nya, yang mencakup Lantern, startup yang menjual mesin pencarian vektor yang dihosting untuk Postgres.
Di tempat lain, Marqo berhasil mengumpulkan putaran pendanaan awal sebesar $4,4 juta akhir tahun lalu, yang segera diikuti oleh putaran Seri A sebesar $12,5 juta pada bulan Februari. Platform Marqo menyediakan berbagai alat vektor lengkap langsung dari kotak, meliputi pembuatan vektor, penyimpanan, dan pengambilan, memungkinkan pengguna untuk menghindari alat pihak ketiga dari OpenAI atau Hugging Face, dan menyediakan semuanya melalui sebuah API tunggal.
Co-founder Marqo, Tom Hamer dan Jesse N. Clark sebelumnya bekerja dalam peran teknik di Amazon, di mana mereka menyadari "kebutuhan besar yang belum terpenuhi" untuk pencarian semantik yang fleksibel di berbagai modalitas seperti teks dan gambar. Dan saat itulah mereka pindah untuk membentuk Marqo pada tahun 2021.
Masuki bisnis
Meskipun database vektor sedang populer di tengah hiruk-pikuk ChatGPT dan gerakan GenAI, mereka bukanlah solusi ajaib untuk setiap skenario pencarian perusahaan.
“Database khusus cenderung sepenuhnya berfokus pada kasus penggunaan tertentu dan oleh karena itu dapat merancang arsitektur mereka untuk kinerja pada tugas yang diperlukan, serta pengalaman pengguna, dibandingkan dengan database umum, yang perlu menyesuaikannya dengan desain saat ini,” Peter Zaitsev, pendiri perusahaan dukungan dan layanan database Percona, menjelaskan kepada TechCrunch.
Walau database khusus mungkin sangat unggul dalam satu hal dengan mengesampingkan yang lain, inilah mengapa kita mulai melihat pesaing database seperti Elastic, Redis, OpenSearch, Cassandra, Oracle, dan MongoDB menambahkan kecerdasan pencarian database vektor ke campuran, seperti halnya penyedia layanan cloud seperti Azure dari Microsoft, AWS dari Amazon, dan Cloudflare.
Zaitsev membandingkan tren terbaru ini dengan apa yang terjadi dengan JSON lebih dari satu dekade yang lalu, ketika aplikasi web semakin sering digunakan dan pengembang memerlukan format data yang independen dari bahasa yang mudah dibaca dan ditulis manusia. Dalam kasus tersebut, kelas database baru muncul dalam bentuk database dokumen seperti MongoDB, sementara database relasional yang sudah ada juga memperkenalkan dukungan JSON.
“Saya pikir hal yang sama kemungkinan besar akan terjadi dengan database vektor,” kata Zaitsev kepada TechCrunch. “Pengguna yang membangun aplikasi AI yang sangat rumit dan besar akan menggunakan database pencarian vektor yang didedikasikan, sementara orang yang perlu membangun sedikit fungsionalitas AI untuk aplikasi mereka yang sudah ada lebih mungkin akan menggunakan fungsionalitas pencarian vektor dalam database yang digunakan mereka sekarang.”
Namun, Zayarni dan rekan-rekannya di Qdrant bertaruh bahwa solusi asli yang dibangun sepenuhnya di sekitar vektor akan menyediakan “kecepatan, keamanan memori, dan skala” yang diperlukan saat data vektor meledak, dibandingkan dengan perusahaan yang menambahkan pencarian vektor sebagai afterthought.
“Pitch mereka adalah, ‘kami juga bisa melakukan pencarian vektor, jika diperlukan,’” kata Zayarni. “Pitch kami adalah, ‘kami melakukan pencarian vektor lanjutan dengan cara terbaik.’ Itu semua tentang spesialisasi. Kami sebenarnya merekomendasikan untuk memulai dengan database yang sudah ada dalam stack teknologi Anda. Pada suatu saat, pengguna akan menghadapi keterbatasan jika pencarian vektor adalah komponen penting dari solusi Anda."
