MemVid: Vektör Veritabanları Yerine MP4 Dosyaları

Memvid, büyük metin hacimlerini depolama ve arama şeklimizde devrim yaratan çığır açıcı bir yapay zeka bellek kütüphanesidir. Geleneksel veritabanlarına güvenmek yerine, Memvid metin parçalarını akıllıca MP4 video dosyalarına kodlar, karmaşık bir veritabanı kurulumuna ihtiyaç duymadan yıldırım hızında anlamsal arama sağlar. Bu yenilikçi yaklaşım, özellikle çevrimdışı uygulamalar için onu inanılmaz derecede verimli, taşınabilir ve kullanımı kolay hale getirir.

Özünde Memvid, son teknoloji gömüler için sentence-transformers'ın gücünü, verimli benzerlik araması için FAISS'i ve video işleme için OpenCV'yi birleştirir. Bu benzersiz kombinasyon, milyonlarca metin parçasını kolayca paylaşılabilen ve erişilebilen kompakt bir video formatında depolamanıza olanak tanır. Kütüphane, yalnızca birkaç satır kodla video tabanlı belleğinizi oluşturmanıza, aramanıza ve onunla sohbet etmenize olanak tanıyan basit bir API ile geliştirici dostu olacak şekilde tasarlanmıştır.

Neden Geleneksel Çözümler Yerine Memvid'i Seçmelisiniz?

Memvid, geleneksel vektör veritabanlarına ve geleneksel veritabanlarına göre birçok çekici avantaj sunar:

Gördüğünüz gibi Memvid, depolama verimliliği, kurulum kolaylığı ve çevrimdışı kullanılabilirlik konularında öne çıkar. Dosya tabanlı olduğu için, bellek dosyalarınızı başka bir makineye kopyalayıp herhangi bir karmaşık taşıma işlemine gerek kalmadan hemen kullanmaya başlayabilirsiniz. Bu, onu kişisel bilgi tabanları, çevrimdışı yapay zeka uygulamaları ve veri taşınabilirliğinin öncelikli olduğu projeler için ideal bir çözüm haline getirir.

Memvid'e Nasıl Başlanır

Memvid'e başlamak oldukça basittir. Ortamınızı kurmanıza ve ilk video belleğinizi oluşturmanıza yardımcı olacak adım adım bir rehber aşağıdadır.

Adım 1: Bir Proje Dizini Oluşturun

Öncelikle, projeniz için yeni bir dizin oluşturalım ve içine girelim.

mkdir my-memvid-project
cd my-memvid-project

Adım 2: Sanal Ortam Kurulumu

Projenizin bağımlılıklarını yönetmek için sanal ortam kullanmak her zaman iyi bir uygulamadır.

# Sanal ortam oluşturun
python -m venv venv

# Etkinleştirin
# macOS/Linux'te:
source venv/bin/activate
# Windows'ta:
venv\Scripts\activate

Adım 3: Memvid'i Kurun

Şimdi, Memvid'i pip kullanarak kurabilirsiniz.

pip install memvid

PDF dosyalarıyla çalışmayı planlıyorsanız, ayrıca PyPDF2'yi de kurmanız gerekecektir.

pip install PyPDF2

Temel Kullanım: Belleğinizi Oluşturma ve Onunla Sohbet Etme

Birkaç metin parçasından bir video belleği oluşturup ardından onunla etkileşim kurmanın basit bir örneğiyle başlayalım.

Video Belleği Oluşturma

Video belleğinizi oluşturmak için MemvidEncoder sınıfı kullanılır. Metin parçaları, dosyalar ve hatta tüm dizinleri ekleyebilirsiniz.

from memvid import MemvidEncoder

# Create a list of text chunks
chunks = ["The first AI winter was a period of reduced funding and interest in artificial intelligence research.",
          "Geoffrey Hinton, Yoshua Bengio, and Yann LeCun are often referred to as the 'godfathers of AI.'",
          "Transformers are a type of neural network architecture that has revolutionized natural language processing."]

# Initialize the encoder
encoder = MemvidEncoder()

# Add the chunks to the encoder
encoder.add_chunks(chunks)

# Build the video memory and index file
encoder.build_video("memory.mp4", "memory_index.json")

Bu kod iki dosya oluşturacaktır: kodlanmış metin parçalarını içeren memory.mp4 ve hızlı arama için meta verileri ve indeksi depolayan memory_index.json.

Belleğinizle Sohbet Edin

Belleğiniz oluşturulduktan sonra, onunla bir sohbet başlatmak için MemvidChat sınıfını kullanabilirsiniz.

from memvid import MemvidChat

# Initialize the chat with your memory files
chat = MemvidChat("memory.mp4", "memory_index.json")

# Start an interactive chat session
chat.start_session()

# Ask a question
response = chat.chat("Who are the godfathers of AI?")
print(response)

chat metodu, video belleğinde en alakalı parçaları arayacak ve bulduğu bilgilere dayanarak tutarlı bir yanıt sağlayacaktır.

Belgelerden Bellek Oluşturma

Memvid, belgelerinizden bir bilgi tabanı oluşturmayı kolaylaştırır. Metin dosyaları, PDF'ler ve daha fazlasını ekleyebilirsiniz.

from memvid import MemvidEncoder
import os

# Create a directory for your documents
if not os.path.exists("documents"):
    os.makedirs("documents")

# Create some sample text files
with open("documents/ai_history.txt", "w") as f:
    f.write("The Dartmouth Workshop in 1956 is widely considered the birth of AI as a field.")
with open("documents/neural_networks.txt", "w") as f:
    f.write("A neural network is a series of algorithms that endeavors to recognize underlying relationships in a set of data through a process that mimics the way the human brain operates.")

# Initialize the encoder with custom chunking
encoder = MemvidEncoder(chunk_size=512, overlap=50)

# Add text files from the directory
for file in os.listdir("documents"):
    with open(f"documents/{file}", "r") as f:
        encoder.add_text(f.read(), metadata={"source": file})

# Build the video with optimized settings
encoder.build_video(
    "knowledge_base.mp4",
    "knowledge_index.json",
    fps=30,  # Higher FPS allows for more chunks per second
    frame_size=512  # Larger frames can store more data
)

Bu örnekte, daha büyük belgeleri daha iyi işlemek için parça boyutunu ve çakışmayı özelleştiriyoruz. Ayrıca, video'yu ihtiyaçlarımıza göre optimize etmek için saniye başına kare sayısını (FPS) ve kare boyutunu ayarlıyoruz.

Gelişmiş Arama ve Geri Alma

Daha gelişmiş kullanım senaryoları için, MemvidRetriever sınıfı güçlü arama yetenekleri sunar.

from memvid import MemvidRetriever

# Initialize the retriever
retriever = MemvidRetriever("knowledge_base.mp4", "knowledge_index.json")

# Perform a semantic search
results = retriever.search("the beginning of artificial intelligence", top_k=5)
for chunk, score in results:
    print(f"Score: {score:.3f} | {chunk[:100]}...")

# Get a context window for a specific query
context = retriever.get_context("tell me about neural networks", max_tokens=2000)
print(context)

search metodu en alakalı parçaları benzerlik skorlarıyla birlikte döndürürken, get_context dil modeliniz için daha fazla bağlam sağlamak amacıyla en iyi eşleşmenin etrafındaki daha büyük bir metin bloğunu alır.

Etkileşimli Sohbet Arayüzü

Memvid ayrıca Gradio ile oluşturulmuş kullanıcı dostu bir etkileşimli sohbet arayüzü içerir.

from memvid import MemvidInteractive

# Launch the interactive chat UI
interactive = MemvidInteractive("knowledge_base.mp4", "knowledge_index.json")
interactive.run()  # This will open a web interface at http://localhost:7860

Bu, bilgi tabanınızı keşfetmek ve performansını herhangi bir ek kod yazmadan test etmek için harika bir yoldur.

Gelişmiş Yapılandırma

Memvid oldukça özelleştirilebilir olup, onu özel ihtiyaçlarınıza göre uyarlamanıza olanak tanır.

Özel Gömüler

Gömüler oluşturmak için herhangi bir sentence-transformers modeli kullanabilirsiniz.

from sentence_transformers import SentenceTransformer

# Use a custom embedding model
custom_model = SentenceTransformer('sentence-transformers/all-mpnet-base-v2')
encoder = MemvidEncoder(embedding_model=custom_model)

Video Optimizasyonu

Maksimum sıkıştırma ve verimlilik için, video kodlama parametrelerini ince ayar yapabilirsiniz.

encoder.build_video(
    "compressed.mp4",
    "index.json",
    fps=60,  # More frames per second
    frame_size=256,  # Smaller frames
    video_codec='h265',  # H.265 offers better compression than H.264
    crf=28  # Constant Rate Factor (lower value means better quality)
)

Sonuç

Memvid, yapay zeka bellek yönetimine yeni bir bakış açısı sunan güçlü ve yenilikçi bir kütüphanedir. Video formatlarının yaygınlığını ve verimliliğini kullanarak, büyük miktarda metin verisini depolamak ve aramak için basit, uygun maliyetli ve çevrimdışı öncelikli bir çözüm sunar. İster kişisel bir bilgi tabanı oluşturuyor, ister yapay zeka destekli bir uygulama geliştiriyor, ister sadece bilgiyi yönetmenin yeni yollarını keşfediyor olun, Memvid denemeye değer bir araçtır.

Daha fazlasını öğrenmek ve gelişmiş örnekleri keşfetmek için, resmi GitHub deposunu https://github.com/Olow304/memvid adresinden kontrol ettiğinizden emin olun. Depo, ayrıntılı belgeler, örnekler ve başlamanıza yardımcı olmaya hazır sıcak bir topluluk içerir.