Κόψε τα Περιττά. Στήσ’ το Μόνος.
Θες να στήσεις local AI αλλά όλα φαίνονται χαώδη; Ήρθες στο σωστό μέρος. Αυτός ο οδηγός είναι το εργαλείο σου: καθαρός, πρακτικός και χωρίς περιττά λόγια. Δεν θα σου πουλήσουμε hype — θα σου δείξουμε πώς να το φτιάξεις εσύ.
TL;DR
- Αυτός ο οδηγός καλύπτει την εγκατάσταση των 4 βασικών εργαλείων: LM Studio, Ollama, KoboldCPP, και WebUI.
- Περιλαμβάνει οδηγίες για Windows και Linux.
- Δεν απαιτείται εμπειρία σε προγραμματισμό.
- Υπάρχουν troubleshooting tips για κάθε εργαλείο.
Απαιτήσεις Συστήματος (για όλα τα εργαλεία)
- GPU με 8GB VRAM ή παραπάνω (4GB δουλεύει για μικρά μοντέλα με 4-bit quantization).
- 16GB RAM συνιστώμενη.
- Ενημερωμένοι GPU drivers (NVIDIA/AMD).
- Υποστήριξη AVX2 από τον επεξεργαστή (πλέον σχεδόν καθολική).
LM Studio
Windows:
- Κατέβασε το
.exeαπό την επίσημη σελίδα του LM Studio. - Κάνε εγκατάσταση όπως κάθε άλλο πρόγραμμα.
- Άνοιξέ το από το Start Menu.
- Πήγαινε στο “Model Catalog”, επίλεξε ένα μοντέλο (π.χ. Nous Hermes) και κατέβασέ το.
- Πήγαινε στο tab “Chat”, επίλεξε το μοντέλο και ξεκίνα να μιλάς.
Linux:
- Κατέβασε το
.AppImageαπό την επίσημη σελίδα του LM Studio. - Κάνε το εκτελέσιμο:
chmod +x LM_Studio.AppImage - Τρέξε το:
./LM_Studio.AppImage - Αν πετάει σφάλμα
chrome-sandbox, ακολούθησε οδηγίες από το documentation.
Troubleshooting:
- Δεν ανοίγει; Έλεγξε permissions (ιδίως σε Linux).
- Το UI δεν βλέπει μοντέλο; Πήγαινε στο tab “Model” και επίλεξέ το χειροκίνητα.
Ollama
Windows:
- Κατέβασε τον installer από την επίσημη σελίδα του Ollama.
- Άνοιξε PowerShell και τρέξε:
ollama pull nous-hermes
ollama run nous-hermes
Linux:
- Αν έχεις brew:
brew install ollama - Εναλλακτικά: κατέβασε το tarball από την σελίδα του Ollama.
- Άνοιξε terminal και τρέξε:
./ollama serve
Troubleshooting:
- Δεν αναγνωρίζεται η εντολή
ollama; Πρόσθεσε το binary στο $PATH. - Μοντέλο δεν απαντά; Δες αν τρέχει υπηρεσία (
ollama list). - API conflict; άλλαξε port με
--port.
KoboldCPP
Windows:
- Κατέβασε το
.exeαπό το GitHub Releases του KoboldCPP. - Διπλό κλικ για εκκίνηση.
- Όταν ζητηθεί, δείξε του το αρχείο GGUF μοντέλου (π.χ.
nous-hermes.Q4_K_M.gguf). - Άνοιξε το text window και ξεκίνα chat.
Linux:
- Κατέβασε το Linux binary και τρέξε το (ή μέσω Wine/Proton).
- Ή κάνε build το llama.cpp και τρέξε το UI μέσω terminal.
Troubleshooting:
- Το GUI δεν εμφανίζεται; Τρέξε χωρίς arguments.
- Σφάλματα μοντέλου; Ίσως είναι λάθος quant ή corrupt αρχείο.
Text Generation Web UI (Oobabooga)
Windows:
- Κατέβασε τον one-click installer από το GitHub του WebUI.
- Άνοιξε τον φάκελο, τρέξε το
.batαρχείο. - Άνοιξε browser και πήγαινε στο
localhost:7860 - Κατέβασε μοντέλο από το tab “Model”.
- Ξεκίνα συνομιλία στο tab “Chat”.
Linux:
- Clone το repo:
git clone https://github.com/oobabooga/text-generation-webui.git - Μπες στον φάκελο:
cd text-generation-webui - Κάνε εγκατάσταση:
chmod +x install.sh && ./install.sh - Τρέξε:
python server.py --share
Troubleshooting:
- Δεν ανοίγει; Έλεγξε ότι έχεις Python 3.10+ και εγκατεστημένα dependencies.
- Το μοντέλο δεν φορτώνει; Ίσως είναι λάθος format.
- CUDA error; Δες αν έχεις σωστούς NVIDIA drivers.
Extra Tips
- GGUF > GPTQ σε ευκολία και υποστήριξη. Προτίμησε GGUF όπου γίνεται.
- Προτίμησε μοντέλα με 4-bit quantization (Q4_K_M) για χαμηλή VRAM — ιδανικά για 4GB–8GB κάρτες.
- Αν χρησιμοποιείς NVIDIA GPU, προτίμησε Studio Drivers αντί για Game Ready, για καλύτερη CUDA σταθερότητα.
- Σε AMD, φρόντισε για ROCm υποστήριξη (ειδικά αν χρησιμοποιείς WebUI ή Ollama).
- Δεν έχεις GPU; 7B GGUF μοντέλα μπορούν να τρέξουν σε CPU (αργά, αλλά δουλεύει για testing).
- Αν το μοντέλο δεν χωράει στη VRAM, θα γίνει offload στη RAM. Περιμένεις καθυστερήσεις, αλλά όχι crash.
- Τα μοντέλα δεν κάνουν auto-update. Αν βγει νέα έκδοση, πρέπει να την κατεβάσεις ξανά χειροκίνητα.
Έφτασες ως εδώ; Τότε ξέρεις ήδη τι κάνεις. Δες τον οδηγό χρήσης και Fine-Tuning ή προχώρησε στο manifesto της ψηφιακής κυριαρχίας. Ή απλώς κλείσε το tab — και στήσε το δικό σου μοντέλο σαν να μη χρειάστηκες ποτέ κανέναν. Κανόνες; Δεν είδες κανέναν.
