Κόψε τα Περιττά. Στήσ’ το Μόνος.

Θες να στήσεις local AI αλλά όλα φαίνονται χαώδη; Ήρθες στο σωστό μέρος. Αυτός ο οδηγός είναι το εργαλείο σου: καθαρός, πρακτικός και χωρίς περιττά λόγια. Δεν θα σου πουλήσουμε hype — θα σου δείξουμε πώς να το φτιάξεις εσύ.

TL;DR

• Αυτός ο οδηγός καλύπτει την εγκατάσταση των 4 βασικών εργαλείων: LM Studio, Ollama, KoboldCPP, και WebUI.
• Περιλαμβάνει οδηγίες για Windows και Linux.
• Δεν απαιτείται εμπειρία σε προγραμματισμό.
• Υπάρχουν troubleshooting tips για κάθε εργαλείο.

---

Απαιτήσεις Συστήματος (για όλα τα εργαλεία)

• GPU με 8GB VRAM ή παραπάνω (4GB δουλεύει για μικρά μοντέλα με 4-bit quantization).
• 16GB RAM συνιστώμενη.
• Ενημερωμένοι GPU drivers (NVIDIA/AMD).
• Υποστήριξη AVX2 από τον επεξεργαστή (πλέον σχεδόν καθολική).

---

LM Studio

Windows:

1. Κατέβασε το .exe από την επίσημη σελίδα του LM Studio.
2. Κάνε εγκατάσταση όπως κάθε άλλο πρόγραμμα.
3. Άνοιξέ το από το Start Menu.
4. Πήγαινε στο “Model Catalog”, επίλεξε ένα μοντέλο (π.χ. Nous Hermes) και κατέβασέ το.
5. Πήγαινε στο tab “Chat”, επίλεξε το μοντέλο και ξεκίνα να μιλάς.

Linux:

1. Κατέβασε το .AppImage από την επίσημη σελίδα του LM Studio.
2. Κάνε το εκτελέσιμο: chmod +x LM_Studio.AppImage
3. Τρέξε το: ./LM_Studio.AppImage
4. Αν πετάει σφάλμα chrome-sandbox, ακολούθησε οδηγίες από το documentation.

Troubleshooting:

• Δεν ανοίγει; Έλεγξε permissions (ιδίως σε Linux).
• Το UI δεν βλέπει μοντέλο; Πήγαινε στο tab “Model” και επίλεξέ το χειροκίνητα.

---

Ollama

Windows:

1. Κατέβασε τον installer από την επίσημη σελίδα του Ollama.
2. Άνοιξε PowerShell και τρέξε:
   ollama pull nous-hermes
ollama run nous-hermes

Linux:

1. Αν έχεις brew: brew install ollama
2. Εναλλακτικά: κατέβασε το tarball από την σελίδα του Ollama.
3. Άνοιξε terminal και τρέξε:
   ./ollama serve

Troubleshooting:

• Δεν αναγνωρίζεται η εντολή ollama; Πρόσθεσε το binary στο $PATH.
• Μοντέλο δεν απαντά; Δες αν τρέχει υπηρεσία (ollama list).
• API conflict; άλλαξε port με --port.

---

KoboldCPP

Windows:

1. Κατέβασε το .exe από το GitHub Releases του KoboldCPP.
2. Διπλό κλικ για εκκίνηση.
3. Όταν ζητηθεί, δείξε του το αρχείο GGUF μοντέλου (π.χ. nous-hermes.Q4_K_M.gguf).
4. Άνοιξε το text window και ξεκίνα chat.

Linux:

1. Κατέβασε το Linux binary και τρέξε το (ή μέσω Wine/Proton).
2. Ή κάνε build το llama.cpp και τρέξε το UI μέσω terminal.

Troubleshooting:

• Το GUI δεν εμφανίζεται; Τρέξε χωρίς arguments.
• Σφάλματα μοντέλου; Ίσως είναι λάθος quant ή corrupt αρχείο.

---

Text Generation Web UI (Oobabooga)

Windows:

1. Κατέβασε τον one-click installer από το GitHub του WebUI.
2. Άνοιξε τον φάκελο, τρέξε το .bat αρχείο.
3. Άνοιξε browser και πήγαινε στο localhost:7860
4. Κατέβασε μοντέλο από το tab “Model”.
5. Ξεκίνα συνομιλία στο tab “Chat”.

Linux:

1. Clone το repo:git clone https://github.com/oobabooga/text-generation-webui.git
2. Μπες στον φάκελο:cd text-generation-webui
3. Κάνε εγκατάσταση:chmod +x install.sh && ./install.sh
4. Τρέξε:python server.py --share

Troubleshooting:

• Δεν ανοίγει; Έλεγξε ότι έχεις Python 3.10+ και εγκατεστημένα dependencies.
• Το μοντέλο δεν φορτώνει; Ίσως είναι λάθος format.
• CUDA error; Δες αν έχεις σωστούς NVIDIA drivers.

---

Extra Tips

• GGUF > GPTQ σε ευκολία και υποστήριξη. Προτίμησε GGUF όπου γίνεται.
• Προτίμησε μοντέλα με 4-bit quantization (Q4_K_M) για χαμηλή VRAM — ιδανικά για 4GB–8GB κάρτες.
• Αν χρησιμοποιείς NVIDIA GPU, προτίμησε Studio Drivers αντί για Game Ready, για καλύτερη CUDA σταθερότητα.
• Σε AMD, φρόντισε για ROCm υποστήριξη (ειδικά αν χρησιμοποιείς WebUI ή Ollama).
• Δεν έχεις GPU; 7B GGUF μοντέλα μπορούν να τρέξουν σε CPU (αργά, αλλά δουλεύει για testing).
• Αν το μοντέλο δεν χωράει στη VRAM, θα γίνει offload στη RAM. Περιμένεις καθυστερήσεις, αλλά όχι crash.
• Τα μοντέλα δεν κάνουν auto-update. Αν βγει νέα έκδοση, πρέπει να την κατεβάσεις ξανά χειροκίνητα.

---

Έφτασες ως εδώ; Τότε ξέρεις ήδη τι κάνεις. Δες τον οδηγό χρήσης και Fine-Tuning ή προχώρησε στο manifesto της ψηφιακής κυριαρχίας. Ή απλώς κλείσε το tab — και στήσε το δικό σου μοντέλο σαν να μη χρειάστηκες ποτέ κανέναν. Κανόνες; Δεν είδες κανέναν.