HARDVÉROVÉ
NÁROKY.

Implementácia umelej inteligencie do sféry osobných financií vyžaduje špecifický prístup k hardvérovým prostriedkom, najmä ak je prioritou lokálne spracovanie dát bez cloudu. Na rozdiel od cloudových riešení, kde je výpočtový výkon škálovaný externe, lokálna inferencia závisí od priepustnosti pamäte a počtu CUDA jadier alebo stream procesorov. Pre efektívne algoritmy klasifikácie výdavkov je nevyhnutné zabezpečiť, aby systém disponoval dostatočnou VRAM (Video RAM), ktorá uchováva váhy modelu.

Pri výbere komponentov musíme zohľadniť kvantizáciu modelov. Modely s parametrami 7B alebo 13B (miliardy parametrov) vyžadujú pri 4-bitovej kvantizácii minimálne 8 GB až 12 GB pamäte GPU. Ak sa rozhodnete pre prediktívne modelovanie rozpočtu s vyššou presnosťou (FP16), nároky na hardvér sa lineárne zvyšujú. Systém Choreoco je navrhnutý tak, aby maximalizoval efektivitu na spotrebiteľskom hardvéri strednej triedy.

"Výkon lokálnej AI nie je definovaný len hrubou silou procesora, ale predovšetkým schopnosťou systému presúvať dáta medzi pamäťou a výpočtovými jednotkami s minimálnym oneskorením."

Okrem GPU zohráva kľúčovú úlohu aj rýchlosť diskového úložiska. Modely sú načítavané do RAM pri každom štarte analytického modulu, čo pri použití starších HDD diskov môže trvať minúty. Odporúčame výhradne NVMe SSD disky s rýchlosťou čítania nad 3500 MB/s, čím sa minimalizuje čas potrebný na inicializáciu protokolov zabezpečenia dát.