Slae.ru
Канал: 
Память ИИ увеличена в 5 раз: Квантование KV-кэша локальных LLM llM нейросети обзорнейросетей
Что если искусственный интеллект перестанет забывать диалоги? Локальные LLM и квантование нейросетей решают проблему переполнения KV-кэша! Технология TurboQuant сжимает память до 3 бит увеличивая контекст в 5 раз прямо на домашнем ПК.
Наливайте чай погружаемся в мир новых технологий на канале YAinvest AI.
А если вам нужен собственный AI-агент обращайтесь помогу собрать под ваши нужды!
00:00 - Вступление: Искусственный интеллект и великая памятная невзгода.
00:40 - Проблема KV-кэша: Как локальные LLM пожирают видеопамять проклятие Мораны.
01:25 - Турбоквант: Квантование нейросетей и сжатие памяти контекста до 3 бит.
02:10 - Мудрость Василисы: Чем TurboQuant отличается от форматов GGUF и GPTQ.
02:50 - Кузницы llama.cpp: Битва алгоритмов Турбоквант против Ротерквант.
03:40 - Наковальня Сварога: Тестируем запуск нейросетей на ПК RTX 2060.
04:30 - Увеличение контекста ИИ в 5 раз: Доступные технологии для каждого.
Подписывайтесь на YAinvest AI чтобы не пропускать регулярные порции знаний об искусственном интеллекте! Группа моего проекта Если вам нужен AI - агент мой личный контакт для связи
⇒ Видео подборки:
Похожее видео
⇒Расскажите об этом видео Память ИИ увеличена в 5 раз: Квантование KV-кэша локальных LLM llM нейросети обзорнейросетей, своим друзьям в социальных сетях.
Ссылка на страницу с видео:
HTML-ссылка на страницу с видео:
Код для вставки плеера:*18 Ноября 2022, 14:33 | Камила Пишет: Очень красивые, стилбные коврики раньше были. Просто супер. Надо нам в машину такие же купить, жаль салон чёрно-белый, будет не очень смотреться. Мы покупали в черном цвете, пользовались около 3х лет, вот решили поменять.... Подробнее...
*15 Ноября 2022, 21:41 | Рига Пишет: Так зарождалась эпоха отечественных автомобилей! Раньше умели делать, что наши деды,отцы и сыновья продолжали ездить. В таких машинах есть своя «душа», они хоть и просто выглядят, без разных наворотов, как сейчас. Зато они надежны и привлекают внимание. Хотелось бы вернутся... Подробнее...
*16 Ноября 2022, 22:18 | Анастасия Ворох Пишет: Насколько же изящная машина, вот умели раньше делать эксклюзивы конечно. Чего стоит эта форма и салон, сразу чувствуется всё великолепие того времени! Цвет довольно приятный, видно очень грамотный уход производится за машиной.... Подробнее...
*15 Ноября 2022, 20:47 | Виктор Пишет: Как же мне нравятся подобные советские легковые автомобили! ЗИЛ-111 - один из любимых моих авто, имеет свой колорит, свою историю и безумную красоту! Если бы у меня пал выбор на современную машину и ЗИЛ-111, то я без сомнений выбрал бы... Подробнее...
*16 Ноября 2022, 08:23 | Татьяна Пишет: Крутые коврики! Тоже такие используем.... Подробнее...
*16 Ноября 2022, 14:16 | Ольга Пишет: Ну не знаю, как насчёт оранжевых в сочетании с чёрным салоном, мне не очень подобные решения... Я бы установила чёрные/серые. А вот сама технология Эво хорошая, мне нравится, просто и недорого. ... Подробнее...
*16 Ноября 2022, 12:12 | Наталья Пишет: Очень необычное фото. Прям как будто проникаешься атмосферой того времени. Интересно просматривать такие фотографии, представлять как было много лет назад. Редко можно увидеть такие фото.... Подробнее...
*15 Ноября 2022, 20:24 | Александр Пишет: Вот бы на такой прокатиться, шикарная! Наверное интересные ощущения будут если сейчас на ней проехаться) Интересно такие на ходу ещё остались или только в музеях!?! Хотя раньше делали на совесть, так что, вполне возможно! ... Подробнее...