Моя бета - искусственный интеллект

      Пока медленно, но верно пишется следующая глава основной работы, решил выкатить небольшое обновление, которое уже довольно давно было на уме. Помнится, в прошлой части я всячески восхищался возможностями нейронок и назвал их пусть и недоработанным, но крайне перспективным инструментом. То было более чем полтора года назад, и я с уверенностью могу сказать, что не ошибся в своих прогнозах. Поговорим сегодня с вами о новых помощниках для писателя, актуальных на данный момент.       Для начала, давайте определимся с тем, какие качества нам вообще нужны от нашего электронного соавтора? Лично по моему мнению, это: объем памяти, скорость работы и понимание происходящего, куда отнесем ещё и то, насколько легко запутаться нейронке в большом объеме однородной информации. Соответственно, оценивать будем из этих же критериев.       Онлайн-соавтор.       Начну с главного — Gemini 1.5 Pro. Для доступа — аккаунт Гугл и ВПН, желательно из США — всё. Бесплатная, общедоступная модель с объемом памяти в два миллиона символов.. Если вас не шокирует это число, то просто поймите, что она сможет без какого-либо труда переварить книгу объемом выше тысячи страниц, после чего отвечать на вопросы по ней. Это не просто много, это дохренища, и только за счет этого её уже можно нарекать вашим основным помощником в делах писательских. Я за это время выработал для себя принцип: я не использую нейронки непосредственно при написании, так как считаю, что это вредно для моего собственного развития как автора, но вот чтобы оценить логичность готового результата — это просто номер один. Гемини была бы и вовсе идеальной, если бы не несколько существенных минусов:       Модель довольно легко путается в большом объеме информации. Это её основная проблема, поэтому я предпочитаю скармливать ей кусочки по одной главе за раз — так у неё банально меньше данных, которые могут вызвать ошибку. Не уверен в том, насколько это эффективный метод, но предпочитаю использовать его, хотя знаю, что целую работу она тоже прекрасно может проверить.       Модель совершенно не может в контент 21+. 21+ потому, что о-о-очень легкую эротику, а также неподробное описание жестокости она всё же может выдать. А может и не выдать, отказавшись работать с тем ужасом, который вы ей предоставили. Эта проблема стала особенно острой с последним обновлением политики безопасности — Гугл буквально убил помощь нейронки в этих аспектах. Если раньше её можно было довольно просто «взломать» и заставить работать с тем, что вам нужно, то теперь текст обрубается моментально, и ничего у вас не выйдет, как бы вы ни старались. Поверьте, я пробовал.       Имеется также ограничение по объему общения в минуту, но оно, право, несущественно, и вряд ли вы сможете использовать его полностью — у меня получалось всего пару раз. В целом, несмотря на то, что недавние обновления убили львиную долю полезности Гемини, она всё ещё может прекрасно справляться с проверкой вашего текста на грамотность (если там нет 18+ или 21+), предоставлять отзыв на любые вам интересные аспекты вашей работы, да и в целом попинать чью-то ленивую задницу, если глава долго не выпускается.       Ещё один интересный момент — за счет объема памяти модель прекрасно справляется с тем, чтобы помогать вам в спорах, анализируя ваши аргументы и позицию оппонента. Пользуйтесь!:)       Семейство GPT. Что GPT-4, что 4o или 4mini — прекрасные вещицы для того, чтобы помочь вам в любой задаче, связанной с текстом. Не скажу насчет мини, но модель 4о абсолютно точно умнее и креативнее Гемини при работе с текстом. Это чувствуется в описаниях, в фантазии и в подходе к выполнению вашей задачи. Проблема — в разы меньший объем памяти. Максимальный составляет 160 000 символов и доступен по платной подписке, стоящей моё уважение как не мало. У моделей 4о и мини он и того меньше, а сами они пусть и не сильно, но уступают в креативности полноценной четверке, несмотря на то, что вышли позднее.       В минусы же можно отнести и то, что получить доступ к GPT-4 затруднительно, если вы живете в стране, которую нельзя называть, потому что оплата из РФ не проходит — придется заморачиваться либо с посредниками, либо с иностранными счетами, либо искать какие-то другие способы. Модели 4о и 4 мини в этом плане доступнее — они бесплатные и выдаются любому зарегистрированному аккаунту, а с этим проблем нет — номер телефона для регистрации больше не требуется, поэтому использовать их можно абсолютно свободно. Единственная проблема — доступный объем общения с 4о, который составляет 10 сообщений раз в шесть часов. У 4 мини такого ограничения нету, но зато она глупее. Тут уже смотрите сами, но лично мне удобнее просто воспользоваться Гемини — разница в креативности для меня несущественна, хотя кому-то она может показаться если не критической, то очень важной. В таком случае, увы, искать костыли для полноценной работы с этими моделями, а также с оплатой четверки вам придется самим.       Значительным преимуществом GРТшек также является то, что они, в отличие от Гемини, поддаются взлому, а, соответственно, и при должном старании могут работать с 18+ контентом. Кому интересно — гляньте, как устроить полноценный ролплей с этими моделями, гайдов в интернете навалом. Немного страданий и вуаля — модель спокойно разбирает по составляющим ваш NSFW-драббл. Почему драббл, а не Макси? Потому что объем памяти. В данной статье я не буду разбирать иные модели от больших шишек электронного мира, типа Claude, хотя на самом деле как минимум её стоило бы, но мне слишком лень морочиться с регистрацией с иностранного номера в хрен знает какой раз. С-сорян. *пожимание плечами.жпег*.       Локальные решения.       Казалось бы, иметь свой собственный ГПТ на компе или даже телефоне — что может быть круче? Пашет без ВПНа и даже интернета, быстрый, бесплатный, а главное — приватный, и никакие майкрософты с OpenAI не узнают ваши тайные желания. Увы, реальность полна разочарований, а ещё не меньшего количества пролитых на монитор и системный блок матов при попытке разобраться с тем, как работают локальные модели. Не знаю, может, это у меня в голове хлебный мякиш, или у того, кто подумал, что разбивать одну модель на херову тучу файлов, которые потом в жизни не догадаешься, как запустить, но нормально настроить работу у меня получилось только в отношении GGUF-моделей. О них и поговорим.       Мы пропустим всю техническую базу, ибо статья не об этом — поговорим о главном. Нам интересно приложение либо Jan, либо koboldcpp — в зависимости от того, для чего вы в конечном итоге планируете использовать нейронку. Если общение и минимальная помощь в написании — первое вполне подойдет, если полноценный анализ, требующий тонкой настройки каждого параметра — второе.       Ах да, чуть не забыл. У вас есть хотя бы 16 гигабайт оперативки, а в идеале 32-64? Нет? Может, тогда у вас есть 10-24 гигабайта видеопамяти? Тоже нет? Ну тогда можете попрощаться с влажной мечтой о нейронке на собственном устройстве, ибо нормально работать они не будут, а те, что будут… лучше бы не работали, право слово — слишком корявые они на данный момент. Хоть и утрирую, но не сильно, на самом деле. Модели, способные нормально запуститься на восьми гигабайтах видеопамяти — это 7b, с большой натяжкой, возможно, вам удастся туда пропихнуть 10b, но поверьте, этого мало. Нам интересны модели с объемом от 20b, а лучше вообще использовать все 70b, для которых и тридцати с лишним гигов оперативной памяти будет мало.       По телефонам там вообще всё грустно. Я не буду даже говорить о приложениях, которые могут запустить нейронки, кому интересно — сможете найти сами, они есть как на IOS, так и тем более на Android, но модели, которые могут запустить ваши смартфоны… ещё более ущербные, чем 7b.       Если же звезды сложились и ваша зверь-машина удовлетворяет минимальным требованиям, качайте Jan или kobold.cpp, а лучше и то, и другое сразу, после чего идите на huggingface и качайте там llama 3.1 в формате GGUF. Модели типа GGUF ещё иногда называют квантованными, на случай если будут непонятки. Выбираете заинтересовавшую вас строчку, заходите в files and versions и выбираете там тот файл в формате GGUF, который свободно помещается в доступный вам объем оперативной ИЛИ видеопамяти — в зависимости от того, на чем вы хотите запустить модель. В чем разница? Видеопамять — быстрее, порой разительно, в несколько десятков раз. Но она и меньше, как правило. В моем ПК соотношение 32 оперативной к 8 видео, для вас оно, конечно, может быть совершенно другим.       После этого алгоритм простой — если пользуетесь Jan, то в приложении ищите в настройках строку, которая показывает место, где установлено приложение, переходите, заходите в папку models, там создаете папку с именем скачанной модели (с точным именем, символ в символ. Просто скопируйте название и вставьте в папку. Расширение файла не указывайте) и помещаете в эту папку скачанную модель. Перезапускайте приложение, обновляете список моделей в настройках при необходимости и счастливые пользуетесь вашей локальной нейронкой. Настройки справа можно не трогать на первое время, до того, как не освоитесь с базовым функционалом — они и базовые должны работать. В дальнейшем, если захотите углубиться, ищите гайды — описывать это в общей обзорной статье я смысла не вижу.       Ещё одним преимуществом Jan является «магазин» моделей, где можно выбрать подходящую вам в общем списке. При этом, если выбранная модель будет не подходить вашему компу — приложение вас предупредит соответствующей плашкой рядом с кнопкой загрузки. А, ну и они там все бесплатные, да.       С kobold.cpp в этом плане проще и сложнее одновременно — скачав приложение, открываете его и в первой же вкладке через Load_model подгружаете выбранную вами модель. После этого уже можно нажимать launch и развлекаться, но можете также полазить по остальным вкладкам и потыкать ползунки. Если вы в этой теме ничего не понимаете, то их названия вам, скорее всего, ничего и не скажут, но на этот случай у вас есть поисковые нейронки да и интернет в целом — спрашивайте! Преимуществом кобольда является быстрая и удобная настройка размера контекста, простой интерфейс в браузере и возможность использовать созданные другими пользователями заранее прописанные профили, которые нейронка будет «отыгрывать» в пределах собственной продвинутости.       Должен также предупредить, что подавляющее большинство моделей, особенно моделей малого размера, то есть 7b, 10b и даже 20b, плохо понимают русский язык, а соответственно, и не смогут нормально проверить ваш текст на ошибки. Также ограничением является зависимость от железа вашего собственного компьютера — если оно слабое, то и нормально пользоваться локальными моделями вы не сможете. Впрочем, если ваш компьютер из топового сегмента, то модели, которые вы сможете на нём запустить, в целом не сильно уступают онлайн-решениям и могут выполнять все те же задачи, что и они. Тема локальных решений в целом крайне сложная и многогранная, так что остановимся в её плане на вот таком вот минимуме — для старта этого вполне достаточно, а чтобы продвинуться… Ну тут мне и самому не помешает пройти пару курсов по программированию:)       Прочие нейронные плюшки. Нам, авторам, в этом плане за прошедшие с первой части полтора года уже и так навалили подарков, которыми можно с удобством пользоваться для собственного роста и развития, однако на этом список не кончается. Хочется рассмотреть то, что добавил конкретно Яндекс (увы, это не реклама — продажному автору хотя бы заплатили денек, двооорник пиарит Яндекс ради идеи). Относительно недавно браузер внедрил в себя комплекс из двух нейронных помощников, которые могут сильно облегчить вам жизнь. Первое — это нейронное исправление ошибок и улучшение стилистики текста. Работает после выделения текста, появляется в специальном меню рядом с курсором, а также по сочетанию горячих клавиш Alt + R для ошибок и Alt + Y для стилистики. Первое — очень удобно для того, чтобы сделать финальную полировку работы перед выкладкой — просто выделяете по абзацу в тексте и через сочетание горячих клавиш довольно быстро устраняете все ошибки. Не очень работает с диалогами, ломая их строение, но это, думаю, можно пережить. Улучшение стилистики мною почти не используется, но в моменты, когда нужно переделать откровенно кривое описание, а в голове вашей только манная каша, вполне подойдет для точки отсчета, от которой можно сделать что-то подходящее вам по стилю. Для неопытного автора — уже очень круто, но есть ещё и штука, которой я пользуюсь очень часто.       Яндекс с недавнего времени прокачал поиск на нейронном движке, и это просто офигенно — ещё не так круто, как условный Copilot, конечно, но уже вполне себе уровень, который может за один простой запрос предоставить вам нужную информацию, избавляя вас от необходимости рыть половину интернета, чтобы узнать, как быстро растворяются трупы в кислоте. Удобно! Нейронка, конечно, скажет вам, что «Растворение трупа в кислоте не является научно обоснованным и может быть расценено как неприемлемое поведение.», но ответ всё-таки даст. :)             Думаю, не открою секрет, если скажу, что нейронки могут генерировать картинки, но в последнее время с этим стало всё прямо вообще хорошо, и я знаю много авторов, которые сделали себе обложку именно таким образом. Конечно, чтобы получить очень точный результат, придется помучиться либо с множеством попыток, либо с фотошопом, а скорее всего, и с тем, и с другим, но как вариант получить обложку на свой фик ценою в ваше время — почему бы и нет.       В заключение хочу напомнить, что скоро ожидается выход GPT-5, подписку на который я буду доставать любой ценой (но, желательно, бесплатно). Модель обещает колоссальный рост в качестве, и мне невероятно интересно, каких результатов в нашем с вами деле можно будет достичь с её помощью. Не обещаю, что выпущу обновление этой работы по итогу использования, но и не отрицаю такой возможности. Пока же — всё, это вся информация, которой я хотел бы поделиться, исходя из прошедшего времени. Спасибо за внимание и удачного творчества, товарищи-авторы!