IsChemist PhD

За узким кругом e/acc и людей напрямую работающих над ИИ, вполне естественным образом у читателя может возникнуть вопрос: а мы не просили создание ИИ моделей, которые способны на кибератаки.

Ирония в том, что эти возможности появились естественным образом в результате попыток улучшить их способности написания кода.

И если вы скажете, а мне и для обычного кода ЛЛМки не нужны, я вас направлю к предыдущей фуге где объясняю что общество сильно недооценивает насколько миру не хватает софта.

И порекомендую третий голос, где замечу, что то, как общество справится с текущим вызовом это тренировочный раунд если мы всерьез хотим увидеть универсальную систему для вылечивания всех болезней.

Потому что есть одна очень фундаментальная проблема...

Что можно сделать для минимизации риска?

Если вы здравый разраб, то вы скорее всего уже пользуетесь современным package manager, который использут lockfiles.

Если же вы традиционный питоновский разраб, при всей моей любви к питону, с сегодняшнего дня и до тех пор пока вы используете pip install -r requirements.txt вы являетесь радиоактивной обузой для всех, с кем вы взаимодействуете.

Во втором голосе объясняю почему и рассказываю про minimumReleaseAge/exclude-newer, которые позволяют предотвратить установку новых версий библиотек в течение N дней (в надежде, что за эти N дней если они будут скомпрометированы, это будет обнаружено).

В очередной раз хейчу jupyter notebooks (теперь это откровенные malware), рассказываю про Dependabot alerts, и наконец напоминаю про 2FA.

Я сам решился на финальный шаг, купил себе YubiKey и привязал все свои SSH ключи к нему.

В понедельник прошла массовая supply chain атака на ветку обожаемых всеми библиотек TanStack.

Если вам не посчастливилось установить скомпрометированную версию, у вас моментально крали все ваши API и Github токены и SSH ключи.

И если бы вы пошли делать то, что стал бы делать любой здравый человек - отзывать, например, украденный гитхаб токен — вы бы потеряли все свои данные, ибо помимо всего прочего скрипт устанавливал system service, который мониторил валидность токена и прогонял rm -rf ~ в противном случае.

А самое главное, что для атаки не нужно было сделать ничего кроме как открыть PR. Его даже не нужно было merge или approve, и не нужно было компрометировать данные ни одного из package maintainers. Достаточно просто открыть PR.

В общем, если вы следите за последними новостями в AI, вы могли слышать про Project Glasswing Антропика, но лично я немного относился к этому всему со скепсисом (уж слишком мало у Антропика GPUшек и уж слишком заманчиво альтернативное объяснение, что у них просто мощностей не хватает на Mythos).

Но после понедельника я скорее склоняюсь к тому, что в ближайшее время нужно быть особенно бдительным и готовиться к худшему.

Поэтому я сел писать статью-предупреждение в блог. Пока я ее писал, атака перешла на питоновские библиотеки и затронула, например, mistral-ai.

A preprint on my review article was just posted on chemRxiv!

This is my magnum opus and it's two things at once: first, a comprehensive review of the synthesis planning literature. We argue that the field has been latently undergoing a phase transition from era of navigability to an era of validity. We describe the practices of the former and propose a framework for evolution of the field. The field has been fortunate to have contributions from the wide ML community, but there's been a salient misconception that chemical templates, as is, guarantee chemical validity, which they do only to an extent.

As such, our argument is a falsifiable scientific conjecture that turns Artificial Chemical Intelligence from a brand term into a concrete research roadmap.

Because this is quite a behemoth of a review, while I recommend reading it in full, we also provide an interactive portal: https://ischemist.com/syntax-of-matter

You can look at key ideas, play with the calculator explaining the difficulty of the problem, browse existing approaches, explore the validity framework.

You can also take a reading path for a general quick overview or one tailored to a chemist or an ML practitioner.

On the page with full text you'll also find NotebookLM generated deep dive podcasts on the topic. I've listened through all of them and they give a good overview of the work.