Архив постов на русском

В 2015 году Гугл выпустил TensorFlow - супер-современный фреймворк для машинного обучения, созданный с участием самого Jeff Dean.

Но если почитать статьи за последние несколько лет из Google/DeepMind, то можно заметить что эксперименты реализованы с использованием совсем другого малоизвестного фреймворка JAX и лишь в самом конце портированы на TensorFlow/PyTorch. Именно с помощью JAX тренируют гигантские нейронные сети: текстовые, computer vision, мультимодальные.

В далеком 2009 году я решил вернуться в роль инженера из роли менеджера. Начал смотреть по сторонам - на чем пишут самые крутые компании и люди. Помню как выписывал в текстовый файл заметки - Гуглу нужен Javascript, Python, Java, C++. Из всего этого списка я только не работал тогда с Python. Мой приятель Алексей Кинёв был в то время фанатом Django (Python web framework) и рассказывал невероятные истории про свой опыт использования языка и фреймворка.

Я скачал какую-то книгу, прочитал до середины, начал писать разные упражнения, а потом прошел tutorial Django. Так несколько дней спустя у меня уже работало веб-приложение, в котором не было страшного количество конфигурационных файлов как в Java, минимум слоев абстракции. Читать и модифицировать исходный код было легко и приятно. Сообщество и доступные библиотеки тоже очень радовали. После нечитаемой документации корпоративных инструментов сложно было поверить, что бывает иначе. В любую свободную минуту я открывал документацию на python.org и читал-читал-читал.

Я снова все чаще нахожу себя с Kindle или с бумажной книгой в руках. Это не только помогает расширять кругозор и не забывать языки, но и оставляет небольшую надежду на сохранение нормальной психики.

Вдохновленный совсем свежим перечитыванием второго издания Death March, я сортирую книги на must read, should read, could read.

Must read

Death Match by Edward Yourdon

Как не сгореть в проектах с нереальными требованиями и сроками. А еще лучше - как в такое счастье не вступать вовсе.

Помню как читал эту книгу лет 17 тому назад и было уже тогда круто. Сейчас перечитал сугубо из практичных соображений (жизнь такая) и очень рад что это сделал.

Последние 20 процентов можно пропустить.

Four thousand weeks by Oliver Brukeman

Только глядя на название и зная что книга вроде бы про time/project management (которые я как настоящий программист ненавижу всеми фибрами моей тонкой души), у меня родилось ужасное предчувствие унылости: пишите списки, просыпайтесь раньше, не делайте пауз, чаще встречайтесь чтобы обсудить прогресс и майлстоны.

Но нет! Философская честная книга про конечность жизни и бесконечность списков дел.

Обзор интересных книг, которые я прочитал в последнее время. Большинство из них довольно свежие, опубликованы в последние год-два. Парочка имеет потенциал стать классическими.

DevOps и новые правила игры технологических компаний.

Accelerate

Accelerate: The Science of Lean Software and Devops: Building and Scaling High Performing Technology Organizations. Nicole Forsgren Phd, Jez Humble, Gene Kim.

Авторы подтвердили причинно-следственную связь между различными популярными практиками из мира Agile/DevOps и производительностью организаций. Часть книги - описание их сурового метода. Вроде бы умники еще не опровергли их метод, поэтому читать стоит.

Я был свидетелем многих революционных технологий. Объектно-ориентированное программирование, новые языки программирования, Веб, распределенные приложения, server-side и client-side frameworks, мобильные приложения, геолокация, машинное обучение. Было и немало нишевых технологий, например от Microsoft, которые создавались как будто только для того, чтобы разработчики тратили все свое время на обновление прошлогодних программ.

Иногда рано оседлав быстро растущий тренд можно было сделать на нем карьеру или состояние. А порой, потратив кучу времени на новый крутой язык программирования с лучезарным гуру-изобретателем, в лучшем случае получаешь лишь новый интересный опыт и может быть некоторую долю сожаления, что не лучшим образом инвестировал свое время.

Я не такой уж новый человек в Швейцарии. Я приехал сюда пять лет назад и за эти годы изменилось многое. Стали менее чужими местные языки, появились новые друзья. Я часто встречаю знакомых на улице и в горах: соседей, родителей и учителей из школы, коллег, соратников по спорту. Мои представления о жизни в родном Казахстане уже устарели - мне кажется что там живут примерно так, как живут рускоязычные сотрудники цюрихского офиса Google.

Мне повезло пожить в разных местах: в алтайских горах; в северном Казахстане с суровыми зимами и жарким летом; в райском Алматы с горами-велосипедом и офисом, до которого 5 минут пешком; в стране чудесов без тормозов Москве; в более расслабленном Киеве.

Как-то беседуя с приятелем Сашей о карьере в Гугле, я выдал, что не планирую повышения по карьерной лестнице, потому что много других забот - немецкий, интеграция, дети. Саша сразу же среагировал, что я говорю про совсем другое - про “work-life balance”. Я покивал, подумал, и забыл. Никакого полезного отклика тогда эта фраза во мне не произвела.

Продолжая читать Thinking in Systems, я добрался до главы “System traps… and opportunities”. Там описываются интересные системные эффекты, когда системы идут вразнос и казалось бы очевидные попытки починить делают все еще хуже.

Policy resistance - в коммунистической Румынии запрещают аборты в попытках повыстить рождаемость, а вместо этого рождаемость падает из-за резко увеличившейся смертности женщин после абортов в подпольных условиях. И примеры других стран (Швеция), когда вместо этого разбираются в ситуации падения рождаемости и постепенно создают условия для рождения и полноценного воспитания дополнительных детей.

The tragedy of the commons (это выражение я часто встречал в разных статьях, но не знал точного значения) - общий ресурс, который ничего не стоит, осваивается быстро и жадно, без заботы о его жизнеспособности. В результате ресурс умирает безвозвратно, либо его восстановление стоит безумно дорого и занимает долгие годы. Примеры - безконтрольный вылов рыбы приводит к снижению численности особей до критического уровня, начиная с которого вид начинает вымирать; выпас скота на общем пастбище, когда жадные фермеры доводят пастбище до состояния вытаптанного полигона.

Escalation. Я ее слегко покритиковал, она резко ответила, я припомнил ей вчерашнее, она назвала меня неудачником, …, пять минут спустя мы швыряем друг в друга тарелками. Тот же эффект гнал гонку вооружений в период холодной войны.

Читаю книгу Thinking in Systems, A Primer, на которую наткнулся в гугловых рекомендациях для инженеров. Книга - бомба! Короткая, по делу, открывает глаза на структуры и процессы в больших компаниях, сложных инженерных проектах. Полезна и для дизайна распределенных систем, и для навигации внутри больших компаний.

Глава 3 вообще оказалась про то, о чем я давно размышлял. В последнее время я замечаю много дискуссий на эти темы как внутри Гугла, так и среди друзей в других компаниях и некоммерческих организациях. Эти дискуссии - в основном о (вреде) иерархий и важной роли самоогранизации.

И тут я читаю, что иерархию придумала природа как замечательный и необходимый инструмент борьбы со сложностью. И я ведь из проектирования программных систем это знаю на практике, в том числе про то, что связность внутри компонентов может быть большой, а зависимость между компонентам небольшой и четко определенной. И про то, что сверточные нейронные сети (convolutional neural networks) работают так хорошо именно потому, что они оперируют иерархиями фильтров, распознавая таким образом иерархическую природу изображений (зрачок-радужка-белок-веки собираются в глаз, глаза-нос-рот-волосы собираются в голову, голова-тело-руки-ноги в человека, много человек в группу и т.п.).

Ну и конечно, очень многое перекликается с моими наблюдениями в среде стартапов, и опытом родительства.

В 2011 году MOOC классы ml-class.org и ai-class.org в 2011 году взорвали мне мозг (см блог пост того времени).

1. С компьтерами можно делать еще более интересные и сложные вещи, чем я думал
2. Всему этому можно научиться сейчас, не переживать что в университете изучал что-то совсем другое (у меня диплом инженера-электрика)

Я решил что нужно изучать это все удивительное и интересное, что называется Computer Science и искать работу, где бы я занимался этим целыми днями. Так год спустя я проснулся в цюрихском отеле, уставший после 3 дней автотрипа Киев-Цюрих, позавтракал и пошел на свой первый рабочий день в Google.

В Гугле я со временем дорвался до возможности реализовывать и улучшать сложные алгоритмы в системах работающих под огромной нагрузкой. Следующее мое большое желание - залезть в глубокое машинное обучение (Deep Machine Learning). Я имею в виду именно convolutional neural nets, RNNs, куча слоев, residual nets, нелинейные активационные функции. Работа с картинками-видео-звуком, неструктурированным текстом.

В нашем офисе проектов с Deep ML очень много, но меня останавливала разница в моих навыков и навыками ребят, которые в них работают. Как правило это PhD, читающие статьи с кучей математики за кофе, попутно делая в уме wavelet transforms. Поэтому я не бросился с головой в один из таких проектов, хотя может быть просто была куча других забот (интеграция, изучение языков).

Поэтому я использовал свой любимый подход - в любой непонятной ситуации погугли. Я нашел список математических навыков, необходимых для Deep ML, а также книги и онлайн-курсы про само это глубокое непонятно что.

Перед праздниками не особо хотелось изучать серьезные вещи по вечерам и я стал искать игры для любителей поломать мозг. Одним из открытий для меня стал шахматный сайт lichess.org.

Там есть очень аддиктивный режим тренировок. В этом режиме сайт подбирает для тебя интересные шахматные проблемы, в которых одна из сторон допустила ошибку и нужно найти последовательность ходов, чтобы этой ошибкой воспользоваться. Сложность проблем подбирается такой, чтобы ты смог их решить, лишь основательно поломав голову.

Просидев несколько вечеров в режиме “вот решу эту задачку и тогда уже точно пойду спать, (решив и получив заряд радости) - ну вот эта точно последняя”, я начал замечать некоторые параллели с рабочими задачами.

Вот уже много лет у меня столько дел, что их никак все не переделать. А с рождением детей обязательных занятий стало еще больше, времени на баловство не осталось совсем. Спортзал? Некогда, и так кое-как с работы прихожу, а тут еще с детьми возиться, заниматься работой по домой, а потом уже никаких сил не остается. Образование? Только забирая время у сна и работы.

Но как-то раз я удачно попал на внутренний гугловый класс, где как раз работали с подобными проблемами. Помню слайд про Time Management. Что со временем ничего не сделать, его 24 часа в сутках и все. Но зато есть Energy Management - управление своей энергией. Если сил много, то многое можно сделать быстрее, веселее, лучше. Что толку, что я выкрою час вечером, если “я и без того на работе устаю, у меня еле-еле сил хватает телевизор смотреть” (c).

Я третий год работаю в Google Zürich, но почти ничего про это не пишу. Много работы и других важных дел с одной стороны, много внутренней информации, которую разглашать все равно нельзя - с другой. Но хоть чем-то достаточно общим хочется поделиться. Напишу про отличия работы тут по сравнению с моими предыдущими местами работы.

Технологии

Очень много собственных технологии. Слава богу хоть языки программирования используются общедоступные (хотя немало и внутренних языков). Первое время много времени уходит на их изучение, что воспринимается неоднозначно - “зачем же изобретать так много велосипедов”?! Потом оказывается, что большинство внутренних технологий очень эффективны для проектов планетарного масштаба. Многие гуглеры так привыкают к хорошему, что уйдя в другие компании создают аналогичные технологии.

Некоторые технологии становятся доступными как open source, например система билдов bazel или кластер-менеджер kubernetes. Некоторые можно использовать как сервис через Google Cloud. Было бы здорово строить свой стартап с использованием тех же технологии, что и интернет-гиганты.

Чего в моей жизни много, так это перемен. Переезды, сначала с родителями, потом самостоятельно, потом с собственной семьей. Смены работы, смены карьерных лестниц. Поиск новых направлений для учебы: языки, технологии, философия.

В последние несколько лет этих перемен случилось так много, что я стал замечать некоторые закономерности. А совсем недавно я перешел в новую команду, пережив все сложности и радости переходного периода в сжатые сроки.

Наши первые месяцы жизни в Швейцарии были чрезвычайно насыщенными - нужно было учить языки, учиться все бытовым мелочам заново, искать жилье, изучать технологии Google, разбираться с местными языками, городом, горами, регистировать машину, адаптировать детей. Сейчас уже значительно спокойнее, но всё равно очень много времени уходит на интеграцию. Чего всё еще сильно не хватает, это языков. Я изучал немецкий в школе, но как и многие пост-советские школьники, не считал владение иностранным языком чем-то полезным или вообще реальным, а поэтому запомнил только пару десятков фраз, несколько сотен слов и пару грамматических правил. По приезду в Цюрих я мог лишь с большим трудом разбирать простые вывески, а даже перевод небольшого письма требовал долгого сидения со словарем. Спасало то, что Цюрих - интернациональный город, где многие говорят по-английски.

Этим летом я проходил собеседование на роль Software Engineer в Google Zürich. Процесс меня приятно удивил - оказалось, что алгоритмическим задачкам отводится не так уж много времени, а такие важные области как software engineering и software design прорабатываются весьма тщательно.

Я давно не писал статей в этот блог и причиной тому был переезд. Ровно две недели назад мы выехали на нагруженной под завязку машине из Киева на запад. Четыре страны, три дня и 2200 км спустя мы приехали в Цюрих. Я работаю в Google Zürich, а мои девочки осваивают местные детские площадки, зоопарк и прочие гулятельные места.

В недавнем дайджесте dou.ua я нашел ссылку на статью The care and feeding of software engineers. Название не особо впечатляло, размер статьи не очень вдохновлял, но я все же начал ее читать. И оказалось, что не напрасно. Многие фрагменты я выделил и хочу поделиться ими с вами.

19 апреля в Киеве состоится встреча с Дмитрием Шаменковым, врачом-исследователем, развивающим систему управления здоровьем. Я уже несколько лет слежу за деятельностью Дмитрия. Сначала смотрел видеозаписи его выступлений, потом прочитал книгу, а недавно участвовал в первом вебинаре по его системе.

Upd.Видеозапись встречи - “Дмитрий Шаменков о Системе Управления Здоровьем”

После курсов AI/ML я как будто проснулся - обнаружил существование большого количества интересных полезных вещей, которые можно сделать с компьютером. И конечно же захотел их делать. И работать с людьми, которые их делают каждый день. Посмотрел что нужно знать, чтобы попать в какую-нибудь супер-крутую компанию с супер-крутыми перцами.

Get that job at Google. Сколько тут незнакомых вещей!!! Меня никогда не возьмут в Гугл! Надо было учиться не на инженера-электрика в маленьком вузе, а на software engineer в Стэнфорде!

Ну ладно, ладно, вдруг все не так печально.

С тех пор, как мы переехали в Киев, я работаю в компании Grammarly. Это частная продуктовая компания с офисами в Киеве и Сан-Франциско. Продукты компании нацелены на улучшение англоязычных текстов (spelling-grammar-plagiarism checker, English Q&A community, English Handbook).

Учиться тяжело

Хорошее обучение - это выход за границы возможного, делание того, чего не делал раньше. Можно каждый день бегать 3 километра в комфортном режиме и не особо прогрессировать (иногда это нормально, если цель - расслабление после дневной “вахты” за компьютером), а можно каждый раз стараться пробежать немного быстрее и это непросто - не хватает дыхания, силы ног, техники. Можно писать день за днем одни и те же сайты, что и год-два назад, а можно “влезать” в новые проекты, для которых приходится читать кучу книг, изучать новые подходы, новые разделы науки. Результаты и сроки малопредсказуемы, неопределенность - высокая. Можно читать статьи на Хабре и Hacker News (и считать что ты учишься), а можно - прорабатывать упущенные раньше фундаментальные области (например, разделы математики и computer science), читать код ведущих программистов и решать сложные задачи.

Сегодня мне очень удачно попался замечательный комментарий про ощущение себя самым умным и про то, как решать действительно сложные задачи. Эти два вопроса очень важны для меня в последнее время, поэтому воспользуюсь таким прекрасным поводом поделиться своими находками.

Этой осенью я обычно просыпаюсь в 5-6 часов утра, чтобы учиться в ai-class.com и ml-class.org. Позади 6 из 10-ти учебных недель. Уже десяток раз я восклицал “Ну почему же я не начал так учиться год назад?!”. Эти курсы изменили меня - открыли новые интересные предметные области и помогли вспомнить как сильно я люблю математику. Я изменил отношение к университетскому образованию и расширил набор принципов эффективного самообразования, которые собираю на протяжении семи лет.

С большим удовольствием читаю книгу “Programmers at work”, выпущенную в 1989 году. Думаю, что она понравится всем тем, кому понравилась книга “Coders at work” (также известная как “Кодеры за работой”). Ниже - некоторые цитаты, которые я уже подчеркнул (а я еще в самом начале книги).

Понедельничной ночью 1-го августа, примерно в 03:30 пять человек потихоньку укладывали ноутбуки в свои рюкзаки и выходили из офиса чтобы разъехаться по домам. Кто-то на такси, кто-то на своей машине. Еще трое ушли несколькими часами раньше. Закончились двое суток напряженного труда над созданием проектов в рамках конкурса Django Dash 2011.

Я приехал домой, лег спать, а проснулся героем. За два дня наша команда сделала проект FamilyFeed, идею которого придумала моя любимая жена Яна. Ее глаза горели, я чувствовал себя суперменом после успешной битвы. Дети были счастливы, потому что счастливы их родители.

Напишу несколько важных мыслей, которые я сформулировал на основе полученного в конкурсе опыта.

Вчера Лев рассказывал про то, что отличает Силиконовую долину от России-Украины и что нам делать чтобы появилась среда, благоприятная для стартапов.

Горизонтальная коммуникация

Первым большим сдерживающим фактором на постсоветском пространстве является остутствие горизонтальной коммункации.

Вертикальная коммуникация: разработчик - менеджер - сейлз - клиент.

Вчера ходили с @vseloved и @matveym на выступление Льва Валкина про функциональное программирование в целом и Erlang в частности. Кратко запишу основные тезисы, которые мне очень актуальны.

Новый набор инженерных принципов, непривычных для императивных языков

Функциональные языки дают возможность поработать с другими способами построения программных систем. Эти новые способы позволяют писать лучше даже на императивных языках. Это очень важный для меня тезис. Я немного поработал с Эрлангом, когда мы работали над Рисоваськой, теперь по совету Льва я изучу Haskell.

Меня давно интересует вопрос “Стоит ли мне работать руководителем?”. В прошлую пятницу я был в Москве и разговаривал там с моим одноклассником Костей Кузнецовым. Много лет назад он был для меня проводником в мир компьютеров. Костя сам является отличным программистом, а сейчас руководит командой из 20 человек и скоро станет руководителем собственной компании. Ему это нравится. Есть хорошие руководители-предприниматели в Grammarly, кто-то с программистским опытом, кто-то без. Им тоже нравится то, что они делают. А вчера я прочитал комментарий Алексея Колупаева “хороший программист и хороший менеджер - это совершенно разные люди”, который стал последней каплей в этом вопросе.

Django Dash - международный конкурс, в котором компактные спецназ-команды за 48 часов создают полноценный проект. Правила простые:

• бОльшая часть кода должна использовать django
• никакого кода до соревнования (только идеи и бумажные прототипы)
• команда не больше 3 человек
• git или mercurial для хранения исходных кодов
• ваш проект должен быть open source
• можно использовать сторонние библиотеки
• нужно использовать pip + requirements.txt или buildout

Недавно я писал про то, как работать с документами LibreOffice из питона. Я сейчас работаю над исследовательским проектом, в котором django application обращается к LibreOffice через pyuno. В этом проекте натолкнулся на неприятную ошибку - ./manage.py shell при выполнении любых связанных с pyuno методов выдает сообщение “SystemError: pyuno runtime is not initialized, (the pyuno.bootstrap needs to be called before using any uno classes)”. При этом если запустить python и сделать в нем import uno, а потом вызывать те же методы, что и в ./manage.py shell, то все работает отлично, за исключением того, что не получается обращаться к своим моделям (потому что не инициализировано окружение django).

В проекте Grammarly Handbook, про который я писал вчера, грамматические карточки из формата MS Word нужно было конвертировать в какой-то внутренний формат, чтобы в этом формате было легко добавлять новые карточки и редактировать существующие. Кроме того, нужно было ограничить функционал редактора карточек, чтобы не было чрезмерного разнообразия форматирования и, как говорит наш дизайнер, “верстка была семантической”.

Пару недель назад для проекта Grammarly Handbook понадобилось импортировать много форматированного текста из документов MS Word. Текст находился в 40 файлах размером от одной до двадцати страниц. Первые несколько страниц я перенес вручную и несколько утомился - механическая работа меня не очень радует. Начал искать возможность читать вордовские документы из Питона.

У меня был очень позитивный опыт с библиотеками xlrd, xlwt. Первая читает документы Excel, а вторая - записывает. Но подобных библиотек для документов *.doc я не нашел. Зато нашел возможность обращаться из Python к OpenOffice. Эту возможность я успешно использовал, успешно импортировал весь грамматический материал и даже наткнулся на интересную идею для нашего основного продукта - инструмента проверки грамматики Grammarly.

Блог

• Написал 31 статью (эта - юбилейная 32-я) и 96 постов со ссылками
• Пришли почитать 13700 человек, начитали около 50000 просмотров страниц
• 258 человек читают /feeds/entries/ через Google Reader
• Переехал из Amazon EC2 в Linode (с восточного побережья США в Лондон), странички должны открываться заметно быстрее

В новом проекте я много работаю в роли дизайнера-юзабилиста-фронтендщика. Пишу html, css, javascript. Думаю страницами, действиями, приоритетами. Хочу поделиться тем, что я успел увидеть глазами дизайнера в оформлении шаблонов страниц сайта.

Не уходить далеко от html, css

В случае статического сайта каждая страница - это один html файл. Это очень удобно. Хочешь поправить главную страницу - открывай start.html, профиль - profile.html и т.д. Поэтому всё (или почти всё), что относится к текущей странице, должно быть в одном файле шаблона. Даже javascript код лучше не выносить в отдельный файл, если он относится к дизайну-юзабилити страницы (а не к супер-сложной технологии, которую понимают только программисты). Исключения - методы или свойства моделей, возвращающие часто встречающиеся элементы (например, у меня в профайле есть свойство profile_link, которое собирает полное имя из first_name, last_name и оборачивает его в <a></a>), удобные фильтры и повторяющиеся виджеты (в виде отдельных файлов, добавляемых через {% include %} или inclusion tags - последние удобны тем, что их можно параметризовать).

Пожалуй самый известный мне мощный ход в стартап-проектах - “компактные спецназ-команды”. Компактные = не больше 10 человек. Спецназ - где каждый участник десятерых стоит. Примеры: серверная команда youtube из 9 человек (на момент покупки гуглом), reddit (3 человека), github (их было вначале от 2 до 4 человек), stackoverflow (всех победили втроем, после получения инвестиций их стало уже 27), friendfeed (начали вчетвером, а на момент покупки фейсбуком их было 12).

“Три мушкетера”, дуэль д’Артаньяна и де Жюссака

Эта борьба в конце концов вывела де Жюссака из терпения. Разъяренный тем, что ему не удается справиться с противником, которого он счел юнцом, он разгорячился и начал делать ошибку за ошибкой. Д’Артаньян, не имевший большого опыта, но зато помнивший теорию, удвоил быстроту движений. Жюссак, решив покончить с ним, сделал резкий выпад, стремясь нанести противнику страшный удар. Но д’Артаньян ловко отпарировал, и, в то время как Жюссак выпрямлялся, гасконец, словно змея, ускользнул из-под его руки и насквозь пронзил его своей шпагой. Жюссак рухнул как подкошенный.

Одним из осознанных направлений моего развития, как разработчика, я вижу скорость. Делать за месяц то, что раньше делал за год. В этом направлении я вижу два главных аспекта: развитие мышления и овладение наиболее эффективными инструментами.

Пару дней назад увидел в комментариях на хабре фразу “И тогда я понял, что умными рождаются, а не становятся”. Мне эта фраза близка тем, что сейчас, к примеру, я читаю блоги действительно умных талантливых программистов, некоторых знаю лично. И ощущение - между нашими способностями лежит огромная пропасть. Я толком ничего не знаю, а они - “боги, вырезанные из камня” (с) Бойцовский клуб.

А поскольку у меня этим летом много времени для размышлений - в прогулках, поездках - то я начал вспоминать что я успел накопать на тему “Умными-талантливыми становятся или рождаются”. Чтобы не забыть, пишу этот пост. Он может оказаться несколько сумбурным, но уже лучше пусть он будет, потому что уже завтра утром я могу все забыть и начать думать какую-то другую мысль.

В конце весны мы отвезли все пожитки на склад, оставили только то, что влезет в нашу небольшую машину и уехали из Москвы в Крым. Поселились в Новом Свете (это красивый поселок у моря, окруженный горами и заповедником с можжевеловой рощей). Планируем жить тут до середины сентября. А поскольку валяться на море месяцы напролет не интересно, мы продолжаем работать. Янка развивает свой проект Серебро Непала, я программирую - скоро анонсирую один проект на Geodjango, один большой проект начал делать с Толиком Востряковым и есть еще много идей и предложений.

Я программирую с 13 лет. Когда я познакомился с этой областью, то весь мир разделился для меня на две части: волнующий “настоящий” мир логики, цифр, технологий, объектов, фукнций, кристально четкого мышления, быстрого самообучения и вес остальной “обыденный мир” - штаны заштопать, душ принять. Я немного утрирую, потому что была и любовь, и всякие боевые искусства, и танцы, и много еще всего. Тем не менее было очень четкое такое разделение: это важно, перспективно, интересно, а это - не важно. Поэтому я научился варить какао два года назад, получил права год назад, а чинить водопроводные краны научился только вчера.

Пока проверял как Celery работает с MySQL в качестве брокера, материала набежало на большую статью. Сергей Лебедев, спасибо за этот замечательный вопрос!

Есть 2 задачи, связанные с .css и .js файлами, которые возникают при регулярном деплойменте веб-проектов. Первая - минимизация размера. Есть много утилит, позволяющих убрать комментарии и лишние пробелы, тем самым сократив размер файла, который скачивает браузер клиента. Вторая - версионирование. Если у вас файл со стилями доступен по ссылке /media/css/main.css, то при его обновлении многие клиенты продолжат пользоваться старой версией файла, сохраненной в кеше браузера.

Меня особо заботила именно вторая задача - я менял css в этом блоге, а он не обновлялся у посетителей до тех пор, пока они не нажимали в своих браузерах Ctrl+R (Cmd+R). Я нашел отличное django-приложение django-compressor, которое решает эту задачу следующим образом:

Я всегда был за работу в офисе. И коммуникации лучше, и общее поле команды, и разговоры за чаем, позволяющие наткнуться на нужную мысль. Когда мы делали Рисоваську, то сидели все в одном уютном офисе и нечеловечески трудились (нас даже начали называть киборгами, потому что не парились, не переживали, а дружно работали и выдавали гарантированно высокий результат). Все за исключением Стаса - он живет в Нижнем Новгороде (как мы шутили - в нижнем мире) и приезжал пару раз в месяц, а остальное время работал из дома. Я на Стаса немного хмурился - “вот тоже мне, все тут пашут, а он дома сидит”.

Когда я начинал работать на компьютере, то из развлечений были только игры и то их нужно было писать самому, потому что профессиональные игры нам загружали только по большим праздникам. Мы писали тогда на MSX-Basic всякую всячину - бесконечные стрелялки, логические игры, головоломки.

Чуть позже, когда у меня появился персональный компьютер, я перестал смотреть телевизор, потому что телевизор показывал то, что хотят руководители каналов, а в интернете ты читал то, что интересно тебе. Эта новая среда, где ты сам выбираешь что тебе делать, отличалась от обычных медиа и манила необычайно.

В мейл-конференции Python-Dev всерьез обсуждают включение фукнциональности virtualenv в Python. Это очень удобный инструмент питониста, позволяющий легко работать на одной машине с разными версиями библиотек (например, с django 1.0.4 и django из транка), быстро передавать список зависимостей проекта другим разработчикам (а они смогут поставить все библиотеки одной командой), упрощают деплоймент.

Есть такой замечательный ресурс Python Quotes - 10 страниц отборных цитат из переписки в python-dev, вот некоторые из них:

This is Python! If we didn’t care what code looked like, most of us would probably be hacking in some version of Lisp – which already covered most of Python’s abstract semantics way back when Guido was just a wee snakelet frolicking in the lush Amsterdam jungle.
Tim Peters, 24 Apr 1998

В питоне есть 2 очень мощных инструмента мета-программирования: декораторы и метаклассы. Декораторы применяются к функциям, метаклассы - к классам. Хочу подробно остановиться на декораторах.

Успешно заканчивается очередной проект и я ищу новые проекты. В этот раз хочу поработать вне офиса - я готов приходить на 1-2 дня в неделю в офис на собрания, а остальное время работать удаленно.

Скачал OmmWriter. Это Mac-only программа, которая разворачивается на весь монитор, включает спокойную музыку и дает тебе возможность писать тексты, не отвлекаясь на интернет-раздражители. Попробовал его в действии, получился мини-рассказ “Отпуск”.

###Отпуск

Шли как-то два зеленых человечка и шли. Радостно, без нервов. Шли и улыбались друг другу время от времени. Улыбнется один другому, другой это заметит, чуть улыбнется в ответ и глаза его чуть засияют. И дальше идут.

“За что вы любите программирование?”. Этот вопрос я задавал вчера друзьям-киборгам, а потом снова и снова задавал его себе. Я помню, что с самого детства мне нравились инструменты, которыми можно делать всякие забавные штуки. Как-то мама принесла с работы калькулятор, с такими красными циферками, который работал от сети. Как я к нему рвался! Вычислял суммы, произведения, брал квадратные корни!!! Магия цифр завораживала: если 1111 умножить на 1111, получалось 1234321; дробь 1/3 выглядела забавно с бесконечным числом троек; квадратные корни имели очень забавный вид (нерациональные числа).

Потом для меня начал открываться мир компьютеров - сначала это была цветастая книжка про то, как мальчик залез в компьютер и начал по нему путешествовать. О, как мне хотелось хотя бы потрогать настоящий компьютер, не говоря уже о том, чтобы что-то на нем поделать. Это был класс шестой (1992 год) и компьютеров ни у кого из знакомых не было, начинали только появляться игровые приставки Dendy. В самом начале девятого класса мы с друзьями наконец-то нашли место с двумя компьютерными классами. Сначала за компьютерами сидели по трое, потом кто-то отсеялся и мы уже сидели по двое, а через какое-то время мы перешли в следующий программистский поток и там уже у каждого был свой компьютер.

Перевод свежего поста из блога Signals vs. Noise Control in its wider sense:

Многие компании стараются контролировать сотрудников. У них есть руководства и предписания. Они мониторят электронную почту. У них есть четкие правила - что разрешено и что запрещено.

Но “контроль” - непростая штука. Чем больше ограничения, тем скорее создается среда недоверия. Появляется противостояние Мы-Они. Люди начинают попытки обыграть систему.

Поэтому менеджерам, которые стремятся к “контролю”, стоит прислушаться к совету Шунрю Судзуки (Shunryu Suzuki), который он приводит в книге Zen Mind, Beginner’s Mind:

В джанге многое сразу покорило мое сердце - прекрасные модели, мощный URLconf, красивые шаблоны. Но вот джанго-формы открылись для меня во всей красе лишь недавно. Я быстро научился верстать и обрабатывать формы руками, поэтому не было надобности вникать в довольно большой посвященный им раздел документации (10 разделов!). В новом большом django-проекте я пишу код уже не один, а с отличными разработчиками - Димой Смолиным и Толиком Востряковым, которые и помогли мне быстрее “вьехать” в суть джанго-форм.

Потребовалось мне на днях сделать сериализацию простого Python-dictionary в XML. Элементы словаря - списки и прочие объекты. Готового сниппета я не нашел, написал свой компактный (меньше 30 строчек) сериализатор.

В одном из проектов необходимо регулярно выкладывать код из ветки stage на staging сервер. Начали делать это вручную - входишь через ssh, делаешь git push origin stage, если нужно - обновляешь базу и затем перезапускаешь apache. К концу этой недели решили, что хорошо бы все эти действия выполнять одной командой. Я прошерстил блоги - сейчас очень активно пишут про использования для этих целей библиотеки Fabric (это аналог Capistrano из Ruby on Rails).

Краткий перевод обсуждения Recommendation against Python?:

kng Я слышал, что сотрудникам Google не рекомендуют использовать Python для новых проектов, что мне кажется глупым, учитывая как много питоновского кода и поддержки самого языка Python исходит из Google. Я начал поиски информации, но ничего не нашел. Вы знаете что-то об этом или это просто слухи?

Я регулярно отслеживаю у себя желание достичь результата одним прыжком - одним удачным выбором технологии (супер-язык или супер-база-данных), выбором супер-идеи, которая перевернет мир, одним программистским запоем, в котором я напишу всё-превсё за выходные. Порой это действительно приводит к прорывам, но чаще это приносит много боли. И чем опытнее становлюсь, тем больше понимаю, что можно делать успешные продукты исходя из других принципов.

9 ноября я беседовал с ребятами из kamblog.ru, рассказывал про свой опыт перехода из сытой тёплой корпорации в свой рискованный стартап, где нужно было все делать самому и пули буквально свистели над головой :)))) Эту беседу-интервью ребята записали на видео. Разговор получился длинным - больше часа. Ниже я запишу основные тезисы беседы.