четвер, 20 жовтня 2011 р.

Прогрес

Останні дані з фронтів - зі схемою даних визначились, колектор-тім свою роботу дещо стабілізував, працюємо над User interface. Збираємось випустити бету до Нового Року.

неділя, 16 жовтня 2011 р.

Зберігання даних

Якщо зі зберіганням конфігурацій ніби вирішилось, то постала інша проблема, яка до цього часу всерйоз не розглядалась - зберігання власне даних, для збору і візуалізації яких призначена система. Проблема як завжди - даних багато, сотні міліонів записів, тому схема їх зберігання дуже важлива. З DBMS ми визначились одразу - це буде MongoDB, тепер задача - як зберігати. А варіантів насправді безліч. І щоб вибрати оптимальний - потрібно поставити купу експериментів, почитати купу матеріалів, та прийти до спільного знаменника всередини команди. Наразі кожен має в голові свою схему, і навіть пише під цю схему якийсь код, інші ж про це нічого не знають.
Завтра має бути гаряча нарада...

середа, 12 жовтня 2011 р.

структура БД

На початку другого місяця розробки з"ясувалось, що іхто толком не уявляє собі структуру вхідних даних проекту, і ми вирішили це обговорити. Мітинг тривав більше 2-х годин, нас носило в дуже різні боки, і врешті ми намалювали таки модель, яка ніби-то всіх влаштувала.
Це великий крок вперед, хоча це напевне мало б бути зроблено на самому початку розробки.

вівторок, 4 жовтня 2011 р.

Колектор тім

Технічно
Дуже скоро виникла потреба в підсистемі розсилки івентів на компоненти системи. Наприклад, якщо при вигрібанні даних сталася помилка, її треба передати логгеру, моніторингу, і т.д. В якості сервера вибрали BeansTalk, який виступає як диспетчер, ми ж юзаємо власноруч написане АРІ.
Також, реалізований прототип системи логування подій, та shared services - компонента, який є окремим процесом, який експортує методи, потрібні більш ніж одному компоненту системи. Сервіси працюють через bjsonrpc+gevent - gevent.spawn(bjsonrpc.serve(...)).
Тепер треба все це зібрати докупи, та запустити, що, схоже, є найбільшою проблемою, коли в коді товчеться 4 девелопери.

Адміністративно
Вирішили перекинути один ресурс на адмін_гуі через завантаженість і відсутність джанго-досвіду в адмін-гуі-команді.