Студия интернет-решений "Медвед"

Spider bot на PHP

Александр Губанов — Thu, 10 Sep 2009 04:32:21 +0000

Мы начали один проект, для которого необходимо постоянно собирать информацию из сети в автоматическом режиме, причем в большом количестве. Написал spider. В его основу был положен Zend Framework и небольшой, в процессе переработанный, скрипт Qu для работы с MySQL, придуманный мной еще при царе Горохе. К набору этих простых функций я привык и никак не смог с ними расстаться. Стиль кодирования и организации классов и файлов соответствует требованиям Zend Coding Style.

Консольное приложение

Паук не имеет необходимости в веб-интерфейсе и по этому был написан в виде скрипта для консоли. PHP для выполнения консольных приложений подхватывает основной конфиг, но принудительно переопределяет некоторые директивы, например можно не заботиться о max_execution_time. Так же доступны STDIN, STDOUT, STDERR константы. Подробнее об этом можно почитать в соответствующем разделе документации.

В процессе выяснилось, что паук выполняет много разных задач, и для этого необходимы параметры запуска. Параметры нужно применять без использования «-» перед названием, иначе php примет его за свой и не передаст скрипту. Я выбрал простую схему: «имя=значение [имя=значение]». Ассоциативный массив параметров у меня формирует единственная глобальная функция options(), параметры извлекаются из также глобального массива $argv.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

/**

 * str 2 array & array 2 str (name=value name2=value2)

 *

 * @global array $argv

 * @param array|null $options

 * @return array|string options

 */

function options(array $options = null)

{

    if (is_array($options)) {

        $str = '';

        foreach($options as $k=&gt;$v){

            $str .= trim($k) . (trim($v)?'='.trim($v):'').' ';

        }

        return trim($str);

    }

    global $argv;

    $args = $argv;

    $options = array();

    unset($args[0]);

    foreach ($args as $arg) {

        $a = explode('=', $arg, 2);

        $value = @trim($a[1] ? $a[1] : '');

        $value = is_numeric($value) ? (int)$value : $value;

        $options[strtolower(trim($a[0]))] = $value;

    }

    ksort($options);

    return $options;

}

Эта функция используется один раз и передает параметры в «фасад» приложения. Правда Facade недавно был переименован в Program, а теперь в Starter, это больше отражает характер его действий. В общем рефакторинг идёт практически постоянно.

Неваляшка

Сам скрипт временами может быть очень нестабильным, работа паука зависит от очень многих факторов. От используемой базы данных, сервера, процессора, свободной памяти, сети, ошибок чужих и собственных.

Первая же задача по начальному сбору данных вскрыла все непредусмотренные узкие места. Паук падал по самым разным причинам. Упавшее приложение нужно как-то поднимать. Так как задач множество, поднимать нужно только то что упало. Поэтому и был переписан Facade в Starter.

Класс Starter отслеживает какие задачи запускаются и не даёт выполнять одинаковые задачи параллельно, а само главное, имеет механизм проверки и восстановления упавших задач, я их называю программами, т. к. задачами уже называются классы, реализующие обновление и сбор расширенных данных.

В крон был добавлен запуск паука в режиме проверки на каждые пятнадцать минут. В процессе проверки, он ищет активные процессы запущенных программ и восстанавливает их в случае отсутствия. Для проверки процесса в *nix есть команда ps, в windows — qprocess. В свою очередь нужно запомнить свой процесс перед запуском программы используя функцию getmypid().

Таким образом, паук запускается из командной строки для выполнения всевозможных программ, а крон, через запуск паука с определнными параметрами, поднимает упавшие программы и запускает их с того места на котором они загнулись. Сейчас структура и базовый функционал даёт возможность писать любые долгоиграющие скрипты с восстановлением при любом крахе.

Для отслеживания хода обработки данных выполняется логирование всех этапов работы. Скрипт работает с текстами и потому важно правильно работать с памятью. Для контроля, в логах, в каждой строчке указывается количество задействованной памяти на момент после выполнения операции. Очень удобно для анализа. Сегодня это позволила выявить где именно происходит утечка памяти в одной из задач.

Версия PHP 5.2.8 под FreeBSD, для консольного приложения в режиме CGI занимает примерно 25−30 Мб, при аппетитах самого скрипта к памяти в 2−3 Мб.

Продолжение следует...

# Комментариев на данный момент: 0. Вы можете добавить комментарий.
Copyright © Medved Ltd.

PHP5 для профессионалов

Александр Губанов — Mon, 09 Feb 2009 07:29:29 +0000

Эта книга знакомит нас с программированием на PHP «по-взрослому».

Самое главное, что в ней есть — это введение в проектирование ООП приложений, знакомство с UML и шаблонами проектирования. Это очень важные вещи, без которых можно навечно похоронить себя в процедурном коде.

Так же там можно найти примеры реализации Iterator, ArrayAccess и позднего инстанцирования, что приближает к нас пониманию более глубоких проблем и использованию различных трюков в программировании.

Твёрдая 4.

# Комментариев на данный момент: 0. Вы можете добавить комментарий.
Copyright © Medved Ltd.

PHP5 Профессиональное программирование

Александр Губанов — Mon, 09 Feb 2009 07:21:09 +0000

Если кратко, то замечательная книга на целых 704 страницы.

А замечательна она тем, что с самого начала очень легко и доходчиво знакомит нас с ООП в пятой версии PHP. Затем имеется раздел об итераторах, шаблонах проектирования и рефлексии (отслеживание в процессе работы объектов, их свойств и типов). Далее стандартные темы: сессии, cookies, базы данных. Немаловажный раздел об ошибках и исключениях поможет легко в этом разобраться.

Есть, как и везде, раздел об XML и расширениях PHP. Особое внимание уделяется PEAR: использованию компонентов, их написанию и опубликованию. Так же есть неплохой вводный материал о тестировании производительности и оптимизации кода. И ещё много интересных и познавательных разделов, которые не часто встретишь в других книгах, особенно вместе.

Книжка тянет на 5. Почему бы и нет.

# Комментариев на данный момент: 0. Вы можете добавить комментарий.
Copyright © Medved Ltd.

«Как сделать $1000 с блога за месяц!»

Алексей Панко — Mon, 09 Feb 2009 07:14:09 +0000

Недавно прочитал книгу известного блоггера Сергея Жуковского о том «как сделать $1000 с блога за месяц». Книга, кстати, так и называется. Расскажу что понравилось, а что не очень.

Сразу хочу заметить, что книга не отвечает на поставленный в названии вопрос. После ее прочтения, в первый месяц заработать с блога 1000 у.е. вряд ли получится. Хотя, как знать… Название — это скорее тонкий маркетинговый ход и самый мощный урок книги. Составляйте красочные заголовки и будет вам счастье.

В целом, книга дает неплохую теоретическую базу для новичков, собирающихся в будущем зарабатывать деньги посредством блогов, но и не более. Она небольшая по объему, прочитать можно за пару часов — всего 97 страниц.

Если вы уже давно ведете блог и неплохо разбираетесь в тонкостях «блоговодства», то скорее всего просто ознакомитесь с данной книгой методом «пролистывания» страниц и «прочитывания» заголовков (возможно даже некоторых абзацев). Нового для себя ничего точно не обнаружите. Даже можете обидеться на автора, ведь книга позиционируется как «практическое руководство», но на деле ни на какие практические приемы и советы рассчитывать не приходится.

«Как сделать $1000 с блога за месяц!» — просто не плохо (но и не сказать, что очень хорошо) структурированный материал о том, как начать вести блог. Вот и все.

Есть «ляпусы», куда же без них. Например, в разделе «Монетизация блога» Сергей советует продавать вам с блога свои услуги, но как быть, если вы не предлагаете никакие услуги вообще? Что же, тогда автор предлагает поставить на сайт систему SAPE или Яндекс.Директ. Да новичков в SAPE просто не пустят, они ведь только начинают вести блог, откуда у них PR и Тиц? Ну а Директ при таком раскладе 1000 вечно зеленых точно не подарит новичкам-блоггерам за красивые глаза.

Вывод простой. Книга для новичков. А сам Сергей молодец. Он продает заголовки, и причем продает весьма хорошо. Вот это и есть, наверное, единственный практический совет. Весьма действенный, между прочим.

# Комментариев на данный момент: 0. Вы можете добавить комментарий.
Copyright © Medved Ltd.

Миграция на Firefox

Алексей Панко — Thu, 05 Feb 2009 12:15:15 +0000

История эта берет свои истоки еще в те стародавние времена, когда Гейтс занимался выпечкой IE5(или даже IE4 — сейчас не вспомню), а его Microsoft поставлял свеженькие Windows+IE в наш захолустный городок. Помню у родителей дома стоял маленький беленький модемчик Acorp и мое путешествие по просторам Глобальной Сети вместе с Explorer'ом было чем-то экстремальным и захватывающим... Но однажды я устал от моего неповоротливого проводника в неизведанный виртуальный мир, и тогда на смену синему катафалку IE пришел красный, как Феррари, скоростной браузер Opera.

Норвежский быстроход показался мне просто сказочной чудо-машиной. Красивый, удобный, приятный во всех отношениях браузер, а главное шустрый (намного быстрее «Ослика»), служил мне верой и правдой несколько лет. За это время я очень сильно к нему привык. Больше того, я стал почти фанатом Opera. Оставалось только купить норвежский красный шарфик и напялить вязаные носки с эмблемой компании.

Но видимо что-то в механизмах вселенной было нарушено, и так уж сложилось, что не суждено мне стать очередным сектантом норвежской Opera... мерзкий предатель, я понял, что стану сектантом Firefox.

Вся соль в том, что часто приходится сталкиваться с работой и функционалом других «web-бродилок», тем более в мои обязанности еще и входит написание постов для соответсвующих блогов на эту тему. В основном пишу про Firefox и недавно вышедший Google Chrome.

Chrome хорош. Не сильно функционален пока, но чертовски хорош. По тактильным ощущениям, он быстрее всех загружает страницы, быстрее отрабатывает различные скрипты и приложения. Есть несколько интересных фишек, которые пришлись сотрудникам офиса (и мне тоже) по душе. Например, возможность мгновенно создавать ярлыки страничек на рабочем столе.

Но, моим сознанием овладел все же не Chrome, в мой мозг прокрался Firefox.

Поглядывая на все вкусности, которые были не доступны для Opera, но были как само-собой разумеющееся для Firefox, я часто облизывался и вытирал слюни. :) Не поймите меня неправильно, мной просто овладевало желание опробовать подобные фишки и в Opera. Меня очаровали FoxTab, SiteLauncher и Ubiquity (особенно Ubiquity), и другие удивительные полезности.

Я был почти мертв (ментально), когда не обнаружил аналогов файрфоксовских плагинов для моего любимого браузера. Обливаясь холодным потом, я про себя приговаривал «не может быть... этого не может быть».

Пришлось смириться и начать миграцию на браузер, изобретенный компанией, эмблемой которой является голова динозавра. Что за несправделивый мир?!

Миграция, кстати, прошла успешно: закладки и настройки импортировались в Firefox без осложнений. Дополнительно были установлены некоторые полезные расширения и работа закипела.

Не знаю, что выйдет из данного эксперимента... но думаю с «Огнелисом» мы подружимся. :) А если, что не так, мы его Uninstall'ом пытать будем. Загнется, так наш программист Александр сделает мне новый браузер, с неоновой подсветкой и супер-функцией для мгновенного перемещения по Сети с помощью силы мысли и взмахов бровей.

Выбор фреймворка для разработки

Александр Губанов — Thu, 05 Feb 2009 12:05:12 +0000

Для первых проектов необходим был фреймворк, который:

можно было бы изучать по мере написания проекта и использования его компонентов;
был бы лёгким;
быстрым;
и гибким.

Сначала мы обратили внимание на Symfony. Как заявляют разработчики, уже тысячи программистов доверяют Symfony свои приложения. Честно говоря, у меня с самого начала было неприязненное отношение к этому фрэймворку. Я копался в нём пару лет назад. Такие же чувства у меня были к Ruby on Rails. Но на RoR, в отличии от Symfony, я тогда все такие сделал небольшой проект.

В итоге на изучение Symfony, как я думаю, было потрачено недопустимо большое количество времени чтобы понять, что 1, 2 и 4 пункты к нему не относятся. Пункт 3 проверить не удалось, но и с ним скорее всего не на 100% хорошо. Нет у меня знакомых программистов, разрабатывающем на нем свои сайты, как нет и хороших доступных примеров сделанных на нем веб-проектов.

Следующее, на что мы обратили внимание был Zend Framework. Его и фрэймворком то назвать сложно, скорее это библиотека классов, реализующая множество задач, в том числе и привычные для многих фрэймворков (таких как CodeIgnitor, CakePHP и т.д.) контроллеры и шаблонизатор.

Что мне очень понравилось Zend не требует, он предлагает. Например паук для сбора разных параметров был написан с использованием всего нескольких классов, ненужные файлы я даже не стал копировать в проект. ZF предлагает свой стиль кодирования, который мало отличается от всех других стандартов, основные особенности в структуре классов, что очень даже хорошо. Всё можно настроить и использовать выборочно. В общем по всем пунктам Zend Framework показал себя замечательно.

Таким образом выбор был сделан в пользу ZF. Дальше решили не искать. Я лично о своём решении за полтора месяца интенсивной разработки еще ни разу не пожалел.

Всем привет!

Алексей Панко — Thu, 05 Feb 2009 11:24:02 +0000

Вот мы и открыли свой корпоративный блог. Здесь наши сотрудники будут делиться своими мыслями и мнениями о том, что происходит в студии и за ее пределами, и чем вообще они занимаются.

Но это не самое важное. Обратная связь с аудиторией — вот одна из главных задач, для решения которой мы собственно и создали блог. Нам важно знать ваше мнение о наших проектах, о работе, планах и просто обо всем, что вам покажется интересным в нашей деятельности.

Ну и, конечно же, ответим на Ваши вопросы, выслушаем советы и предложения.