Взял недавно заказ на сбор информации из открытых источников, в просторечии, парсинг сайта. Использовал phpQuery как базу для написания граббера. Клиенту нужен был результат конечный, сам граббер не нужен. Сайтов было несколько, и в общей сложности собрал базу на 20 тысяч записей. Но речь не об этом. При грабе одного из сайтов столкнулся с небольшой проблемой.

Кириллическая кодировка выводилась в виде ??????????? / ???

на странице был прописан charset windows-1251

забирал контент донора через

$ch = curl_init($url);
$agent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322)";
@curl_setopt ( $ch , CURLOPT_USERAGENT , $agent );
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$page = curl_exec($ch);
curl_close($ch);

потом $page скармливал phpQuery

$results = phpQuery::newDocument($page )

но phpQuery почему-то для скормленного ей контента ставила utf-8 (она себя так ведет если не может определить кодировку донора, т.е. ставит по умолчанию UTF-8 )

mb_internal_encoding() выдал что используется ISO-8859-1, это же подтвердил и анализ заголовков, с целевого донора

Date	Fri, 25 Sep 2009 19:54:06 GMT
Server	Microsoft-IIS/6.0
X-Powered-By	ASP.NET
X-AspNet-Version	2.0.50727
Location	************
Cache-Control	private
Accept-Charset	ISO-8859-1,utf-8;q=0.7,*;q=0.7
Content-Length	0

а ISO-8859-1 это не cp1251 а cp1252

Решение. Как преобразовать кодировку CP1252 в UTF-8 (в UTF-8 пишется в базу и скрипт сам в UTF-8 сохранен)

iconv('windows-1252','utf-8//IGNORE','текст');  непомогло

возвращало ??«???????°?®?±????& #195;? / ?‹???·

преобразование через mb_convert_encoding(‘текст’,mb_internal_encoding(), ‘UTF-8?); тоже не дало результат

Решение оказалось вот каким

$title= mb_convert_encoding($title,mb_detect_encoding($title , "CP1252"), 'UTF8');
$title= mb_convert_encoding($title,'UTF8', "CP1251");

если просто из CP1252 в UTF8 преобразовать то на выходе всеравно каракули (вопросительные знаки), приходится из UTF-8 в CP1251 преобразовывать и все ок

ps:вполне возможно что в вашем случае этот вариант не подойдет, рассмотрен частный случай, сервер с которого я парсил инфу своеобразно отдавал ее.
В странице была одна кодировка прописана тегом как CP1251, но на деле была CP1252, если смотреть заголовки.

UTF дергаю так как на моем хосте все своеобразно настроено )

в итоге смотрите по обстоятельствам

Отправка GET

function send_get($get_url,$coo,$refer)
{
// $get_url — куда отправить ,$coo- строка куков,$refer — якобы откуда пришли, некоторые проверяют
$ch = curl_init();
// curl_setopt($ch, CURLOPT_PROXY, «http://192.168.2.600:2323″);
curl_setopt($ch, CURLOPT_URL, $get_url);
curl_setopt($ch, CURLOPT_HEADER,1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_REFERER, $refer );
curl_setopt($ch, CURLOPT_COOKIE,$coo);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);
curl_setopt($ch, CURLOPT_USERAGENT, «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)»);
curl_setopt($ch, CURLOPT_VERBOSE,1);
return $data = curl_exec($ch);
$type=curl_multi_getcontent($ch);
}

Отправка POST

function send_post($post_url,$post_data,$coo,$refer)
{
// $post_data — PAST которые нужно отправить
// $get_url — куда отправить ,$coo- строка куков,$refer — якобы откуда пришли, некоторые проверяют
$ch = curl_init();
//curl_setopt($ch, CURLOPT_PROXY, «http://192.168.2.600:2323″);
curl_setopt($ch, CURLOPT_URL, $post_url);
curl_setopt($ch, CURLOPT_HEADER,1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_REFERER, $refer );
curl_setopt($ch, CURLOPT_COOKIE,$coo);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);
curl_setopt($ch, CURLOPT_USERAGENT, «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)»);
curl_setopt($ch, CURLOPT_VERBOSE,1);
echo $data = curl_exec($ch);
$type=curl_multi_getcontent($ch);
$coo=filter3($type);
curl_close($ch);
return $type;
}

Для возможных значений аргумента option, которые перечислены в следующем списке, соответствующее значение value должно указываться в виде целого числа:

CURLOPT_INFILESIZE — установить ожидаемый размер получаемого файла при его загрузке на удаленный сервер.

CURLOPT_VERBOSE — при ненулевом значении будет сообщаться все, что происходит во время сессии.

CURLOPT_HEADER — при ненулевом значении заголовок будет включаться в содержимое вывода.

CURLOPT_NOPROGRESS — при ненулевом значении блокируется отображение индикатора хода выполнения операций передачи. По умолчанию этот параметр установлен, и его следует изменять только для целей отладки.

CURLOPT_NOBODY — при ненулевом значении содержимое тега BODY не будет включаться в вывод.

CURLOPT_FAILONERROR — при ненулевом значении будет происходить обычное завершение сценария PHP, если будет получен код возврата HTTP со значением большим, чем 300. По умолчанию происходит нормальный возврат в сценарий с игнорированием кода, вызвавшего ошибку.

CURLOPT_UPLOAD — при ненулевом значении происходит подготовка PHP для загрузки.

CURLOPT_POST — при ненулевом значении PHP выполняет обычный метод HTTP POST. Тип POST будет иметь нормальный вид application/x-www- from-urlencoded.

CURLOPT_FTPLISTONLY — при ненулевом значении PHP будет выводить имена файлов только в FTP.

CURLOPT_FTPAPPEND — при ненулевом значении PHP будет осуществлять добавление в конец существующего удаленного FTP-файла, вместо его перезаписи.

CURLOPT_NETRC — при ненулевом значении PHP будет просматривать файл ~./netrc в поисках имени пользователя и пароля для осуществления доступа к удаленному сайту.

CURLOPT_FOLLOWLOCATION — при ненулевом значении переадресация будет проходить согласно HTTP-заголовкам Location.

CURLOPT_PUT — при ненулевом значении файл отсылается методом HTTP PUT. Параметры файла CURLOPT_INFILE и CURLOPT_INFILESIZE также должны быть указаны.

CURLOPT_MUTE — при ненулевом значении PHP будет исполнять функции CURL без дополнительного вывода.

CURLOPT_TIMEOUT — позволяет передать целочисленный параметр, определяющий в секундах максимально допустимое время исполнения функций CURL.

CURLOPT_LOW_SPEED_LIMIT — принимает целочисленный параметр, определяющий скорость передачи данных в байтах в секунду, которая будет использоваться для проверки установленного соединения. Сеанс прерывается, если превышается время максимально допустимого ожидания CURLOPT_ LOW_SPEED_TIME.

CURLOPT_LOW_SPEED_TIME — принимает целочисленный параметр, определяющий максимальное время передачи данных в секундах, при скорости CURLOPT_ LOW_SPEED_LIMIT. При превышении этого времени PHP будет прерывать выполнение операции, рассматривая ее как недопустимо медленную.

CURLOPT_RESUME_FROM — принимает целочисленный параметр, определяющий смещение в байтах, с которого должна начинаться передача.

CURLOPT_SSLVERSION — принимает целочисленный параметр, определяющий используемую версию SSL. По умолчанию PHP будет пытаться самостоятельно определить версию, хотя в некоторых случаях ее следует устанавливать вручную.

CURLOPT_TIMECONDITION — позволяет передать константный параметр, определяющий смысл параметра CURLOPT_TIMEVALUE. Можно использовать значение по умолчанию TIMECOND_IFMODSINCE или значение TIMECOND_ISUNMODSINCE.

CURLOPT_TIMEVALUE — позволяет передать целочисленный параметр, содержащий значение времени в формате “UNIX-timestamp”. Это значение будет использоваться с учетом установки CURLOPT_TIMEVALUE.

Для следующих возможных значений аргумента option соответствующее значение value должно указываться в строковое значение.

CURLOPT_URL — адрес URL, по которому отправляется запрос. Этот параметр также можно установить при вызове функции curl_init().

CURLOPT_USERPWD — позволяет при подключении передавать строку в формате “[username]:[password]”.

CURLOPT_PROXYUSERPWD — позволяет при подключении к HTTP-прокси передавать строку в формате “[username]:[password]”.

CURLOPT_RANGE — заставляет передавать диапазон в формате “X-Y”, где значение X или Y может быть не указано. При использовании протокола HTTP возможна одновременная передача нескольких интервалов, разделенных запятыми.

CURLOPT_POSTFIELDS — позволяет передавать полную строку данных, посылаемых методом HTTP POST.

CURLOPT_REFERER — позволяет передавать строку, содержащую заголовок «referer», используемый в запросах HTTP.

CURLOPT_USERAGENT — позволяет передавать строку, содержащую заголовок «user-agent», используемый в запросах HTTP.

CURLOPT_FTPPORT — позволяет передавать строку, содержащую значение IP- адреса, используемого инструкцией POST для подключения к удаленному серверу FTP. Эта строка может содержать простой IP-адрес, имя хоста или имя сетевого интерфейса (под UNIX), или даже символ ?, указывающий системный адрес IP, используемый по умолчанию.

CURLOPT_COOKIE — позволяет передать строку с содержимым cookie, который будет отправлен в заголовке HTTP.

CURLOPT_SSLCERT — позволяет передать строку с именем файла, содержащего SSL-сертификат формата PEM.

CURLOPT_SSLCERTPASSWD — позволяет передать строку с паролем, необходимым для использования сертификата, указанного параметром CURLOPT_SSLCERT.

CURLOPT_COOKIEFILE — позволяет передать строку с именем файла, содержащего данные cookie. Этот файл должен быть в формате Netscape или в виде простого заголовка HTTP, сохраненного в файле.

CURLOPT_CUSTOMREQUEST — позволяет передать строку, которая будет использоваться вместо HTTP запроса GET или HEAD. Этот механизм можно использовать при выполнении устаревшего запроса HTTP, например DELETE. Не стоит использовать эту возможность, не выяснив предварительно, поддерживает ли сервер указанную команду.

Для следующих возможных значений аргумента option соответствующее значение value должно указываться дескриптором, полученным от функции fopen().

CURLOPT_FILE — указывается файл, в котором следует сохранять полученные данные. По умолчанию используется стандартный поток вывода stdout.
CURLOPT_INFILE — задается файл, из которого следует получать данные для передачи.
CURLOPT_WRITEHEADER — указывается файл для записи содержимого заголовков.
CURLOPT_STDERR — указывается файл для сохранения результатов ошибок вместо использовавшегося ранее потока stderr.

Пример:
вот такой функцией например забираем содержимое страницы с учетом кукисов

function get_page($url) {
//путь куда сохраняем файл с куками
$user_cookie_file = ‘cookies.txt’;
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
//— маскируемся под браузер
curl_setopt($ch, CURLOPT_USERAGENT, «Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 (.NET CLR 3.5.30729)»);
//куки
curl_setopt($ch, CURLOPT_COOKIEFILE, $user_cookie_file);
//куки
curl_setopt($ch, CURLOPT_COOKIEJAR, $user_cookie_file);

$html = curl_exec($ch);
curl_close($ch);
return $html; //Возвращаем результат
}