[ip_koenig]

Сообщение от inner

может ли быть такое что при использовании таких настроек хаускипинг будет идти вечно? а то как то подозрительно уже 4 часа кластеринг идет, оперативки нахапал себе а процессор не загружает совсем, и объем выделенной оперативки не меняется... как будто умер

у меня был майнинг 3-4 месяца с 2ух лимитов. я не разу не делал analyze, как сделал - заняло около 5 мин.

[sql_error]

Комп AMD Athlon II X2 24 (2.81 Ghz), 2 гига ОЗУ
Настроил конфиг как здесь:

Сообщение от Pad0n0k

Сегодня настраивал конфиг (2ГБ мозгов):

shared_buffers = 512MB
work_mem = 32MB
maintenance_work_mem = 128MB
fsync = off
synchronous_commit = off
wal_buffers = 512kB
effective_cache_size = 512MB

Но скорость импорта медленная очень:



Почему так медленно? Это может быть из-за того, что у меня PostgreSQL стоит на диске С, а папка data - на D?
Как можно увеличить скорость до 200 рук/сек, как тут писали, а то у меня максимум 6-7 рук/сек

[Morze]

Сообщение от sql_error

Комп AMD Athlon II X2 24 (2.81 Ghz), 2 гига ОЗУ
Настроил конфиг как здесь:


Но скорость импорта медленная очень:



Почему так медленно? Это может быть из-за того, что у меня PostgreSQL стоит на диске С, а папка data - на D?
Как можно увеличить скорость до 200 рук/сек, как тут писали, а то у меня максимум 6-7 рук/сек

Попробуй сделать Reindex. Для существенного увеличения скорости нужен быстрый диск SSD или WD Raptor, а лучше сразу Raid0 на SSD ~600$ за 2 винта Intel X25-M 80ГБ или 500$ за OCZ Colossus 128ГБ

[asinkrit]

парни, а может кто нибудь дать копию файла к РТ3 уже настроеную с хорошей скоростью?

[omskuyx]

Кстати у себя заметил такой финт. Ставлю на импорт, например, пришедший майнинг, тыщ 40 рук в среднем. Начинается процесс очень медленно порой. Сначала с 10р\с, постепенно будет подниматься подниматься, потом долго остается в районе 30-40р\с, а потом уже и импорт закончился)) Хотя, когда импортил 2мио рук, то все таки скорость поднялась до 100 со временем. И однажды заметил, что после того как поставил импортироваться руки - сразу по прошествии тысяч 5-7 рук нажимаю отмену. А потом тут же сразу заново импорт делаю этих рук. Скорость сразу на второй попытке прыгает на 40-60, потом поднимается до 80-100 и так и остается. Когда импортил за не сколько дней сразу, то такой метод тоже нормально помогал: старт\стоп\старт - сначала 10-20, вторая попытка сразу 60 и до 120 ушло)

[agk27]

Может кто подскажет о какой переменной идет речь?

[Зарегистрироваться?]

Задача включить логирование запросов ХМ к базе, хочется некоторые запросу ручками поконструировать - нужны примеры.

[agk27]

Сообщение от agk27

Может кто подскажет о какой переменной идет речь?

[Зарегистрироваться?]

Задача включить логирование запросов ХМ к базе, хочется некоторые запросу ручками поконструировать - нужны примеры.

Нашел.

Кстати, по теме топика - приведенные параметры действительно ушустряют работу. Но для тех у кого нет УПСа, что будет с базой если отлючиться питание во время импорта?

[Pad0n0k]

Задача включить логирование запросов ХМ к базе

Я так понимаю, для этого нужно
logging_collector = ON
log_directory = 'pg_log'
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'
log_statement = 'all'

Но для тех у кого нет УПСа, что будет с базой если отлючиться питание во время импорта?

ИМХО, если сделать
fsync = off
synchronous_commit = off
то есть вероятность, что при внезапном выключении не сохранятся какие-то руки. Но это не проблема. В таких редких случаях можно просто переимпортировать последние HH. Теоретически, при аварийном выключении может повредиться сама база данных, и настройки на это ни как не влияют.

[agk27]

Сообщение от Pad0n0k

Я так понимаю, для этого нужно
logging_collector = ON
log_directory = 'pg_log'
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'
log_statement = 'all'

Спасибо, в итоге сделал чуть по другому.
В настройках ХМ есть переменная LogDatabaseCommands, ставим её в True и потом лезем в логи ХМ.

[sqsq]

Сообщение от Kostyan

Сделал.Спасибо.Вроде,получ� �е.Хотя ещё не было время проверить окончательно.Только,вот по поводу пункта 4.
У меня 8.3 так там только такие теги есть.
log_destination = 'stderr'
logging_collector = on
Ну я поставил в логинколектор off(там у меня on был)
Надеюсь,попал.

Скажите как убрать логи? Я их поставил значения как тут, но они всё равно сохраняются(логи после импорта рук в базу)
ВОТ:
og_destination = 'stderr' # Valid values are combinations of
# stderr, csvlog, syslog and eventlog,
# depending on platform. csvlog
# requires logging_collector to be on.

# This is used when logging to stderr:
logging_collector = off # Enable capturing of stderr and csvlog
# into log files. Required to be on for
# csvlogs.
# (change requires restart)

Сообщение от maybe

3.) Найдите 'effective_cache_size' . Ставте 1/2 от оперативки. Если в начале строки стоит '#' удалите эту решетку. У меня этот параметр 1536MB.

То есть вся строка должна выглядеть так:
effective_cache_size = 1333MB
??


П.С. И прикрепить уже тему стикером!

[sqsq]

Было бы здорово ещё если бы Падонок подвёл итоги и оформил красиво тему и стиекром её!!)

[sqsq]

Сообщение от Pad0n0k

Сегодня настраивал конфиг (2ГБ мозгов):

shared_buffers = 512MB
work_mem = 32MB
maintenance_work_mem = 128MB
fsync = off
synchronous_commit = off
wal_buffers = 512kB
effective_cache_size = 512MB

Скорость импорта большого кол-ва рук выросла почти в 3 раза, по сравнению с дефолтными настройками.
Хочу выжать максимум из своего железа, т.к. задалбывает каждый день ждать, пока импортируется майнинг.
Буду крутить дальше.

Здесь написано:[Зарегистрироваться?]
# Find the following configurations:

* "shared_buffers = xMB" and set this number equal to about 1/4 of your total memory. That is, if you have 2GB of RAM, set this to 512MB.
* "work_mem = xMB" and set this value equal to about 1/64 of your total memory. That is, if you have 2GB of RAM, set this to 32MB.
* "maintenance_work_mem = xMB" and set this value equal to about 1/16 of your total memory. That is, if you have 2GB of RAM, set this to 128MB.
Note: work_mem and maintentance_work_mem by default are commented out in the configuration file (e.g. has a # in front of them), so make sure to remove those symbols to put the changes into effect.


То есть чтобы это имело эффект во всех из этих параметров вначале строки нужно убрать символ #:? Или только в 2х последних?
Но про первую строку ещё в первом посте писали, что нужно убрать там символ, так нужно или нет??!!
Может чтобы изменения имели эффект нужно везде удалять символ #:??

[sqsq]

Сообщение от SS-24

Существует и другой способ увеличить производительность.
Вложение 72438

Да вот же оно! Просто надо выложить и картинки вставить...
Ещё на первой странице.. А никто не оценил:(

[sqsq]

Настроил б*ть.

[Pad0n0k]

То есть чтобы это имело эффект во всех из этих параметров вначале строки нужно убрать символ #:? Или только в 2х последних?
Но про первую строку ещё в первом посте писали, что нужно убрать там символ, так нужно или нет??!!
Может чтобы изменения имели эффект нужно везде удалять символ #:??

Символ # это символ комментария. Все, что стоит справа от этого символа и до конца строки игнорируется. Т.е. если перед строка начинается с #, то она пропускается, и все что в ней написано ни на что не влияет. По умолчанию все строки начинаются с этого символа, если хочешь поменять какой-то параметр, то символ убираешь.

Параметр
shared_buffers под виндой нельзя выставлять больше 1024MB. Постгрес не будет запускаться. Скорее всего у тебя проблема в этом параметре. Кроме того, на всех форумах пишут, что больше 512МБ делать его нет смысла, т.к. скорость работы не меняется.
Итоги подвести к сожалению сейчас не могу, хочу сначала покрутить параметы
checkpoint_segments и checkpoint_timeout
попробую сделать их побольше, на пример
checkpoint_segments = 32
checkpoint_timeout = 10min
предположительно должно заметно ускорить импорт.

[agk27]

Сделал тут себе сегодня новую базу (использую настройки указанные на второй страницы топика), чтобы проимпортить 5 млн рук.

Я иногда останавливаю импорт чтобы сделать Вакум (на ХМ говорят помогает), так вот после 500К остановил, сделал Вакум - запустил снова.. и обнаружил что Постгресс начал кушать очень много памяти, в топе таск менеджера висят три процесса по 500МБ + ХМ 200 с лишним МБ.

В итоге ХП сваливается в своп и скорость импорта драматически падает.

Понизил размеры буферов, теперь процессы жрут мегов по 150 и все нормально вертиться.

На компе оперативки 4Гб.

[Pad0n0k]

checkpoint_segments = 32
checkpoint_timeout = 10min

Попробовал установить эти параметры. Скорость импорта увеличилась с 120 до 160 h/s. Проверьте плиз кто-нить у себя и отпишитесь, для достоверности.

Я иногда останавливаю импорт чтобы сделать Вакум (на ХМ говорят помогает), так вот после 500К остановил, сделал Вакум - запустил снова.. и обнаружил что Постгресс начал кушать очень много памяти, в топе таск менеджера висят три процесса по 500МБ + ХМ 200 с лишним МБ.

В итоге ХП сваливается в своп и скорость импорта драматически падает.

Надо как-то набраться терпения, и хорошенько поэкспериментировать с размером shared_buffers. Очень неприятно, когда запущенный PT и TableScan съедают все память. Я не уверен, что этот парамет сильно влияет на скорость импорта. В первую очередь он должен влиять скорость выборки данных из базы, а на импорт новых данных он влияет скорее косвенно. Возможно 150-200MB будет оптимальным вариантом. Нужно тестить....

[agk27]

Сообщение от Pad0n0k

Попробовал установить эти параметры. Скорость импорта увеличилась с 120 до 160 h/s. Проверьте плиз кто-нить у себя и отпишитесь, для достоверности.

Сейчас поставлю в районе 150К рук в большую базу, последние руки грузились в районе 70 h/s. По результату отпишусь.

[sqsq]

У меня со всеми опциями предложенными Pad0n0k на компе 6GB DDR3, весь покерный софт на винчестере SSD128, процессор i7, Windows на SSD64GB.
Во всех базах примерно 4кк рук, баз 5, импорчу в новую базу(где нету ещё рук) и... Скорость стартует с 300 и за пару секунд доходит до 600, потом быстро падает до 200, и дальше уже медленне(минут за 7) спускается до 70(после добавленных опций checkpoint_segments = 32
checkpoint_timeout = 10min стала 80).
Это нормально? Мне кажется я сделал что-то не так...
Со стандартным конфигом скорость была 30.
Hosekeping и reindex конечно делаю через день.

[agk27]

Сообщение от sqsq

У меня со всеми опциями предложенными Pad0n0k на компе 6GB DDR3, весь покерный софт на винчестере SSD128, процессор i7, Windows на SSD64GB.
Во всех базах примерно 4кк рук, баз 5, импорчу в новую базу(где нету ещё рук) и... Скорость стартует с 300 и за пару секунд доходит до 600, потом быстро падает до 200, и дальше уже медленне(минут за 7) спускается до 70(после добавленных опций checkpoint_segments = 32
checkpoint_timeout = 10min стала 80).
Это нормально? Мне кажется я сделал что-то не так...
Со стандартным конфигом скорость была 30.
Hosekeping и reindex конечно делаю через день.

У меня Q9650 @3.6, 4Гб и 300Гб VelicoRaptor, думал вот поставля себе SSD и получу реальный прыжок в скорости - а оказывается нет ((

Сорри за офф.