{"id":430,"date":"2009-12-17T11:54:57","date_gmt":"2009-12-17T08:54:57","guid":{"rendered":"http:\/\/blog.yavor.info\/?p=430"},"modified":"2009-12-21T13:30:28","modified_gmt":"2009-12-21T10:30:28","slug":"%d0%bd%d0%b5-%d1%81%d0%bc%d0%b5-%d1%81%d0%b0%d0%bc%d0%b8-%d1%87%d0%b0%d1%81%d1%82-4","status":"publish","type":"post","link":"http:\/\/blog.yavor.info\/?p=430","title":{"rendered":"\u041d\u0435 \u0441\u043c\u0435 \u0441\u0430\u043c\u0438, \u0447\u0430\u0441\u0442 4"},"content":{"rendered":"<p>(<a href=\"http:\/\/blog.yavor.info\/?p=410\">\u043a\u044a\u043c \u0447\u0430\u0441\u0442 3<\/a>)<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u0440\u0438 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0441\u043a\u0430\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 \u0435 \u0434\u0430 \u0441\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u0448 \u0440\u0435\u0441\u0443\u0440\u0441\u0438\u0442\u0435, \u0441 \u043a\u043e\u0438\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0438\u0448. \u0415\u0434\u043d\u043e \u0437\u0434\u0440\u0430\u0432\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0435 \u043c\u043e\u0436\u0435 \u0434\u0430 \u0441\u043f\u0435\u0441\u0442\u0438 \u043c\u043d\u043e\u0433\u043e \u0433\u043b\u0430\u0432\u043e\u0431\u043e\u043b\u0438\u044f. \u0417\u0430 \u0441\u044a\u0436\u0430\u043b\u0435\u043d\u0438\u0435 \u0437\u0430 \u0434\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u0438\u0448 \u0434\u043e\u0431\u0440\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0435, \u0442\u0440\u044f\u0431\u0432\u0430 1) \u0434\u0430 \u0441\u0438 \u043e\u0441\u044a\u0437\u043d\u0430\u043b, \u0447\u0435 \u0442\u0438 \u0442\u0440\u044f\u0431\u0432\u0430, \u0438 2) \u0434\u0430 \u0437\u043d\u0430\u0435\u0448 \u043a\u0430\u043a \u0434\u0430 \u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u0438\u0448 \ud83d\ude42<\/p>\n<p>\u041f\u043e\u0432\u0435\u0447\u0435\u0442\u043e \u0445\u043e\u0440\u0430 \u0441\u0435 \u0441\u0435\u0449\u0430\u0442 \u0437\u0430 <code>select ... for update<\/code>. \u041e\u0431\u0430\u0447\u0435 \u0438\u043c\u0430 \u0438 \u0434\u0440\u0443\u0433\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0438\u0446\u0438, \u043a\u043e\u0438\u0442\u043e \u043c\u043e\u0433\u0430\u0442 \u0434\u0430 \u043f\u043e\u043c\u043e\u0433\u043d\u0430\u0442 \u043d\u0430 \u0441\u044a\u0432\u0435\u0441\u0442\u043d\u0438\u044f db developer. \u0415\u0434\u0438\u043d\u0438\u044f\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0435 <code>Lock table<\/code>. \u0429\u0435 \u0438\u0437\u043f\u043e\u043b\u0437\u0432\u0430\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043e\u0442 <a href=\"http:\/\/blog.yavor.info\/?p=409\">\u0447\u0430\u0441\u0442 2<\/a>:<\/p>\n<pre lang=\"plsql\">\r\ncreate or replace procedure Process_New_Data is\r\n  -- example code - not scalable!!!\r\nbegin\r\n  -- lock the log table, so none will be able to add\/remove batches\r\n  lock table batch_log in exclusive mode;\r\n  -- process the loaded batches\r\n  insert \/*+append*\/\r\n  into prod_table\r\n    select -- do some processing\r\n           batch_id, get_something(column1, column2), calculate_something(column3, column4),\r\n           RANK() over(PARTITION BY column5, column6 order by column7) rn, \r\n           column8, column9, ...\r\n      from loader_table\r\n     where batch_id in (select batch_id\r\n                          from batch_log\r\n                         where processed = 0);\r\n\r\n  -- delete the rows from loader table\r\n  delete from loader_table\r\n   where batch_id in (select batch_id\r\n                        from batch_log\r\n                       where processed = 0);\r\n\r\n  -- mark the batches as processed\r\n  update batch_log\r\n     set processed = 1\r\n   where processed = 0;\r\n\r\n  commit;\r\nend;\r\n<\/pre>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u044f \u043e\u0449\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u043e\u0442\u043e \u043d\u0430 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430\u0442\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043c\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u0442\u0430 batch_log. \u0422\u043e\u0432\u0430 \u043e\u0437\u043d\u0430\u0447\u0430\u0432\u0430, \u0447\u0435 \u043d\u0438\u043a\u043e\u0439 \u043d\u044f\u043c\u0430 \u0434\u0430 \u043c\u043e\u0436\u0435 \u0434\u0430 \u0434\u043e\u0431\u0430\u0432\u044f, \u043f\u0440\u043e\u043c\u0435\u043d\u044f \u0438\u043b\u0438 \u043f\u0440\u0435\u043c\u0430\u0445\u0432\u0430 \u0440\u0435\u0434\u043e\u0432\u0435 \u043e\u0442 \u043d\u0435\u044f. :<br \/>\n&#8211; \u0430\u043a\u043e \u0438\u043c\u0430 \u0441\u0435\u0441\u0438\u044f, \u043a\u043e\u044f\u0442\u043e \u0432\u043a\u0430\u0440\u0432\u0430 \u043d\u043e\u0432\u0438 \u0434\u0430\u043d\u043d\u0438, \u043f\u0440\u0438 \u043e\u043f\u0438\u0442 \u0434\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u0438 insert &#8211; \u0449\u0435 \u0447\u0430\u043a\u0430.<br \/>\n&#8211; \u0430\u043a\u043e \u0438\u043c\u0430 \u0434\u0440\u0443\u0433\u0430 \u0441\u0435\u0441\u0438\u044f, \u043a\u043e\u044f\u0442\u043e \u0438\u0437\u043f\u044a\u043b\u043d\u044f\u0432\u0430 \u043d\u0430\u0448\u0430\u0442\u0430 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430 \u0437\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430\/\u043f\u0440\u0435\u043c\u0435\u0441\u0442\u0432\u0430\u043d\u0435 \u043d\u0430 \u0434\u0430\u043d\u043d\u0438 &#8211; \u0449\u0435 \u0433\u0440\u044a\u043c\u043d\u0435 \u0438\u043b\u0438 \u0449\u0435 \u0447\u0430\u043a\u0430, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442 \u043e\u0442 \u0442\u043e\u0432\u0430 \u0434\u0430\u043b\u0438 \u0449\u0435 \u0434\u0430\u0434\u0435\u043c wait \u043d\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0435\u0442\u043e. \u0422\u043e\u0432\u0430 \u0435 \u0438 \u0435\u0434\u043d\u0430 \u043e\u0442 \u043f\u0440\u0438\u0447\u0438\u043d\u0438\u0442\u0435 \u0442\u043e\u0437\u0438 lock \u0434\u0430 \u0441\u0435 \u043f\u0440\u0430\u0432\u0438 \u0432 \u0441\u0430\u043c\u043e\u0442\u043e \u043d\u0430\u0447\u0430\u043b\u043e, \u043f\u0440\u0435\u0434\u0438 \u0434\u0430 \u0441\u043c\u0435 \u0441\u0432\u044a\u0440\u0448\u0438\u043b\u0438 \u043d\u044f\u043a\u0430\u043a\u0432\u0430 \u0434\u0440\u0443\u0433\u0430 \u0440\u0430\u0431\u043e\u0442\u0430.<\/p>\n<p>\u0421\u0430\u043c\u043e\u0442\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0435 \u0441\u0435 &#8222;\u043e\u0442\u043a\u043b\u044e\u0447\u0432\u0430&#8220; \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u0432 \u0441 \u043f\u044a\u0440\u0432\u0438\u044f commit \u0438\u043b\u0438 rollback. \u0417\u0430 \u0442\u043e\u0432\u0430 \u0442\u043e\u0447\u043d\u043e \u0442\u043e\u0437\u0438 \u043f\u043e\u0434\u0445\u043e\u0434 \u0435 \u043d\u0435\u043f\u0440\u0438\u043b\u043e\u0436\u0438\u043c \u0432 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u043a\u0430\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0430\u0442\u0430 \u0432 <a href=\"http:\/\/blog.yavor.info\/?p=408\">\u0447\u0430\u0441\u0442 1<\/a>.<\/p>\n<p>\u041f\u043e-\u043b\u043e\u0448\u043e\u0442\u043e \u0435, \u0447\u0435 \u0442\u043e\u0437\u0438 \u043f\u043e\u0434\u0445\u043e\u0434 \u0435 \u0430\u0434\u0441\u043a\u0438 \u043d\u0435-\u0441\u043a\u0430\u043b\u0438\u0440\u0443\u0435\u043c. \u0422\u043e\u0432\u0430 \u0435 brute force \u043d\u0430 \u0437\u0430\u0449\u0438\u0442\u0430\u0442\u0430. \u0414\u043e\u043a\u0430\u0442\u043e \u043d\u0435 \u043f\u0440\u0438\u043a\u043b\u044e\u0447\u0438\u043c \u0441 \u0432\u0441\u0438\u0447\u043a\u0430\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u0430, \u043d\u0438\u043a\u043e\u0439 \u043d\u044f\u043c\u0430 \u0434\u0430 \u043c\u043e\u0436\u0435 \u0434\u0430 \u0440\u0430\u0431\u043e\u0442\u0438 \u043f\u043e \u0442\u0430\u0437\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 (\u043e\u0441\u0432\u0435\u043d \u0434\u0430 select-\u0432\u0430). \u0421 \u0434\u0440\u0443\u0433\u0438 \u0434\u0443\u043c\u0438, \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u0441\u043c\u0435 \u0435\u0434\u0438\u043d \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 \u0434\u0440\u0443\u0433. \u0418 \u0441\u0435\u0433\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0449\u0435 \u0441\u0435 \u043f\u0440\u043e\u044f\u0432\u0438 \u043f\u0440\u0438 \u043d\u0430\u0442\u043e\u0432\u0430\u0440\u0432\u0430\u043d\u0435 \u0441 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u0438 \u0441\u0435\u0441\u0438\u0438. \u041c\u043e\u0436\u0435 \u0434\u0430 \u0441\u0435 \u043a\u0430\u0436\u0435, \u0447\u0435 \u0441\u043c\u0435 \u043f\u043e-\u0434\u043e\u0431\u0440\u0435: \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044a\u0442 \u0449\u0435 \u0435 \u044f\u0441\u0435\u043d, \u043d\u044f\u043c\u0430 \u0434\u0430 \u0438\u043c\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0438 \u0437\u0430\u0433\u0443\u0431\u0438 \u0438\u043b\u0438 \u0434\u0443\u0431\u043b\u0438\u0440\u0430\u043d\u0435. \u041d\u043e \u0441\u0438 \u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c.<\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0434\u0438\u043b\u0435\u043c\u0430: \u043a\u043e\u043b\u043a\u043e\u0442\u043e \u043f\u043e\u0432\u0435\u0447\u0435 (\u0438 \u043f\u043e-\u0440\u0435\u0441\u0442\u0440\u0438\u043a\u0442\u0438\u0432\u043d\u0438) \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0438\u0446\u0438 \u0438\u0437\u043f\u043e\u043b\u0437\u0432\u0430\u043c\u0435, \u0442\u043e\u043b\u043a\u043e\u0432\u0430 \u043f\u043e-\u0437\u043b\u0435 \u043f\u043e\u043d\u0430\u0441\u044f \u0442\u043e\u0432\u0430\u0440 \u0435\u0434\u043d\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041d\u043e \u0430\u043a\u043e \u043d\u0435 \u0433\u0438 \u0438\u0437\u043f\u043e\u043b\u0437\u0432\u0430\u043c\u0435, \u0434\u043e\u0431\u0440\u0430\u0442\u0430 \u0441\u0430\u043a\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442 \u0432\u043e\u0434\u0438 \u0434\u043e \u0433\u0440\u0435\u0448\u043d\u0438 \u0434\u0430\u043d\u043d\u0438. \u041d\u044f\u043a\u043e\u0439 \u0434\u0430 \u0441\u0438 \u0435 \u043f\u043e\u043c\u0438\u0441\u043b\u0438\u043b, \u0447\u0435 \u0438\u043c\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435? \ud83d\ude42<\/p>\n<p>(<a href=\"http:\/\/blog.yavor.info\/?p=431\">\u043a\u044a\u043c \u0447\u0430\u0441\u0442 5<\/a>)<\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u0440\u0438 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0441\u043a\u0430\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 \u0435 \u0434\u0430 \u0441\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u0448 \u0440\u0435\u0441\u0443\u0440\u0441\u0438\u0442\u0435, \u0441 \u043a\u043e\u0438\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0438\u0448. \u0415\u0434\u043d\u043e \u0437\u0434\u0440\u0430\u0432\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0435 \u043c\u043e\u0436\u0435 \u0434\u0430 \u0441\u043f\u0435\u0441\u0442\u0438 \u043c\u043d\u043e\u0433\u043e \u0433\u043b\u0430\u0432\u043e\u0431\u043e\u043b\u0438\u044f. \u0417\u0430 \u0441\u044a\u0436\u0430\u043b\u0435\u043d\u0438\u0435 \u0437\u0430 \u0434\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u0438\u0448 \u0434\u043e\u0431\u0440\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0435, \u0442\u0440\u044f\u0431\u0432\u0430 1) \u0434\u0430 \u0441\u0438 \u043e\u0441\u044a\u0437\u043d\u0430\u043b, \u0447\u0435 \u0442\u0438 \u0442\u0440\u044f\u0431\u0432\u0430, \u0438 2) \u0434\u0430 \u0437\u043d\u0430\u0435\u0448 \u043a\u0430\u043a \u0434\u0430 \u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u0438\u0448 \ud83d\ude42<\/p>\n<p>\u041f\u043e\u0432\u0435\u0447\u0435\u0442\u043e \u0445\u043e\u0440\u0430 \u0441\u0435 \u0441\u0435\u0449\u0430\u0442 \u0437\u0430 <code>select ... for update<\/code>. \u041e\u0431\u0430\u0447\u0435 \u0438\u043c\u0430 \u0438 \u0434\u0440\u0443\u0433\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0432\u0430\u043d\u0438\u0446\u0438, \u043a\u043e\u0438\u0442\u043e \u043c\u043e\u0433\u0430\u0442 \u0434\u0430 \u043f\u043e\u043c\u043e\u0433\u043d\u0430\u0442 \u043d\u0430 \u0441\u044a\u0432\u0435\u0441\u0442\u043d\u0438\u044f db developer. \u0415\u0434\u0438\u043d\u0438\u044f\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0435 <code>Lock table<\/code>. \u0429\u0435 \u0438\u0437\u043f\u043e\u043b\u0437\u0432\u0430\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043e\u0442 <a href=\"http:\/\/blog.yavor.info\/?p=409\">\u0447\u0430\u0441\u0442 2<\/a>:<br \/>\n<br \/>\n(<a href=\"http:\/\/blog.yavor.info\/?p=430\">A\u043a\u043e \u0442\u0438 \u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0435\u0442\u0438 \u043d\u0430\u0442\u0430\u0442\u044a\u043a&#8230;<\/a>)<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[],"tags":[],"jetpack_featured_media_url":"","_links":{"self":[{"href":"http:\/\/blog.yavor.info\/index.php?rest_route=\/wp\/v2\/posts\/430"}],"collection":[{"href":"http:\/\/blog.yavor.info\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/blog.yavor.info\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/blog.yavor.info\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/blog.yavor.info\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=430"}],"version-history":[{"count":0,"href":"http:\/\/blog.yavor.info\/index.php?rest_route=\/wp\/v2\/posts\/430\/revisions"}],"wp:attachment":[{"href":"http:\/\/blog.yavor.info\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=430"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/blog.yavor.info\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=430"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/blog.yavor.info\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=430"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}