Опять ДБ трабл.

[Jin]

граждане, а скажите мне, MySQL штук 30 таблиц по 3млн записей выдержит?

предполагается только читать

InnerDB нет, MyISAM да?

 

и где можно почитать про оптимизацию?

спасибо

[AgentXXX]

MySQL штук 30 таблиц по 3млн записей выдержит?

Мигрировал данные из таблиц и поболе, так что таки да.

[AgentXXX]

Restrictions on InnoDB Tables

[sashka304]

граждане, а скажите мне, MySQL штук 30 таблиц по 3млн записей выдержит?

предполагается только читать

InnerDB нет, MyISAM да?

 

и где можно почитать про оптимизацию?

спасибо

должно выдержать. а вот насчет InnoDB - в нем кажись есть транзакции а в MyISAM - нихт.

[Jin]

да, в MyISAM транзакций нет, но они и не нужны

нужна скорость чтения

 

[sashka304]

да, в MyISAM транзакций нет, но они и не нужны

нужна скорость чтения

тут дядьки говорят если грамотно приготовить ,то по скорости не так innodb и тормоз, а транзакции всеравно пригодятся для целостности данных... но тут уже смотреть по приоритету или скорость или транзации и целостность

[Jin]

это да, но танцевать с бубном совсем не хочется

 

а еще такой вопрос: есть экзотическая база (transbase) к которой можно подключиться через ODBC.

Чем можно слить данные в SQL?

SQL Script Builder, например, стабильно падает от недостатка памяти - оно то и понятно... несколько млн. строк в память читать...

[AgentXXX]

Через ОДБС падает не только поэтому.Разные версии имеют разные глюки и под разных клиентов.

Например ODBC х64 имеет всяки интересности при еxtract данных из Оракла.

Причём, как бы немного данных, но с юникодными полями не дружило.Отдельный патч к этому был.

Джинушко, поищи какой-нить тулсик который из cmd скриптик отдельно наманьяченный будет исполнять.

Естессно который кусочками данные переносит.

В такой тулсе чаще всего можно заслать параметры на колличество сессий, размер буфера, максимальное колличество строк в батче.

Прям щас из-под руки примерчик.

     TO OPERATOR
      (
          "W_1_o_SUBS_CLNT_HISTORIES"[1]
  
          ATTRIBUTES
          (
              "UserName" = 'DBC', 
              "UserPassword" = 'DBC', 
              "LogTable" = 'DD_STAGE.SUBS_CLNT_HISTORIES_log', 
              "TargetTable" = 'DD_STAGE.SUBS_CLNT_HISTORIES', 
              "TdpId" = '101.101.101.101',
            "MaxSessions" = 18,
            "MinSessions" = 1
          )
      )
      SELECT * FROM OPERATOR
      (
          "W_0_o_SUBS_CLNT_HISTORIES"[1]
  
          ATTRIBUTES
          (
              "FileName" = 'SUBS_CLNT_HISTORIES.txt', 
              "Format" = 'DELIMITED', 
              "OpenMode" = 'Read', 
              "DirectoryPath" = 'C:\path\', 
              "IndicatorMode" = 'N', 
              "TextDelimiter" = '|',
            "BufferSize" = 16
          )
      );

 

И ещё, с экзотами может помочь выгрузка в файл с разделителем и потом ззагрузка в базу.

Там и вариантов с явным/неявным приведением типов данных побольше.

[Jin]

вроде обошлись без SQL

к удивлению M$ Access уже слил/залил 2млн записей ODBC-ODBC и бодро продолжает...

[AgentXXX]

Ты говоришь про правильный МS SQL 2005(8) или MySQL?

[Jin]

Transbase - ODBC - Access - ODBC - MySQL

уже 4млн

[Jin]

млин

так я и знал

SELECT * FROM table LIMIT 2688390 , 30;

Showing rows 2688390 - 2688419 (2,688,492 total, Query took 5.2315 sec)

[jes]

OPTIMIZE TABLE ... хм + индексы?

Не верится что на таком запросе и количестве данных 5 секунд.

[Jin]

где про это можно толково почитать?

на подходе таблица с 20млн записями, а за ней 54млн

 

и нах я туда ввязался...

[AgentXXX]

на подходе таблица с 20млн записями, а за ней 54млн

Может надо подумать про что-нибудь более похожее на RDBMS.

Вдруг на подходе 3 млрд?

и нах я туда ввязался...

Ну бывает, ну и что? Победишь, Джинушко.