товарищи, доброго времени!

предложите варианты кода порционного чтения тз

спасибо!

(0) а че, циклы уже отменили ?

+1 еще, дарю: [тут типа номер строки]

(0) А зачем? ТЗ она в памяти рисуется, а потом уже в сеансовых данных. Индексируй, индексы рулят)

https://infostart.ru/1c/articles/1128903/

(0) Из ТаблицыЗначений или Базы данных?
ТаблицаЗначений вся в памяти - выбирай кусками, что хочешь
База данных: Пагинации в 1С нет, приходится извращаться
Но при много миллионный выборке сделать выгрузить в ТЗ точно не надо ...

если что, то сделано! спасибо всем за советы!

(6) Сделано как?

(5) Выборка из результата запроса тоже в памяти висит, кстати. По крайней мере, так было пару лет назад. Проверял. Оверхед при выгрузке в ТЗ был буквально единицы процентов.

(7) ответами "экспертов" не воодушевился?

вот так:

&НаСервере
Функция РазбитьТЗНаЧасти(ВходящийМассив, РазмерЧасти)
	
	Сч = 0;
	
	СодержаниеПорции 	= Новый Массив;
	Части 				= Новый Массив;
	
	Для Индекс = 0 По ВходящийМассив.Количество() - 1 Цикл
		
		  Сч = Сч + 1;
		
		  Если Сч % РазмерЧасти = 0 Тогда
			    СодержаниеПорции.Добавить(ВходящийМассив[Индекс]);
			    Части.Добавить(СодержаниеПорции);
				СодержаниеПорции 	= Новый Массив;
				Сч = 0;
		  Иначе
			  	СодержаниеПорции.Добавить(ВходящийМассив[Индекс]);
		  КонецЕсли;	  
		
	КонецЦикла;
	  
	Части.Добавить(СодержаниеПорции);
	
	Возврат Части;
     
КонецФункции

Чота как то жутковато становится на мисте.

(9) а зачем???

(11) Хрен знает. Может хочет одну таблицу значений одновременно обработать несколькими фоновыми заданиями. Но нафига по массивам распихивать, непонятно. Судя по тупости приведенного кода, код писал ИИ. Сельская интеллигенция осваивает ИИ. Деградация, тупость, уныние, безысходность.

(12) следи за своим языком и предложи свой пример

(12) если для этого, то просто берешь размер таблицы, делишь его на количество фонок, и в параметры фонок просто первый и последний индекс суешь, нафиг вообще массивы?

(13) вот тебе пример в (14)

(14) И в фоновые уедут полные копии таблицы?

(16) чо проверил? :)

(12) Ну и если он разбивает ТЗ - то в результирующем массиве у него будут СтрокаТаблицыЗначений, которую не передать в Фоновое.

(17) Что проверил? Если я правильно понял идею (14) - Она в передаче в фоновое номеров строк таблицы. Но и таблицу же надо передать, откуда фоновое данные брать будет?

(19) есть маленькая надежда, что таблица не скопируется. но скорее всего она скопируется. проверять ниахота

(20) Конечно скопируется, а потом сериализуется и десериализуется в фоновом, вы чего?

(21) да ничего. просто логично было бы её не копировать. но в 1с своя логика.

прочитал. "Все передаваемые параметры должны поддерживать сериализацию."

(19) ТЗ можно заранее передать в некий глобальный объект, который будет виден всем фонкам.

(24) да 1с её скорее всего всё равно скопирует. может там конечно оптимизирует это дело, но тот факт, что параметры должны сериализоваться, гарантий некопирования не дает. да и хрен с ним. нафиг это вабще надо. да и автор так и не сказал чего он хотел сотворить своим гениальным кодом и почему ему не зашло использование метода тз.Скопировать()

(24) вово. в модуль с повторным использованием

(25) Да и нехай скопирует. Важно, что скопирует только ОДИН раз, а не кучу раз.

(8) Сомнительно. Почему тогда поиск по выборке так жутко тормозит?

(8) Кстати, слышал я, что выборка через объектную модель ведёт себя иначе. Но не проверял.

(28) Не знаю, не приходилось по выборке искать.
Но эксперимент с огромными результатами запросов проводил. И потребление памяти после метода Выбрать() было практически таким же как и после метода Выгрузить().

А МВТ в фоновое можно передать? Не охото лезть проверять

(10)ВайбКодинг :)

(9) годный вариант, под задачу конечно.
Дополню: если знаешь заранее что ТЗ будет большое, то сразу разбивай ее на части пропорциональным размером и потоками обрабатывай эти части.

если тз типизирована, то в ВТ и примерно так...

Подробности

ВЫБРАТЬ
    ТаблицаНабораДанных.Ссылка КАК Товар,
    АВТОНОМЕРЗАПИСИ() КАК Номер
ПОМЕСТИТЬ Вт_ТаблицаНабораДанных
ИЗ
    Справочник.Номенклатура КАК ТаблицаНабораДанных
;

////////////////////////////////////////////////////////////////////////////////
ВЫБРАТЬ ПЕРВЫЕ 1505  // В реальном наборе ПЕРВЫЕ убрать
    Вт_ТаблицаНабораДанных.Товар КАК Товар,
    Вт_ТаблицаНабораДанных.Номер КАК Номер,
    ВЫБОР
        КОГДА &СтрокВПорции > 0
            ТОГДА (ВЫРАЗИТЬ(Вт_ТаблицаНабораДанных.Номер / &СтрокВПорции - 0.5 КАК ЧИСЛО(15, 0))) + ВЫБОР
                    КОГДА Вт_ТаблицаНабораДанных.Номер / &СтрокВПорции - (ВЫРАЗИТЬ(Вт_ТаблицаНабораДанных.Номер / &СтрокВПорции - 0.5 КАК ЧИСЛО(15, 0))) > 0
                        ТОГДА 1
                    ИНАЧЕ 0
                КОНЕЦ
        ИНАЧЕ 0
    КОНЕЦ КАК Порция
ИЗ
    Вт_ТаблицаНабораДанных КАК Вт_ТаблицаНабораДанных

УПОРЯДОЧИТЬ ПО
    Номер

(21) Тоже об этом подумал. Разбить на массивы и отправить в фоновые задачи.

(34) К черту полумеры!

    Запрос=Новый Запрос;
    Запрос.Текст=
    "ВЫБРАТЬ ПЕРВЫЕ 10000
    |    Номенклатура.Ссылка КАК Ссылка
    |ИЗ
    |    Справочник.Номенклатура КАК Номенклатура
    |ГДЕ
    |    Номенклатура.Ссылка > &Ссылка
    |
    |УПОРЯДОЧИТЬ ПО
    |    Ссылка";
    ПоследняяСсылка=Справочники.Номенклатура.ПустаяСсылка();
    Пока Истина Цикл
        Запрос.УстановитьПараметр("Ссылка",ПоследняяСсылка);
        МассивНаОбработку=Запрос.Выполнить().Выгрузить().ВыгрузитьКолонку("Ссылка");
        Если МассивНаОбработку.Количество()=0 Тогда
            Прервать;
        КонецЕсли;
        ПоследняяСсылка=МассивНаОбработку[МассивНаОбработку.ВГраница()];
        ФоновыеЗадания.Выполнить("ОбработатьНоменклатуру",МассивНаОбработку);        
    КонецЦикла;

(34) АВТОНОМЕРЗАПИСИ() не обязана нумеровать "с единицы"...

(37) это уже вопрос порядка, если он важен для алгоритма, то сначала формируем вт из тз, потом(в запросе) добиваемся правильного порядка и нумерации любым доступным методом в контексте СУБД.

если порядок не важен, а важно только только разбить тз на фиксированные подмножества для параллелизма, то по-барабану.

(36) А вторые 10к записей оставляем за бортом?

(39) Пока Истина Цикл

(36)

Прикольно

(36) Когда технологии пагинации в 1C нет, но очень хочется...
- 10000 Выполнить().Выгрузить() тогда норм.
Да унификация в 1С доступа к данным убила всякие SQL OFFSET ...

(38) Это не "вопрос порядка". В (34), еали Автономерзаписи() начнет внезапно нумерацию с мильёна, первые порции будут пустыми.

(41) Особенно если РИБ или сервер менял имя.

(44) ссылка это жы ГУИД, из него даже датувремя создания сцылки можно получить (если установила сцылку нового сама 1С, а не получена из сторонней сисьтемы)

как "Особенно если РИБ или сервер" может изменить ссцылку? "имя" не считается

так шта в (36) рабочий вариант (я тыщу раз так делал, когда порционно нужно обработать большой массив сцылок)

GUID и вычисление(восстановление) даты из него

тут автор (36) в далеком 2007 году ходил "потрошить GUID"

(40)

Если Ложь Тогда

  ...тут переопределение переменной...

КонецЕсли

часто иногда использую, когда нужно, чтобы в Пофигураторе подсказка контекстная работала "через точку"

(44) в чем затруднения?

(45) В данном случае не влияет.

А в общем случае сортировать в ГУИД не стоит.

Последняя группа символов в ГУИД это MAC-адрес сервера.

(47) Написал в (48)

(48) ну и как адрес ссылки (ссуть ГУИД) у ссылки может поменяться?

ну разве что в моменте чисто гипотетически "по РИБ" ссылка прилетит в "начало" сортировки (мало вероятно)? ну тады ой, эту ссылку не обработали. в следующий раз точно получится! (ну или в момент работы обормотки нужно не делать обмены по РИБ)

(48) почему сортировать по guid не стоит?

(50) вот тут подойдет исключительная блокировка на спр. до окончания выгрузки.

(42)
"Да унификация в 1С доступа к данным убила всякие SQL OFFSET ..."

Где гарантия, что между выполнением двух запросов с заданным диапазоном выдачи состояние базы не изменится? А поскольку СУБД в 1с блокировочная, а не версионная, то это потребует наложения блокировки на все таблицы, участвующие в запросе. Что чревато сами понимаете чем. А если в запросе и хранимые процедуры задействованы - тогда вообще жесть, всю базу надо блокировать для обеспечения повторяемости чтения, ибо фиг знает куда там в этих хранимках лезут.

Был бы версионник - другое дело..

(40) Проглядел, интересный подход.

(40) из за такой фигни у нас под одним пользователем в типовой рознице зависон минут на 10-15 при попытке нажать на пункт меню "разрешить редактирование" в справочнике "Кассы ККМ". Вот хз почему-то у всех остальных 5 админских учеток все норм.

(43) протестировал - количество порций неизменно.
а вот номера порций масштабированы не от 1,
а от масштаба старта нумерации...
1 000 001
.........
1 000 002

Зная, обратившись к первой строке (или максимум), первый номер порции - можно также "разложить" таблицу на подмножества порций. Немного больше кода для старта фоновых
будет не лишним для отработки этой особенности.

(36) Можно еще в фоновое задание сразу передавать результат запроса вместо тз. он тоже сериализуется. Ну и менеджер временных таблиц использовать, чтобы не бомбить сильно сервер БД

(56) Да, решение простое. Просто о том, что Автономер может быть не с 1, и это нужно учитывать - часто забывают.