Problemas de apilado con RAWs de K1 en D.S.S.

[Lidenbrook]

Pues eso, que he realizado una serie de apilados con la K1, con series no muy importantes - 16 ligts, 16 Bias, 16 Darks, 16 Flats - y cual ha sido mi sorpresa cuando al intentar hacer el apilado el DeepSKyStacker, que siempre me había funcionado sin problemas - con las K5 - , resulta que no consigue hacer los apilados. De hecho, no consigue hacer ni siquiera el registro completo. Sistemáticamente, se para..... En principio, en un determinado  momento del registro aparecía la típica pequeña ventana de "error desconocido" que dura unos pocos segundos y desaparece, deteniéndose el proceso. Ahora, tras mucho intentar mejorar la configuración y después de haber probado con todas las versiones de DSS disponibles (desde la 3.3.3. hasta la 3.3.6), el problema persiste, aunque en esta ocasión - con la 3.3.6 - llega a realizar el master dark y luego, cuando comienza a alinear los ligts, simplemente se para el proceso, sin mas, y no hay forma de realizar los apilados. Curioso, en realidad, porque sigue sin llegar a conseguir realizar el registro.....

Mi suposición inicial era que no reconociese adecuadamente los archivos de la K1, de ahí el instalar la ultima versión - 3.3.6 - , pero después he comprobado que desde la 3.3.4, en teoría - según el listado de DCRAW - el programa debería reconocer los archivos de esta cámara, ya que aparece como compatible en dicho listado. Sin embargo, en el listado de las cámaras compatibles del propio programa, las cámaras compatibles que aparecen son las mismas en las cuatro versiones - desde 3.3.3 a 3.3.6 - y en ninguna de ellas aparece, ni la K1, ni las K3, ni las K5.... De hecho, la mas reciente que aparece es la K10D..... Pero eso ya pasaba con las K5 y K5 IIs y en realidad no había problema. Supongo que es un problema de actualización del script, pero en realidad, según he leído en la página del programa, lo que vale es lo que aparezca en la lista de DCRAW, que es la plataforma que utiliza.
Por tanto, no parece que el problema sea de reconocimiento de los archivos - además he probado a convertirlos en DNG y sigue pasando exactamente lo mismo, pero con mas problemas, ya que no identifica ciertos parámetros que sí identifica con los PEF - , por lo que he llegado a la conclusión de que simplemente no es capaz de manejar archivos tan grandes (algo mas de 51 Mb por archivo). Lo curioso es que también tenía unas cuantas series con la K3II (algo mas de 32 Mb por archivo) y pasa mas o menos lo mismo, se detiene poco después del comienzo del apilado (en este caso, en una de las series - mas corta - sí que he conseguido que haga el registro, incluso una de las veces - solo una, no lo ha vuelto a hacer - he conseguido que puntuara los ligts. Pero luego, al realizar el apilado, vuelve a suceder lo mismo, en un determinado momento, se para, sin mas).
Por supuesto, pasar los raws a Tiff es inviable (mas de 320 Mb por archivo....). Y hacerlo pasándolos a jpg no tendría sentido, la pérdida de información es enorme (se perdería mas información de la que se gana con el apilado. Reduciría algo de ruido, pero no se ganaría nada en la recuperación de medios tonos y aparecería banding en cuanto se intentase calibrar el fondo y amplificar el contraste - clipear el histograma - , además de quemarse las estrellas irreparablemente).

Da la impresión de que con archivos de mas de 16-18 Mpx (unos 25 Mb por archivo), el programa tiene problemas....., pero no puedo asegurar que ese sea el problema.

D.S.S. es un programa un poco curioso, por la forma en la que está desarrollado, lo se, pero me parece extraño que se detenga sin mas, sin decir nada, ni dar explicación alguna de por qué no ha podido realizar el apilado....
Además, antes de comenzar el apilado, cuando aparece la ventana de configuración y ajustes, el programa indica, los procesadores y la utilizar, la memoria que va a utilizar y el total disponible y nunca pasa de 3 Gb, que no llega a ser el 25% de la disponible (y el procesador es un I7, con disco sólido y 16 Gb de ram), así que no debería haber problemas......, con lo que no llego a entender qué está pasando.....

¿Alguien ha realizado algún apilado con archivos de la K1 o de la K3 II? ¿Se le ocurre a alguien qué puede estar pasando o qué mas puedo probar?

A ver si entre todos conseguimos resolver este entuerto, porque si funcionase, la K1 ser´çia una cámara excelente para astrofotografía con apilado de imágenes.
Actualmente estoy haciendo los apilados en Ps, pero es un problema restar los Bias. Los Blaks y los Flats no tanto, aunque la sustracción de los Darks y flats sí que se hace complicada y menos efectiva, ya que hay que restarlos antes de alinear y apilar (puesto que el apilado modifica la posición de los píxeles), pero también suponen mucho trabajo en Ps y el procesado de las series se hace muy muy tedioso. Al no poder restar adecuadamente los Bias, la reducción de ruido y la compensación de alteración de color, tampoco es óptima. Además, también se pierde mucho tiempo y eficiencia en el trabajo al no contar con un análisis adecuado de las imágenes y una puntuación, con la que descartar las tomas peores (hay que hacer el análisis manualmente, a ojo, imagen por imagen, con lo que se pierde mucho tiempo).

Así que se me ha ocurrido abrir este hilo, a ver si a alguien se le ocurre algo..... Agradecería enormemente cualquier ayuda que me encamine para poder utilizar el D.S.S. para los apilados de los raws de la K1 y la K3 II...

Un saludo

[Lymi]

Buenas Liden, ese problema lo he leído yo en algún post cuando estaba investigando D.S.S. Por lo que pude entender no esta optimizado para gestionar mas de 3Gb de memoria por lo que en cuanto los archivos a tratar son pesados enseguida pasa de esa cantidad.
Puede ser por varios motivos, aunque me da en la nariz que es un programa de 32 bits, habría que buscar una versión de 64 bits.
Me ha pasado con algunos programas que dependiendo como estuviesen compilados daban guerra. Lo mas recurrente es que los programs de 32 bits tengan limite de memoria para gestionar.

Si encuentro algo te lo pasaré, aunque yo miraría por esos derroteros. Por que por lo que recuerdo de D.S.S. no había ningún apartado en la configuración de gestión de memoria, como si ocurre en Ps y creo que también en Gimp.

Un saludo

[carlosl]

Lo que describes tiene toda la pinta de ser que se agota la memoria. El parón sin mensaje de error es muy característico.
Supongo que detrás de todo estará Windows, que nunca ha sido lo mas eficiente a la hora de gestionar la memoria.
Pero bueno, no son mas que especulaciones.
¿El SO es de 64 bits?

Saludos,

[Lymi]

Bueno he encontrado el hilo, http://www.astronomyforum.net/astrophotography-image-processing-forum/223799-dss-always-out-memory.html esta en ingles pero se entiende mas o menos, tu probablemente mejor que yo que estas mas puesto en D.S.S.
Por lo que he podido entender pasa con mas cámaras, de alta resolución y los errores son varios, como bien indica carlosl suena a problema de agotamiento de memoria.
Espero que te sirva, un saludo.

[ZuLo]

Doy fé.

A mi me sale un mensaje después de un buen rato, que dice memoria insuficiente, tengo 16g de ram y 8g de video. Por probar puse 2 o tres ligth y me "sacó" una imagen con un sinfín de líneas verticales.  Yo achaqué el problema a mi inexperiencia con el programa pero ya veo que no soy el único, seguiré atento el hilo.

Gracias de antemano!!

[Rollao]

A mí nunca me funcionó demasiado bien con la K3 y el Vista, también se quedaba parado, estuve leyendo en internet y parecía que el problema estaba por las reservas de memoria del sistema operativo.

Encontré varios procedimientos para intentar resolverlo pero al final con el Vista no lo conseguían. pero tal vez con otros OS si se puedan aplicar.

Saludos

[carlosl]

Si, como alguien apunta, el programa esta compilado para 32 bits. poco remedio hay.
Si tanto el programa como el SO son de 64 bits. es cosa de probar.
Windows no ha sido nunca un hacha, precisamente, a la hora de manejar memoria.
¿Esta el DSS disponible para el OSX de Apple?
Saludos,

[Udri]

¿Esta el DSS disponible para el OSX de Apple?
Saludos,

No.  En mac toca virtualizarlo con Wine.

[Colodión]

Me ha pasado algo parecido con el Zerene Stacker, con PS he hecho los apilados sin problemas, con Zerene, para Windows 7,  me pide que configure la memoria y el tamaño del archivo, la memoria puedo poner la que quiera pero el tamaño del archivo solo me deja 19 Mb, tenía que pasar los archivos a JPG de 4500 pixels como máximo y funciona bién. Conseguí la version de 64 bits para Windows 10 y ya funciona sin limitaciones.
Puede ser algo parecido, no se si habrá otra versión mas nueva de  D.S.S.

Saludos

[Lidenbrook]

La última versión de DSS que yo he encontrado -y mira que he buscado.... - es la 3.3.6, no creo que haya otra mas actualizada. Y lo grave es que en la base de datos de cámaras compatibles de DCRAW - que es la válida para saber qué cámaras son compatibles con las últimas versiones de DSS - aparecen todas las principales Pentax actuales, incluidas la K1 y la K3 II......

Yo ya tengo claro que pasando los RAW a jpg y reduciendo el tamaño no voy a tener problemas para el apilado, pero es que eso supone renunciar a la verdadera función del apilado, que no es otra que aumentar enormemente la Relación Señan/Ruido (RSR) para en el postprocesado se pueda aumentar enormemente la información en los tonos medios y con ello, el contraste, el color, etc.... No solo se trata de reducir ruido - que también, y para eso es imprescindible (para hacerlo bien) poder registrar todos los archivos (Lights, Blcks, Bias y Flats) - , sino poder tener muuucha mas información en sombras y tonos medios, para poder tener imágenes imposibles de conseguir con tomas simples. Si se utilizan jpg´s para esto, se pierde tal cantidad de información que no tiene sentido.

Por lo que he podido leer, el problema no es realmente que el programa esté diseñado para plataformas de 32 bits, puesto que hay mucha gente a la que le funciona con Windows 7, 8 y 10 de 64 bits (y con procesadores intermedios y no demasiada memoria, incluso con 4 GB de RAM. Yo utilizo un I7, con disco sólido y 16 Gb de Ram, en Windows 7 Ultimate de 64 bits,  y no hay manera....), sino la limitación de manejo de memoria del programa en estas plataformas. Buena prueba de ello es que no hay posibilidad de asignarle al programa una cantidad determinada de memoria - como la hay en Ps y otros muchos programas de tratamiento de imagen - y es que el programa se diseñó para trabajar con archivos muchos mas modestos que los de los sensores actuales, procedentes fundamentalmente de cámaras CCD para astronomía, que no suelen pasar de los 10 Mpx (las muuuuuy caras).
Mi opinión es que los desarrolladores del programa tienen un poco abandonado el programa - y siendo gratuito, no es de extrañar - y, dado que funciona perfectamente para aquello para lo que fue diseñado, no hay demasiado interés en hacer lo necesario para que funcione correctamente con este tipo de sensores. No sería de extrañar que en un futuro - y no creo que muy lejano - sucediese con el DSS mas o menos lo que ya sucedió con el Pixinxight, que de gratuito, paso a los mas de 230€ que cuesta en la actualidad, y sin posibilidad de versión gratuita (que hace tiempo que dejó de estar disponible y recibir soporte para quienes la tuvieran).

Desde luego, si para que funcione hay que pasar os raw a jpg, este programa no interesa para apilar imágenes de cielo profundo de este tipo de sensores (y menos aun con paisaje)...... Voy a ver si soy capaz de diseñar alguna acción que permita hacer el apilado y la aplicación de blacks, bias y flats en Ps. Tiene que ser posible, pero, desde luego, no sencillo..... Lo que no veo viable es realizar  el registro y la calibración que hace DSS, en Ps (la calibración no consiste simplemente aplicar los blacks, bias y flats....). Y es una pena, porque reduce mucho la intervención personal y por tanto el tiempo real destinado al procesado de las series. Pero bueno, lo que sí es factible en Ps es hacer otro tipo de calibración, que en realidad, es mas precisa - a efectos de color y de calibración del fondo - que la que realiza DSS la mayor parte de las veces.

Seguiremos investigando y buscando una solución.....

Un saludo

[Colodión]

Hola, no sé si ya lo tienes, sino intenta poner mas memoria virtual a Windows en el disco SSD, puedes multiplicar los 16 GB hasta x 2,5, y dejar el tamaño fijo para que windows no ande recalculando, ya sabemos que Windows se reserva la mayoría de la memoria para él por si acaso. aunque sea un poco mas lenta que la RAM puede funcionar. Lo ideal sería que el programa tuviera la suya propia.

Saludos

[jnewton]

Un programa de 32 bits creo que solo puede gestionar 4g maximo de memoria. Da igual cuanto tenga el pc, 16, 24 GB, solo usara 4.

En los sistemas operativos es segura wsta restriccion y en programas creo que tambien.

2 elevado a 32 o a 64 esa es la diferencia.

Saludos.

[JMLA]

Desde mi desconocimiento de los procesos de este tipo de apilados... dado que el problema es el límite de memoria que es capaz de gestionar el programa (lo que es independiente de la máquina con que proceses) ¿no podrías probar a dividir las series de 16 en 4 series de 4, más la serie final de las 4 obtenidas previamente?
¿O incluso (mucho más laborioso) de dos en dos?

[Rollao]

No sé si ésta es una buena o una mala noticia para Liden.

Yo siempre utilizo un programa de factura propia por aquello que comentaba del mal funcionamiento en el Vista, pero por ayuda he probado a apilar los DNG de mi K3 y lo hace perfectamente en W10 utilizando DSS 3.3.2.

Otra opción que recuerdo sí me funcionaba en Vista era apilar no JPG sino en TIF, con lo que los darks, flats etc. siguen valiendo (especifico DNG en Vista no funcionaba, TIF sí)

Saludos

[Lidenbrook]

A ver..... Los RAW de la K1 pasados a TIFF pesan mas de 320Mb cada uno......, así que.......

La versión 3.3.2 la verdad es que no la he probado, así que habrá que desinstalar y empezar de nuevo con esa versión.
 
En cuanto a lo de apilar por series, pues la verdad es que tiene poco sentido, porque la RSR baja mucho por este procedimiento, con lo que acaba siendo mas práctico hacer series mas cortas, pero tampoco tiene sentido puesto que de lo que se trata es precisamente de ganar toda la RSR que se pueda. En realidad, para lo que pretendo habría que hacer series de mas de 25 tomas y si no puede con 16, pues mal vamos.....

Lo de ampliar la memoria virtual, lo probaré, pero teniendo 16 Gb de RAM y un SSD, dudo que sea la solución.

Estoy convencido de que el problema es que con estos archivos tan grandes se superan los 4 Gb que el programa es capaz de manejar, con lo que por mas RAM o memoria virtual que se le ponga, poco vamos a avanzar.

Rollao, ¿qué programa - "de factura propia" - utilizas tu? y con el DSS  ¿cuantos archivos de la K3 llegas a apilar sin problemas? ¿No te da problemas al registrarlos?¿Qué tipo de valoración obtienes? ¿Te funciona añadiendo también blacs  y bias?. Se que son muchas preguntas, pero dado que, como he comentado, el problema lo tengo tambiéncon los archivos de la K3 II - que a los efectos son iguales que los de la K3 - , y en este caso con series de 11 raws, pues puede que la respuesta a esas preguntas me ayude a orientar por dónde van los tiros........

Un saludo